Repositorio
Institucional

Valenzuela-Toledo, Pablo

Explaining GitHub Actions Failures with Large Language Models: Challenges, Insights, and Limitations

IEEE COMPUTER SOC

2025 IEEE/ACM 33RD INTERNATIONAL CONFERENCE ON PROGRAM COMPREHENSION, ICPC

en

GitHub Actions (GA) has become the de facto tool that developers use to automate software workflows, seamlessly building, testing, and deploying code. Yet when GA fails, it disrupts development, causing delays and driving up costs. Diagnosing failures becomes especially challenging because error logs are often long, complex and unstructured. Given these difficulties, this study explores the potential of large language models (LLMs) to generate correct, clear, concise, and actionable contextual descriptions (or summaries) for GA failures, focusing on developers' perceptions of their feasibility and usefulness. Our results show that over 80% of developers rated LLM explanations positively in terms of correctness for simpler/small logs. Overall, our findings suggest that LLMs can feasibly assist developers in understanding common GA errors, thus, potentially reducing manual analysis. However, we also found that improved reasoning abilities are needed to support more complex CI/CD scenarios. For instance, less experienced developers tend to be more positive on the described context, while seasoned developers prefer concise summaries. Overall, our work offers key insights for researchers enhancing LLM reasoning, particularly in adapting explanations to user expertise.GitHub Actions (GA) se ha convertido en la herramienta de facto que los desarrolladores utilizan para automatizar los flujos de trabajo de software, compilando, probando e implementando código sin problemas. Sin embargo, cuando GA falla, interrumpe el desarrollo, causando retrasos y aumentando los costos. Diagnosticar fallas se vuelve especialmente difícil porque los registros de errores suelen ser largos, complejos y no estructurados. Dadas estas dificultades, este estudio explora el potencial de los modelos de lenguaje extensos (LLM) para generar descripciones contextuales (o resúmenes) correctas, claras, concisas y procesables para las fallas de GA, centrándose en la percepción de los desarrolladores sobre su viabilidad y utilidad. Nuestros resultados muestran que más del 80 % de los desarrolladores calificaron positivamente las explicaciones de los LLM en términos de corrección para registros más simples/pequeños. En general, nuestros hallazgos sugieren que los LLM pueden ayudar de manera viable a los desarrolladores a comprender los errores comunes de GA, reduciendo así potencialmente el análisis manual. Sin embargo, también encontramos que se necesitan mejores capacidades de razonamiento para admitir escenarios de CI/CD más complejos. Por ejemplo, los desarrolladores con menos experiencia tienden a valorar más positivamente el contexto descrito, mientras que los desarrolladores experimentados prefieren resúmenes concisos. En general, nuestro trabajo ofrece información clave para los investigadores que buscan mejorar el razonamiento de los modelos de lenguaje natural, en particular al adaptar las explicaciones a la experiencia del usuario.

artículo de conferencia

CI/CD

GitHub Actions

Large Language Models

GitHub Action Run Failure Explanation

10.1109/ICPC66645.2025.00037

pdf

CI/CD

GitHub Actions

Large Language Models

GitHub Action Run Failure Explanation

Ciencias de la Computación

Ciencias de la Información y Bioinformática

Ingeniería de Sistemas y Comunicaciones

versión publicada

suscripción

metadato

metadato

WOS:001540533300028

Explaining GitHub Actions Failures with Large Language Models: Challenges, Insights, and Limitations

artículo de conferencia

IEEE COMPUTER SOC

2025 IEEE/ACM 33RD INTERNATIONAL CONFERENCE ON PROGRAM COMPREHENSION, ICPC

Computer Science, Software Engineering

Computer Science, Theory & Methods

en

1092-8138

Swiss Group Software Engineering (CHOOSE)

Swiss Group Software Engineering (CHOOSE)

979-8-3315-0224-9; 979-8-3315-0223-2

pdf