Los agentes que usan herramientas de depuración superaron drásticamente a las que no lo hicieron, pero su tasa de éxito aún no era lo suficientemente alta.
Crédito: Microsoft Research
Este enfoque es mucho más exitoso que depender de los modelos, ya que generalmente se usan, pero cuando su mejor caso es una tasa de éxito del 48.4 por ciento, no está listo para el horario estelar. Las limitaciones son probables porque los modelos no entienden completamente cómo usar mejor las herramientas y porque sus datos de entrenamiento actuales no se adaptan a este caso de uso.
“Creemos que esto se debe a la escasez de datos que representan el comportamiento secuencial de la toma de decisiones (por ejemplo, trazas de depuración) en el Corpus de entrenamiento actual de LLM”, dice la publicación del blog. “Sin embargo, la mejora significativa del rendimiento … valida que esta es una dirección de investigación prometedora”.
Este informe inicial es solo el comienzo de los esfuerzos, afirma la publicación. El siguiente paso es “ajustar un modelo de búsqueda de información especializado en la recopilación de la información necesaria para resolver errores”. Si el modelo es grande, el mejor movimiento para ahorrar costos de inferencia puede ser “construir un modelo de búsqueda de información más pequeño que pueda proporcionar información relevante a la más grande”.
Esta no es la primera vez que hemos visto resultados que sugieren que algunas de las ambiciosas ideas sobre los agentes de IA que reemplazan directamente a los desarrolladores están bastante lejos de la realidad. Ya han habido numerosos estudios que muestran que a pesar de que una herramienta de IA a veces puede crear una aplicación que parece aceptable para el usuario para una tarea estrecha, los modelos tienden a producir código cargados de errores y vulnerabilidades de seguridad, y generalmente no son capaces de solucionar esos problemas.
Este es un paso temprano en el camino hacia los agentes de codificación de IA, pero la mayoría de los investigadores están de acuerdo en que es probable que el mejor resultado sea un agente que le ahorre a un desarrollador humano una cantidad sustancial de tiempo, no uno que pueda hacer todo lo que pueda hacer.
