Explorando el razonamiento integrado con herramientas: LLM innovadores con dominio de las matemáticas

El razonamiento matemático ha sido durante mucho tiempo una frontera desafiante para la inteligencia artificial. Si bien los modelos de lenguaje como GPT-3 y ChatGPT han logrado un rendimiento impresionante en muchas tareas lingüísticas, todavía tienen dificultades para resolver con precisión problemas complejos de matemáticas de nivel universitario. Dominar capacidades sofisticadas de razonamiento matemático podría desbloquear aplicaciones de IA en diversos campos como ciencia, ingeniería, finanzas y más.

Recientemente, investigadores de la Universidad de Tsinghua y Microsoft lograron avances significativos en el fortalecimiento de las habilidades de razonamiento matemático de modelos de lenguaje grandes. Su innovación técnica clave ( presentado aquí ) está integrando herramientas matemáticas externas como bibliotecas computacionales y solucionadores de ecuaciones simbólicas directamente en el proceso de razonamiento de los modelos.

¡Vamos a ver cómo funciona!

El problema: por qué las matemáticas siguen siendo difíciles para los modelos de lenguaje

Tareas como el cálculo numérico y el álgebra básica pueden manejarse razonablemente bien con los modelos existentes. Sin embargo, la resolución de problemas matemáticos complejos que implican inferencias de varios pasos, manipulaciones simbólicas y conceptos abstractos sigue siendo problemática.

Por ejemplo, los modelos a menudo no resuelven problemas escritos de álgebra que requieren identificar variables, establecer sistemas de ecuaciones y formalizar matemáticamente relaciones descritas verbalmente en el texto. La geometría plantea desafíos debido a la necesidad de habilidades de razonamiento espacial. Los ejercicios de matemáticas de la escuela secundaria y la universidad también introducen conceptos como demostraciones, integrales, matrices y más que confunden los modelos de lenguaje existentes.

Los investigadores atribuyen estas dificultades a dos factores principales:

• Falta de capacidades de razonamiento abstracto : los modelos lingüísticos actuales se entrenan principalmente en corpus de textos de Internet. Si bien esto enseña habilidades lingüísticas, no proporciona el conocimiento estructurado y la lógica necesarios para el razonamiento matemático.

  
  

• Incapacidad para realizar cálculos simbólicos : el lenguaje carece del rigor y la precisión necesarios para manipular símbolos matemáticos. Los modelos pueden cometer pequeños errores en cada paso que se acumulan en problemas de varios pasos.

Razonamiento integrado en herramientas: un nuevo paradigma de formación

Para abordar estos desafíos, los investigadores proponen enseñar modelos de lenguaje a razonar en un formato que denominan razonamiento integrado con herramientas . La innovación clave es entrelazar los fundamentos del lenguaje natural generado por el modelo con código para invocar herramientas matemáticas externas.

Por ejemplo, dado un problema verbal complejo de álgebra, el modelo puede primero describir el enfoque en palabras, luego escribir un programa Python usando SymPy para configurar simbólicamente el sistema de ecuaciones, ejecutarlo para obtener una solución y finalmente explicar el resultado verbalmente.

Esto complementa las fortalezas de los modelos de lenguaje en razonamiento y planificación de alto nivel con la precisión y el poder computacional de las herramientas matemáticas. Anticipan que esto podría mejorar significativamente la capacidad de los modelos para resolver problemas que requieren tanto comprensión semántica como manipulación simbólica.

Metodología de formación: aprendizaje por imitación a partir de ejemplos de interacción con herramientas

Para hacer realidad esta visión, los investigadores primero tuvieron que crear un conjunto de datos que demostrara el razonamiento integrado en herramientas sobre problemas matemáticos. Aprovecharon las capacidades de GPT-3 para generar automáticamente 16.000 ejemplos del propio GPT-3 resolviendo problemas de los conjuntos de datos GSM8k y MATH mientras interactuaban con herramientas como SymPy.

Con este corpus de trayectorias de interacción de herramientas, el equipo preentrenó versiones del modelo LLaMA utilizando el aprendizaje por imitación. Es decir, los modelos fueron entrenados para predecir el comportamiento de uso de la herramienta y los fundamentos del lenguaje natural intercalados demostrados en el conjunto de datos.

Este enfoque produjo una serie de agentes de razonamiento de código abierto (TORA) integrados en herramientas que van desde 7 mil millones a 70 mil millones de parámetros.

Mejoras significativas en el rendimiento en razonamiento matemático

Los investigadores evaluaron sistemáticamente los modelos TORA en 10 conjuntos de datos de razonamiento matemático diversos y compararon el rendimiento con técnicas de vanguardia anteriores.

Los resultados demuestran que el entrenamiento de razonamiento integrado con herramientas produce ganancias sustanciales en todos los tamaños de modelos y tareas:

• Los modelos TORA lograron una precisión entre un 13% y un 19% mayor en promedio en comparación con los mejores modelos de código abierto existentes.

• En una desafiante prueba de matemáticas a nivel de competencia (conjunto de datos MATH), TORA-7B obtuvo una precisión del 40% , superando al mejor modelo anterior en 22 puntos porcentuales.

• TORA-34B alcanzó un 51 % de precisión en MATH, superando el rendimiento de GPT-4 del 43 % en los mismos problemas.

  
  

Esto sugiere que aprender a aprovechar herramientas externas podría mejorar notablemente incluso modelos muy grandes como GPT-4 en el razonamiento matemático.

Curiosamente, las mejoras fueron consistentes en diversos tipos de problemas que abarcan aritmética, álgebra, cálculo, geometría, probabilidad, etc. La integración de herramientas parece proporcionar amplios beneficios.

El análisis revela fortalezas complementarias del lenguaje y las herramientas

Para comprender mejor el comportamiento del modelo, los investigadores analizaron sistemáticamente los patrones de uso de herramientas en todos los dominios matemáticos:

• Para los problemas de álgebra, los modelos utilizaban predominantemente herramientas simbólicas como SymPy para manipular ecuaciones. Esto se alineaba bien con la necesidad de realizar cálculos simbólicos rigurosos y precisos.
• En dominios numéricos como la probabilidad, los modelos dependían más de algoritmos para cálculos como los factoriales.
• En el caso de la geometría, la aplicación de herramientas proporcionó ganancias menores, lo que indica que el razonamiento espacial sigue siendo un desafío.

También evaluaron las ablaciones eliminando los fundamentos del lenguaje natural o la integración de herramientas:

• La interacción de herramientas superó consistentemente a los modelos que usaban solo programación o solo lenguaje natural en todos los tipos de problemas.
• Los fundamentos proporcionaron los mayores beneficios para la geometría, el álgebra y el precálculo, dominios que requieren planificación y razonamiento de alto nivel.

Estas ideas iluminan las fortalezas complementarias del razonamiento tanto lingüístico como simbólico.

Limitaciones y problemas abiertos

A pesar de los beneficios de la integración de herramientas, aún queda un importante margen de mejora. Los investigadores identificaron la geometría y el álgebra avanzada como áreas en las que los modelos todavía tenían problemas.

La geometría plantea un desafío ya que las herramientas actuales como SymPy tienen capacidades limitadas para el razonamiento espacial. Los avances en el razonamiento multimodal y una mayor integración con las bibliotecas gráficas podrían ayudar.

Para el álgebra abstracta, pueden ser necesarias técnicas utilizadas por matemáticos humanos, como aprovechar teoremas conocidos y resolver problemas al revés a partir del resultado. Probablemente también se requieran mayores capacidades de razonamiento simbólico.

En general, esta investigación proporciona evidencia prometedora de que combinar las fortalezas del modelo de lenguaje con herramientas externas especializadas puede mejorar notablemente el razonamiento matemático. Sin embargo, la integración eficiente de diferentes modalidades de razonamiento y estrategias de resolución de problemas matemáticos de alto nivel sigue siendo un problema abierto. Éstas son direcciones importantes para el trabajo futuro.

El paradigma de formación integrada en herramientas presentado aquí también podría impulsar una investigación sobre la integración de capacidades externas para mejorar el razonamiento en disciplinas como la lógica, el razonamiento de sentido común y el arte. Este podría ser un paso importante hacia sistemas de IA más capaces y versátiles.