Una startup afirma haber superado un cuello de botella que limita a los LLMs

La startup Subquadratic ha irrumpido en el sector de la inteligencia artificial con una afirmación audaz: ha superado un cuello de botella matemático que ha limitado el desarrollo de modelos de lenguaje grande (LLM) durante casi diez años. Con su nuevo modelo, SubQ, la empresa promete ofrecer un rendimiento significativamente mejorado, tanto en velocidad como en eficiencia energética, en comparación con los LLM existentes. Sin embargo, estas declaraciones han sido recibidas con escepticismo por parte de expertos en la materia, quienes piden más evidencia para validar tales afirmaciones. A pesar de las dudas, los primeros resultados de pruebas independientes son alentadores y podrían marcar un cambio radical en el panorama de los LLM.

Innovaciones en SubQ: Un nuevo enfoque en el procesamiento de datos

Subquadratic ha desarrollado el modelo SubQ, que se distingue por su capacidad para procesar hasta 12 veces más texto simultáneamente que otros LLMs en el mercado. Esto le permite realizar tareas complejas que requieren un análisis exhaustivo de grandes volúmenes de datos, como la revisión de cientos de documentos o bases de código. A pesar de que la empresa ha sido criticada por no proporcionar suficientes pruebas iniciales para respaldar sus afirmaciones, los resultados de evaluaciones independientes han comenzado a cambiar la narrativa. Alex Whedon, cofundador y CTO de Subquadratic, ha reconocido que el escepticismo era de esperar y ha prometido que los futuros resultados serán verificados antes de su publicación.

La revolución de la atención dispersa

Una de las innovaciones más significativas que presenta SubQ es su uso de atención dispersa en lugar de la atención densa tradicional que utilizan la mayoría de los LLMs actuales. Este cambio permite reducir drásticamente la cantidad de cálculos necesarios durante el procesamiento, lo que no solo mejora la velocidad, sino que también disminuye el consumo de energía. En lugar de multiplicar cada token por todos los demás, la atención dispersa selecciona solo ciertos números para multiplicar, lo que optimiza el proceso. Esta técnica, aunque no es nueva, ha sido perfeccionada por Subquadratic, que argumenta que su método supera las limitaciones de enfoques anteriores.

Pruebas y resultados: ¿Realmente un cambio de juego?

Los resultados de pruebas realizadas por Appen, una firma de evaluación externa, han mostrado que SubQ puede manejar conjuntos de datos extremadamente grandes, logrando una puntuación del 98% en pruebas de recuperación de información específica. Sin embargo, a pesar de estos resultados prometedores, persiste un escepticismo razonable en la comunidad. Algunos expertos señalan que las pruebas realizadas hasta ahora no son suficientes para demostrar que SubQ ha resuelto completamente el cuello de botella de la atención cuadrática. Además, el hecho de que Subquadratic haya reutilizado pesos de un modelo de código abierto para iniciar SubQ plantea preguntas sobre la originalidad de su enfoque.

En conclusión, aunque Subquadratic ha hecho afirmaciones audaces sobre su nuevo modelo SubQ, la comunidad tecnológica sigue en alerta. Las pruebas iniciales son prometedoras, pero se necesita más evidencia para validar la efectividad a largo plazo del modelo. Si las afirmaciones de la startup se confirman, podríamos estar ante un cambio de paradigma en el desarrollo de LLMs, que podría revolucionar la forma en que se construyen y utilizan estos modelos en el futuro.