6 Limitaciones
Los Modelos de Lenguaje Extensos tienen limitaciones dependiendo del uso y contexto. Algunas de estas limitaciones se deben a barreras tecnológicas, otras a su diseño.
6.1 Ventanas de contexto
Por diseño, la mayoría de los LLMs tienen una interfaz de usuario que se asemeja a un chatbot. Este diseño fomenta interacciones similares a conversaciones en lugar de solo consulta/respuesta simple.
Uno de los avances más importantes en los LLMs se debe al llamado “mecanismo de atención”. Esta arquitectura de red neuronal permite al modelo no solo prestar atención a las palabras más recientes, sino también a todo el texto desde el principio.
Un ejemplo de esto es cómo el texto predictivo en los celulares parece solo proporcionar sugerencias basadas en las últimas 1 o 2 palabras escritas. Esto no es ideal ya que el modelo no tiene memoria de nada dicho anteriormente en la conversación. Para abordar esto, el mecanismo de atención incorpora una codificación dinámica de palabras que captura la evolución del texto.
En la práctica al usar un LLM, este lapso de atención más grande consume recursos y a menudo está limitado a un número particular de palabras de contexto o ventana de contexto. Esta ventana de contexto puede pensarse como la información de fondo que se pasa al modelo para proporcionar salidas específicas relacionadas con nuestras conversaciones.
Esta ventana de contexto también se usa para ajuste fino del modelo. Es decir, para decirle al modelo la experiencia específica, lenguaje o carácter que debería asumir.
Las compañías de LLM usualmente tienen diferentes niveles de modelos que permiten, entre otras cosas, seleccionar ventanas de contexto más grandes. Esto se vuelve relevante cuando las conversaciones se vuelven largas o cuando los documentos de referencia son extensos.
Usualmente los chatbots LLM agregan salidas previas como parte de la entrada para nuevos prompts. De esta manera, la información y contexto previos se pasan a las nuevas consultas y los chatbots son capaces de recordar lo que ha sucedido en la conversación.
De manera similar, los documentos de referencia se pasan al LLM como parte del contexto, de ahí la limitación en el número de referencias activas que una conversación puede manejar.
Las ventanas de contexto pueden ser muy pequeñas en algunos de los niveles gratuitos para LLMs comerciales. Este es un aspecto importante a tener en mente, ya que los usuarios de pago podrían tener una ventaja sobre los usuarios gratuitos en el tipo de tareas que pueden completar efectivamente.
6.2 Sesgo de datos
Los Modelos de Lenguaje Extensos se entrenan usando cantidades grandes de datos. Esto significa que a menudo incluyen diferentes perspectivas o puntos de vista sobre algo. Diferentes algoritmos de entrenamiento enfrentan este desafío de varias maneras, ya sea clasificando la información o proporcionando algún tipo de descripción promedio.
Esta limitación influye en el tipo de respuestas que los LLMs son capaces de proporcionar, usualmente proporcionando respuestas que, en cierto sentido, promedian la información, siendo menos sensibles para valores atípicos o fuentes menos comunes. Los temas o perspectivas más especializados podrían pasarse por alto.
6.3 Tareas complejas
Ha habido un gran progreso en la llamada característica de razonamiento de los LLMs. Esto usualmente involucra una combinación de interacciones internas de ida y vuelta de los LLMs, junto con planificación explícita y estrategias paso a paso sobre el curso de acción del LLM. Esto es particularmente útil para minimizar alucinaciones, sin embargo cuando las tareas son muy complejas y/o involucran múltiples pasos, los LLMs tienden a reducir en rendimiento. Actualmente, este umbral es más notable para tareas que requieren una hora o más de procesamiento.
6.4 Cálculos
Los LLMs son modelos de lenguaje probabilísticos. Como tal, no son intrínsecamente adecuados para cálculos. Como se mencionó antes, la forma en que un LLM entendería el prompt 7x8= es encontrar los caracteres (tokens) más probables que seguirían la secuencia de caracteres (tokens) “7”, “x”, “8”, “=”. Podría predecir correctamente que el siguiente carácter (token) sería “5” y luego el siguiente sería “6”, pero también podría predecir que después de “=” vendría “4” y luego después vendría “2”.
Recientemente, muchas compañías han encontrado una forma de sortear esta limitación. En segundo plano, cuando se hace un prompt de cálculo, se le pide al LLM que genere un script (muchas veces en python) para evaluar la expresión. Esto mejora el rendimiento en tareas computacionales. Sin embargo, es importante tener en mente que el LLM también podría alucinar en el código. Al final, si quieres realizar cálculos, solo usa una calculadora.
6.5 Avance rápido v. caja negra
Los Modelos de Lenguaje Extensos son muy útiles para acelerar tareas. Incluso a nivel corporativo, los usuarios reportan que usar LLMs puede ayudarlos a lograr tareas en solo el 20% del tiempo normal. Este enfoque mejora la capacidad de los usuarios para hacer lo que ya saben, pero más rápido.
Por otro lado, los LLMs también permiten un enfoque de caja negra, donde los usuarios no tienen conocimiento previo de un campo o tarea. Aquí, los modelos están reemplazando o subcontratando la intervención humana.
Estos dos enfoques podrían ser tanto útiles como peligrosos para propósitos de enseñanza y aprendizaje. Depende de los objetivos específicos, uso y contexto. Sin embargo, es importante entender completamente en qué sentido los instructores y estudiantes están usando LLMs, ya sea para acelerar una tarea o como una caja negra.
6.6 Aprendizaje por vibra
Más allá del enfoque de caja negra está lo que llamo aprendizaje por vibra. A principios de 2025 se acuñó el término vibe-coding para describir la forma en que muchos desarrolladores y científicos de la computación estaban usando LLMs al “enfocarse en el objetivo de lo que necesita lograrse y olvidarse de la sintaxis de codificación”. En este sentido, vibe-coding permite a los desarrolladores olvidarse de los pequeños detalles y enfocarse en el panorama general de los proyectos que están persiguiendo.
En general, los LLMs pueden usarse con este enfoque de vibrar. Aunque, una palabra de precaución es relevante en el entorno de enseñanza y aprendizaje: una diferencia importante entre novatos y expertos en un campo es la atención a los detalles. Los expertos tienden a pensar más en el panorama general y temas generales, mientras que los novatos se enfocan en pequeños detalles. Esta atención a los detalles es fundamental para el proceso de aprendizaje en cualquier campo. El uso excesivo -o mal uso- de LLMs en entornos de enseñanza y aprendizaje puede obstaculizar la capacidad de los estudiantes de aprender efectivamente conceptos al omitir o reducir su atención a los detalles.
Como los LLMs pueden producir productos independientemente de la experiencia o conocimiento de los usuarios de un área temática, este uso podría llevar falsamente a los usuarios a sentir que están participando en el aprendizaje. Si hay algo más peligroso que la ignorancia es la ilusión de conocimiento.