¿Qué es un LLM?

🎧 Podcast: ¿Qué es un LLM?

Un LLM es un generador de texto probabilístico que opera sobre tokens en un contexto limitado.

No "sabe" cosas ni hechos, no tiene acceso al mundo más allá de su contexto. Genera texto token a token, prediciendo el siguiente token más probable en base a todos los tokens anteriores de la conversación.

A diferencia de un programa tradicional con reglas explícitas, un LLM aprende patrones estadísticos del lenguaje a partir de enormes cantidades de texto durante su entrenamiento.

Idea clave

Un LLM no "entiende" el texto como lo hace un humano: calcula probabilidades sobre qué palabra (token) debería venir a continuación.

Para repasar

• Un LLM predice tokens, no palabras completas necesariamente.
• El entrenamiento ajusta millones (o billones) de parámetros para minimizar el error de predicción.
• La "magia" percibida surge de la escala: muchos parámetros + muchos datos.

Referencias