Temperatura
🎧 Podcast: Temperatura
La temperatura es un parámetro que controla cuánto "se arriesga" el modelo al elegir el siguiente token entre las opciones más probables.
- Temperatura baja (≈0) → el modelo casi siempre elige el token más probable. Salidas más deterministas y repetitivas.
- Temperatura alta (≈1.5+) → se da más peso a tokens menos probables. Salidas más creativas, pero también más erráticas.
Predicción de texto
La selección es muestreo, no certeza: el modelo no siempre elige el token más probable. Realiza un “sorteo” ponderado. Probabilidades: el modelo no produce directamente un porcentaje. Produce un valor bruto (logit) por cada token posible — cuanto mayor, más "confianza".
🧪 Simulador: efecto de la temperatura en la distribución de probabilidad
info
- Con temperatura alta el mismo prompt puede generar respuestas muy distintas cada vez.
- Con temperatura baja da resultados más reproducibles, ideal para extraer datos o generar JSON estructurado.