¿Qué tan larga debería ser una respuesta de un LLM? Cómo derivar un presupuesto de longitud a partir de la capacidad de lectura humana
Dejemos de discutir si las respuestas de la IA son demasiado largas. La capacidad humana de lectura y revisión se puede medir, así que también se puede derivar un límite: 238 palabras por minuto, un presupuesto de tiempo para cada clase de respuesta y una cantidad de tokens que puedes poner en un system prompt y en un eval.