Llevar una función con LLM a producción: recuperación, evaluación y coste
La mayoría de las funciones con LLM fallan en la recuperación, no en la elección de modelo. Deciden los pasajes recuperados, un set de evaluación propio, un presupuesto de tokens y latencia, y un plan B.