La primera semana con tu agente en producción: qué revisar

El playground prueba lo que a ti se te ocurrió preguntar. La primera semana en producción prueba lo que a tus usuarios reales se les ocurre preguntar, y esas dos listas rara vez coinciden del todo. Por eso los primeros días de un agente publicado son, sin excepción, la fuente de aprendizaje más valiosa que vas a tener sobre él.

Lee conversaciones reales, no solo métricas agregadas

Un número como «85% de conversaciones resueltas» dice poco sobre qué pasó en el 15% restante, y ese 15% suele concentrar los casos que más vale la pena entender. Dedica tiempo a leer transcripciones completas, no solo a mirar un panel de porcentajes: ahí se ve el matiz que ningún agregado captura, como un usuario que reformuló la misma pregunta tres veces porque la primera respuesta no lo convenció.

Los patrones que valen la pena arreglar

• La misma pregunta respondida mal más de una vez: señal de una instrucción faltante, no de un caso aislado.
• Un Power que nunca dispara aunque el caso lo justificaba: revisa su descripción antes que su código.
• Usuarios que abandonan a mitad de conversación: suele indicar una respuesta que no resolvió lo que esperaban.

No sobre-corrijas por un solo caso

La otra cara del riesgo es reaccionar de más: reescribir una instrucción entera porque un usuario hizo una pregunta rarísima que probablemente no se repita. Antes de ajustar, pregúntate si el patrón apareció más de una vez. Un caso aislado y extraño casi siempre se resuelve solo con el tiempo; un patrón que se repite en la primera semana casi siempre señala algo real que conviene corregir de una vez.

El objetivo de esa primera semana no es llegar a un agente perfecto, es llegar a un agente que ya digirió su primer contacto con la realidad. A partir de ahí, el ritmo de revisión puede espaciarse, porque los patrones más agudos —los que aparecen apenas se publica— ya quedaron identificados y corregidos.