Prácticas recomendadas para mejorar tu Agente personalizado

El rendimiento de tu agente depende de tres factores: el modelo en el que se ejecuta, cómo están configurados sus activadores y su alcance, y cómo están redactadas sus instrucciones. Ajustar cualquiera de ellas puede hacer que tu agente sea más confiable, más consistente y más eficiente en términos de costos.

En esta guía, te explicamos cómo:

• Elegir un modelo que se ajuste a la tarea

• Controlar los activadores y el alcance de tu agente

• Dejar que tu agente te ayude a depurar y optimizarse a sí mismo

Product Scout es un Agente personalizado creado para responder preguntas internas sobre productos. Su trabajo es ayudar a los compañeros de equipo a obtener respuestas rápidas y precisas a preguntas como “¿La función X admite exportaciones masivas?” incorporándolas de documentos y conversaciones pasadas.

En este momento, Product Scout se activa con cada mensaje en un canal de Slack, busca contexto en todo el espacio de trabajo y se ejecuta en el modelo más potente disponible. Funciona, pero destacan tres cosas: las respuestas no siempre son consistentes, se ejecuta con más frecuencia de la necesaria y hay margen para reducir costos. Lo usaremos a lo largo de esta guía para mostrar cómo se aplica cada ajuste en la práctica.

Notion te permite elegir en qué modelo se ejecuta tu Agente personalizado, y esa elección es uno de los factores que más afectan el costo. El objetivo no es elegir el modelo más potente disponible, sino encontrar el que te brinde de forma consistente resultados que cumplan con tu estándar de calidad.

Al seleccionar un modelo, pasa el cursor por encima de cada opción en el selector de modelos para comparar la velocidad, la inteligencia y el costo.

Aquí tienes un marco general:

• Auto permite que Notion seleccione el mejor modelo para cada solicitud. Esta es la opción predeterminada recomendada para la mayoría de los agentes.

• Los modelos ligeros funcionan bien para flujos de trabajo repetitivos y de menor riesgo, como la redacción rutinaria, el enrutamiento y el triaje simples o la generación de contenido estructurado. Son una buena opción cuando la velocidad, la consistencia y la eficiencia en términos de costos importan más que el razonamiento complejo.

• Los modelos potentes (por ejemplo, Opus) son los más adecuados para tareas que requieren una redacción con matices, un razonamiento complejo o una alta precisión, pero consumen más créditos por ejecución.

Prueba algunos modelos diferentes para ver cuál cumple de forma consistente con tu estándar de calidad. Si la calidad del resultado disminuye a medida que la tarea se vuelve más compleja, siempre puedes cambiar a un modelo más potente.

Product Scout se ejecutaba originalmente en el modelo más potente disponible. Pero su función principal, encontrar documentos relevantes y resumirlos, no requiere un razonamiento complejo. Cambiar a un modelo ligero redujo los costos sin ninguna pérdida de calidad.

Los activadores y el alcance de tu agente funcionan en conjunto. Los activadores controlan cuándo se ejecuta. El alcance controla qué lee. Si alguno de los dos es demasiado amplio, consumirás créditos en ejecuciones que producen resultados con ruido o irrelevantes.

Un buen activador tiene una frecuencia suficiente para ser útil y es lo bastante específico para que el agente solo se ejecute cuando sea necesario. Cada vez que tu agente se activa, utiliza créditos, incluso si no se realiza ninguna acción. Enfoca tu activador en los momentos en los que realmente se necesita la ayuda del agente.

Con su configuración, Product Scout se activaba con cada mensaje en #product-questions, incluidas respuestas, reacciones y “¡gracias!”. Eso significaba consumir créditos en ejecuciones que no producían nada útil.

Inicia el proceso definiendo cuándo debe intervenir tu agente:

• ¿Qué preguntas debe responder este agente? Define el conjunto reducido de tipos de preguntas dentro del alcance y escribe algunos ejemplos.

• ¿Qué debe ignorar? Las reacciones, los “gracias”, las conversaciones generales y los mensajes fuera de tema no deberían activar una ejecución.

Una vez que hayas definido esos límites, ajusta tus activadores en consecuencia. Por ejemplo, limita tu activador a las menciones @, filtra por palabras clave o haz que se active cuando cambie una propiedad específica en lugar de con cada edición.

Cambiar el activador de Product Scout a @menciones significa que solo se ejecuta cuando alguien le hace una pregunta.

Tu agente lee todo a lo que le das acceso. Si ese alcance es amplio, tiene que revisar mucha información irrelevante y la calidad del resultado se ve afectada.

Product Scout buscaba en todo el espacio de trabajo y en todas sus herramientas conectadas: páginas de marketing, documentos de RR. HH., Notas de reunión antiguas y meses de historial de Slack de canales no relacionados. Ninguna de estas fuentes contiene respuestas sobre productos, pero el agente las leía de todos modos. Eso significaba resultados con más ruido y respuestas menos consistentes.

Te explicamos cómo pensar en el alcance para tu propio agente:

• Inicia la búsqueda donde realmente están las respuestas: Si tu agente responde preguntas sobre productos, conéctalo a tus documentos de productos y a los canales de Slack relevantes, no a todo tu espacio de trabajo ni a todas las herramientas conectadas.

• No agregues contexto “por si acaso”: Cada página, base de datos o canal adicional es más contenido que tu agente debe revisar. Si no contiene respuestas útiles con regularidad, elimínalo.

• Si tu agente aún cubre demasiados temas no relacionados, divídelo en dos agentes enfocados: Un agente que maneja tanto preguntas sobre productos como consultas de facturación está haciendo dos trabajos. Obtendrás mejores resultados de cada uno si usas dos agentes separados con alcances limitados.

Reducir el alcance de Product Scout solo a la base de datos de Lanzamientos de productos y al historial de Slack de #product-questions le dio al agente una idea más clara de dónde buscar. Las respuestas se volvieron más consistentes porque el agente tenía menos ruido que filtrar.

No tienes que acertar con tus instrucciones en el primer intento. La forma más rápida de mejorarlas es mostrarle a tu Agente personalizado algunos resultados “malos” y pedirle que te ayude a reescribirlas.

Aquí tienes un flujo de trabajo simple:

• Reúne de 3 a 5 ejemplos reales en los que la respuesta del agente fue demasiado larga, se desvió del tema o sonó demasiado segura.

• Pregúntale al agente qué salió mal: ¿El alcance era demasiado amplio? ¿Las reglas sobre cuándo responder no están claras?

• Pídele que proponga instrucciones mejoradas que agreguen tipos de preguntas dentro del alcance, reglas de “no responder” o una plantilla de respuesta.

• Prueba las nuevas instrucciones en los mismos ejemplos y mantén el cambio más pequeño que resuelva el problema.

Por ejemplo, podrías pegar una respuesta donde Product Scout extrajo información de un documento de RR. HH. no relacionado y decirle: “Esta respuesta hizo referencia a una página fuera de Lanzamientos de productos. ¿Cómo debería actualizar tus instrucciones para evitar eso?” El agente podría sugerir agregar un límite como “Solo haz referencia a páginas en la base de datos de Lanzamientos de productos”.

Cada ronda de comentarios te ayuda a detectar lo que falta, y las instrucciones se vuelven más precisas a medida que avanzas.

Las instrucciones originales de Product Scout eran amplias: “Responde preguntas sobre productos usando el contenido del espacio de trabajo.” Después de algunas rondas de pruebas y comentarios, se volvieron mucho más precisas: “Responde usando las Especificaciones de productos y el historial de Slack. Si la respuesta no está en nuestros documentos, dilo. Mantén las respuestas en menos de 3 párrafos.”

Antes de implementar tu agente para tu equipo, pruébalo tú mismo haciendo clic en Ejecutar agente en la parte superior de tu página de configuración. Hazle el tipo de preguntas que tu equipo realmente haría y observa cómo responde.

Insights ofrece a los Creadores de Agentes personalizados y a los administradores una visión clara del costo, el rendimiento y la adopción de cada agente. Allí puedes detectar las ejecuciones más costosas, comprobar si tus cambios están funcionando y determinar qué fallos corregir primero.

El panel de control de Insights tiene dos vistas:

• Gráficos muestra tendencias de costo, rendimiento y adopción a lo largo del tiempo.

• Todos los chats muestra una vista detallada de la actividad de tu agente, incluidos el estado, los activadores, los créditos consumidos, el número de ejecuciones, el modelo utilizado y más.

Aquí te explicamos cómo aprovechar Insights:

• Mide el costo y el rendimiento a medida que iteras: Verifica los créditos por ejecución, ajusta una variable (instrucciones, modelo o activadores) y luego compara los resultados a lo largo del tiempo. Ese ciclo de comentarios más corto te indica si un cambio realmente marcó la diferencia.

• Optimiza los agentes de alto gasto: Inicia la revisión en el panel de control de créditos para identificar tus agentes de mayor gasto; luego usa la vista Todos los chats para identificar las ejecuciones más costosas y los patrones repetidos. Las soluciones más comunes son limitar el alcance y elegir un modelo que se adapte mejor a la tarea.

• Soluciona las ejecuciones fallidas más rápido: Cuando una ejecución falla, Insights identifica rápidamente la causa, como una llamada específica a una herramienta o un permiso faltante. Corregir la causa raíz una vez evita que el mismo fallo vuelva a aparecer.

Para ver cómo se aplican estas prácticas con un agente diferente, mira este recorrido guiado:

Los mejores Agentes personalizados se moldean con el tiempo. Los efectos de cada pequeño ajuste se acumulan y, en poco tiempo, tendrás un agente más confiable, más consistente y más eficiente en términos de costos.