Meilleures pratiques pour améliorer votre custom agent

Les performances de votre agent dépendent de trois facteurs : le modèle sur lequel il s’exécute, la configuration de ses déclencheurs et de sa portée, et la rédaction de ses instructions. L’ajustement de l’un de ces facteurs peut accroître la fiabilité, la cohérence et la rentabilité de votre agent.

Ce guide explique comment :

• Choisir un modèle adapté à la tâche

• Contrôler les déclencheurs et le périmètre de votre agent

• Laisser votre agent vous aider à le déboguer et l’optimiser

Product Scout est un custom agent conçu pour répondre aux questions internes sur les produits. Son rôle consiste à aider les membres de votre équipe à obtenir des réponses rapides et précises à des questions telles que la suivante : « La fonctionnalité X prend-elle en charge les exportations en masse ? », en s’appuyant sur des documents et des conversations passées.

Pour l’heure, Product Scout se déclenche sur chaque message d’un canal Slack, recherche du contexte dans tout l’espace de travail et s’exécute sur le modèle le plus puissant disponible. Bien qu’il fonctionne, trois points sont à noter : les réponses ne sont pas toujours cohérentes, il s’exécute plus souvent que nécessaire et les coûts peuvent être réduits. Nous l’utiliserons tout au long de ce guide pour montrer comment chaque ajustement se traduit dans la pratique.

Notion vous permet de choisir le modèle sur lequel votre custom agent s’exécute, et ce choix est l’un des facteurs qui influent le plus sur les coûts. L’objectif n’est pas de choisir le modèle le plus puissant disponible. Il s’agit de trouver celui qui vous donnera systématiquement des résultats conformes à vos exigences de qualité.

Lorsque vous sélectionnez un modèle, survolez chaque option dans le sélecteur de modèle pour comparer la vitesse, l’intelligence et le coût.

Voici un cadre général :

• Le mode Auto permet à Notion de sélectionner le meilleur modèle pour chaque requête. Il s’agit du paramètre par défaut recommandé pour la plupart des agents.

• Les modèles légers fonctionnent bien pour les workflows répétitifs et à faible enjeu, comme la rédaction de routines, le routage et le tri simples, ou la génération de contenu structuré. Ils sont adaptés lorsque la vitesse, la cohérence et la rentabilité priment sur un raisonnement complexe.

• Les modèles puissants (par exemple, Opus) sont les plus adaptés aux tâches qui nécessitent une rédaction nuancée, un raisonnement complexe ou une grande précision, mais ils utilisent aussi plus de crédits par exécution.

Testez plusieurs modèles différents pour identifier celui qui répond systématiquement à vos exigences de qualité. Si la qualité de la sortie diminue à mesure que la tâche se complexifie, vous pourrez toujours passer à un modèle plus puissant.

Product Scout fonctionnait initialement avec le modèle le plus puissant disponible. Mais sa tâche principale, à savoir trouver des documents pertinents et les résumer, ne nécessite pas de raisonnement complexe. Le passage à un modèle léger a donc permis de réduire les coûts sans perte de qualité.

Les déclencheurs et la portée de votre agent fonctionnent en synergie. Les déclencheurs contrôlent le moment de l’exécution, tandis que la portée contrôle le contenu lu. Si l’un ou l’autre est trop volumineux, vous consommerez des crédits inutilement.

Un bon déclencheur est suffisamment fréquent pour être utile et suffisamment spécifique pour ne s’exécuter qu’en cas de besoin. Chaque fois que votre agent se déclenche, il utilise des crédits, même si aucune action n’est réalisée. Configurez votre déclencheur sur les moments où l’aide de l’agent est véritablement nécessaire.

Dans la configuration de Product Scout, il se déclenchait sur chaque message de #product-questions, y compris les réponses, les réactions et les « merci ! ». En d’autres termes, il consommait des crédits pour des exécutions qui ne produisaient aucune sortie utile.

Commencez par définir à quel moment votre agent doit intervenir :

• À quelles questions cet agent doit-il répondre ? Définissez les quelques types de questions relevant de sa portée et notez quelques exemples.

• Que doit-il ignorer ? Les réactions, les « merci », les discussions informelles et les messages hors sujet ne doivent pas déclencher d’exécution.

Une fois ces limites définies, ajustez vos déclencheurs en conséquence. Par exemple, limitez votre déclencheur aux @mention, filtrez par mots-clés ou déclenchez sur un changement de propriété spécifique plutôt que sur chaque modification.

En basculant le déclencheur de Product Scout sur les mentions@, l’agent ne s’exécute que lorsque quelqu’un lui pose réellement une question.

Votre agent lit tous les contenus auxquels vous lui donnez accès. Si cette portée est large, il trie une grande quantité d’informations non pertinentes qui nuit à la qualité de la sortie.

Product Scout effectuait des recherches dans l’ensemble de l’espace de travail et dans tous ses outils connectés : pages marketing, documents RH, anciennes notes de réunion et des mois d’historique Slack provenant de canaux sans rapport. Bien qu’aucun de ces éléments ne contienne de réponses sur les produits, l’agent les parcourait quand même, avec pour résultat, des réponses plus confuses et moins cohérentes.

Voici comment définir une portée pertinente pour votre propre agent :

• Commencez par identifier les contenus où se trouvent réellement les réponses : si votre agent répond à des questions sur les produits, connectez-le à la documentation de vos produits et aux canaux Slack pertinents, plutôt qu’à l’ensemble de votre espace de travail et à tous les outils connectés.

• N’ajoutez pas de contexte « au cas où » : chaque page, base de données ou canal supplémentaire représente une quantité plus importante de contenu à trier. Si ce contenu ne permet pas de répondre de manière régulière aux questions, supprimez-le.

• Si votre agent couvre encore trop de sujets sans rapport, divisez-le en deux agents ciblés : un agent qui gère à la fois les questions sur les produits et les demandes de facturation réalise deux tâches. Deux agents distincts associés à des portées restreintes vous donneront de meilleurs résultats.

Restreindre la portée de Product Scout à la seule base de données Lancement de produits et à l’historique Slack #product-questions permet à l’agent d’avoir une vision plus claire des contenus à consulter. L’agent ayant moins d’informations inutiles à trier, les réponses gagnent en cohérence.

Vous n’êtes pas obligé·e d’obtenir des instructions parfaites dès la première tentative. Le moyen le plus rapide de les améliorer consiste à montrer à votre custom agent des exemples de « mauvaises » sorties et de lui demander de vous aider à les réécrire.

Voici un processus simple :

• Recueillez 3 à 5 exemples réels où la réponse de l’agent était trop longue, hors sujet ou trop assurée.

• Demandez à l’agent ce qui n’a pas fonctionné : la portée était-elle trop vaste ? Les règles relatives aux réponses pertinentes manquaient-elles de clarté ?

• Demandez-lui de proposer des instructions améliorées qui ajoutent des types de questions concernés, des règles « ne pas répondre » ou un modèle de réponse.

• Testez les nouvelles instructions sur les mêmes exemples et ne conservez que le changement minimal qui résout le problème.

Par exemple, vous pourriez coller une réponse pour laquelle Product Scout a puisé dans un document RH sans rapport et lui préciser : « Cette réponse faisait référence à une page sans lien avec le lancement de produits. Comment dois-je mettre à jour tes instructions pour éviter que ce problème ne se reproduise ? » L’agent pourrait suggérer d’ajouter une limite telle que « Référencer uniquement les pages de la base de données Lancement de produits. »

Chaque cycle de commentaires vous aide à repérer les problèmes, et permet aux instructions de gagner en précision au fur et à mesure.

Les instructions initiales de Product Scout étaient larges : « Réponds aux questions sur les produits en utilisant le contenu des espaces de travail. » Après quelques cycles de test et de commentaires, elles se sont considérablement affinées : « Réponds en utilisant les spécifications produit et l’historique Slack. Si la réponse ne figure pas dans nos documents, dis-le. Limite les réponses à 3 paragraphes. »

Avant de déployer votre agent auprès de votre équipe, testez-le vous-même en cliquant sur l’option Exécuter l’agent en haut de votre page de paramètres. Posez-lui le type de questions que votre équipe serait susceptible de poser et voyez comment il répond.

Les Insights offrent aux créateurs et aux admins de custom agents une idée claire du coût, des performances et de l’adoption de l’agent. Ils vous aident à repérer les exécutions qui coûtent le plus cher, à vous assurer que vos modifications fonctionnent et à mettre en évidence les échecs à corriger en priorité.

Le dashboard Insights propose deux sections :

• La section Graphiques montre les tendances en matière de coût, de performance et d’adoption au fil du temps.

• La section Toutes les discussions affiche une vue granulaire de l’activité de votre agent, ainsi que son état, ses déclencheurs, les crédits consommés, le nombre d’exécutions, le modèle utilisé, et bien plus encore.

Voici comment tirer parti des Insights :

• Mesurez le coût et la performance au fur et à mesure de vos itérations : vérifiez les crédits de chaque exécution, ajustez un levier (instructions, modèle ou déclencheurs), puis comparez les résultats dans le temps. C’est cette boucle de commentaires plus précise qui vous indique si un changement a réellement eu un impact.

• Optimisez les agents à forte consommation : Commencez par le dashboard des crédits pour identifier vos agents les plus coûteux, puis utilisez la Vue Toutes les discussions pour faire ressortir les exécutions les plus onéreuses et les modèles récurrents. Les correctifs les plus courants consistent à restreindre la portée et à choisir un modèle mieux adapté à la tâche.

• Résolvez plus rapidement les échecs de l’exécution : Lorsqu’une exécution échoue, Insights identifie rapidement la cause, comme un appel d’outil spécifique ou une autorisation manquante. Corriger la cause profonde une fois permet d’éviter que le même échec ne se reproduise.

Pour voir comment ces pratiques se traduisent avec un autre agent, regardez cette démonstration :

Les meilleurs Custom Agents se façonnent avec le temps. Chaque petit ajustement compte, et en peu de temps, vous disposez d’un agent plus fiable, plus cohérent et plus rentable.