3 choses IA : l’édition « Testez l’adéquation avant de faire confiance »

Le moyen le plus rapide de gaspiller un projet pilote d’IA est de tester un outil sur une tâche qui cache pourquoi il réussit ou échoue.

1. Commencer par le travail, pas par le nom du modèle

Une gestionnaire a un mois pour tester un assistant. Les résumés semblent faciles, les exceptions contractuelles risquées, et une note globale n’indique pas quelle tâche convient. La question utile est plus petite : quelles capacités cette tâche exige-t-elle et où l’outil les démontre-t-il de façon fiable?

Un article soumis le 26 août propose de comparer les tâches et les systèmes d’IA selon un même profil de capacités cognitives. Les chercheurs ont profilé six systèmes et recueilli les exigences de tâches auprès de 410 personnes dans six domaines professionnels. Ces dimensions ont servi à repérer de bons candidats à un essai et les mauvaises adéquations probables.

L’avantage est une liste plus utile que « choisir le meilleur score moyen ». Le compromis est un travail initial : une personne qui connaît le métier doit décrire la tâche avant qu’un tableau de bord produise une note nette.

Un test pratique : choisissez cinq tâches d’un même rôle et nommez les trois capacités les plus importantes pour chacune. Préparez dix exemples, dont deux cas limites, et évaluez ces capacités. Testez la tâche qui correspond clairement; gardez l’autre avec une personne ou transformez-la en étape partagée.

Il s’agit d’un nouveau cadre comparatif, pas d’une preuve que ses profils prédisent tous les résultats professionnels. L’échantillon couvrait six domaines et vos conditions peuvent modifier l’adéquation. Choisissez un essai; n’autorisez pas l’automatisation.

2. Donner à chaque évaluation un premier regard neuf

Une responsable demande à une IA de noter une campagne révisée. L’invite inclut la note d’hier pour montrer l’historique. Cela semble efficace, mais l’ancien chiffre peut influencer la réponse actuelle même si le texte s’est amélioré.

Des chercheurs ont testé l’effet d’ancrage des notes antérieures sur les juges d’IA dans 192 000 tentatives, dont 185 271 terminées, avec huit modèles et vingt textes. Sept modèles ont montré un effet systématique. Dans une autre expérience catégorielle avec une vérité terrain étiquetée par des humains, les métadonnées ont empêché 48 % des corrections et déplacé 10,18 % des bons jugements vers une mauvaise étiquette assignée. Un avertissement d’ignorer les métadonnées n’a pas supprimé l’effet total.

L’avantage est une évaluation rapide de nombreux brouillons ou dossiers. Le compromis est que l’historique utile peut compromettre une vérification indépendante. Un évaluateur qui voit le verdict précédent peut confirmer le processus au lieu de réexaminer le travail.

Un test pratique : soumettez les vingt mêmes exemples non sensibles à deux parcours. Donnez au premier l’élément et la grille; ajoutez au second la tentative et la note antérieure. Comparez les décisions à un petit ensemble vérifié par une personne. Si l’historique change le résultat sans nouvelle preuve, gardez-le hors du premier passage et ajoutez-le seulement lors du rapprochement.

L’étude utilisait des modèles, textes, invites et un jeu de données sectoriel précis. Ses pourcentages ne se transfèrent pas directement à votre processus, et une invite vierge ne garantit pas un jugement exact. Testez l’indépendance; ne remplacez pas l’expertise par une autre formulation.

3. Vérifier si les noms locaux changent la réponse

Un fournisseur canadien demande de le comparer à de grands concurrents. Les sociétés mondiales familières obtiennent des faits plus précis et moins d’erreurs. La recherche documentaire n’aide que si le modèle utilise les preuves de façon égale.

Une étude soumise le 26 août a mesuré les écarts géographiques dans les réponses factuelles sur environ 2 000 sociétés ouvertes. Six modèles ont répondu sans contexte, avec un contexte exact, trompeur ou distrayant. Le contexte exact a amélioré les résultats sans éliminer les écarts géographiques, et les gains suivaient les connaissances initiales des modèles. Avec un contexte trompeur, ils copiaient souvent l’information erronée; les grands modèles faisaient mieux en général sans supprimer le phénomène.

L’avantage de la génération augmentée par récupération — fournir des documents au moment de répondre — est qu’une petite équipe peut appuyer ses comparaisons sur des données actuelles. Le compromis est que l’ajout de documents ne rend pas chaque entreprise également représentée. Une société moins connue peut encore dépendre de la familiarité du modèle ou d’un passage trompeur.

Un test pratique : créez un ensemble équilibré de dix organisations canadiennes et dix organisations mieux connues de votre marché. Posez les mêmes questions factuelles avec des documents primaires datés, exigez une citation près de chaque réponse, puis notez l’exactitude et l’appui des citations. Comparez les taux d’erreur avant d’utiliser ce flux pour la recherche ou des affirmations destinées aux clients.

Le banc d’essai portait sur des sociétés ouvertes et quatre attributs simples, pas sur des PME canadiennes privées ni des analyses concurrentielles complexes. Il montre un écart reproductible dans ce contexte; il ne prouve pas que chaque modèle, région ou système de recherche se comportera ainsi.

La tendance de fond

La qualité de l’IA est plus facile à juger lorsque le test correspond à la décision. Décrivez la tâche avant de choisir l’outil, séparez une nouvelle évaluation de son historique et vérifiez si le rendement change avec des organisations moins connues. Ces vérifications ajoutent du travail, mais révèlent ce qui dépend du contexte.

Quelle tâche récurrente fonctionne bien avec l’IA dans les cas ordinaires, mais échoue encore devant un type précis de cas limite?