Taux d’hallucination de l’IA juridique : Lexis, Westlaw, Practical Law et GPT-4 comparés
Les praticiens qui explorent l’IA juridique doivent connaître ces chiffres avant de s’appuyer sur un assistant de recherche dans leurs dossiers clients. L’étude Stanford HAI sur les modèles juridiques a testé plus de 200 requêtes juridiques évaluées manuellement par des experts et a défini l’hallucination comme une réponse soit factuellement incorrecte, soit mal fondée — citant une source réelle qui ne vient pas effectivement étayer l’affirmation. Le taux d’hallucination IA juridique mesuré dans cette étude va de 17 % pour le meilleur outil à plus de 40 % pour les modèles généralistes.
Cet article définit ce qui compte comme une hallucination dans le contexte de la recherche juridique, explique comment l’étude de référence Stanford a mesuré les taux sur 202 requêtes évaluées par des experts, et présente les chiffres outil par outil avec les taux d’exactitude et de refus afin que vous puissiez comparer directement la fiabilité.
Il examine également pourquoi les outils produisent des résultats si différents, les limites des études de référence, la vague croissante de sanctions judiciaires aux États-Unis à l’encontre d’avocats ayant déposé des citations inventées, ainsi que les mesures concrètes permettant d’éviter qu’une production IA ne s’intègre sans contrôle dans vos conclusions.
Cet article est fourni à titre informatif uniquement et ne constitue pas un avis juridique.
Qu’est-ce qu’une hallucination de l’IA juridique
Une hallucination de l’IA juridique est définie comme une réponse soit factuellement incorrecte, soit mal fondée — lorsque l’outil cite une source réelle et existante qui n’étaye pas réellement la proposition pour laquelle elle est avancée. L’étude Stanford a utilisé cette définition en deux volets pour évaluer plus de 200 requêtes juridiques, et elle couvre à la fois l’erreur évidente et celle, plus subtile, qui est la plus dangereuse. Comprendre ce qu’est l’hallucination IA juridique est la première condition pour évaluer les outils disponibles.
Réponse factuellement incorrecte ou citation mal fondée
Une réponse factuellement incorrecte énonce quelque chose de simplement faux : les mauvais éléments constitutifs d’un délit, un texte abrogé présenté comme en vigueur, la solution retenue présentée de façon contraire à ce qu’a réellement décidé le tribunal. Ces erreurs sont celles que la plupart des gens associent aux défaillances des grands modèles de langage, et elles sont relativement faciles à détecter par une simple vérification.
Une citation mal fondée est plus difficile à repérer. L’outil mentionne une vraie affaire — qui existe dans Westlaw ou Lexis, possède une référence correcte et relève de la bonne juridiction — mais cette affaire ne vient pas étayer la proposition que l’IA lui fait soutenir. Parce que la citation est réelle, une vérification rapide de la référence peut ne pas révéler le problème ; l’avocat doit effectivement lire l’autorité citée et s’assurer qu’elle soutient la thèse précise. GPT-4 et même les outils juridiques spécialisés peuvent produire des citations mal fondées à des taux significatifs, ce qui en fait le mode de défaillance le plus dangereux en pratique.
Le défaut de fondement est particulièrement fréquent lorsqu’un modèle récupère une affaire thématiquement proche puis surestime ou déforme subtilement la solution retenue. La citation semble légitime au premier coup d’œil, l’affaire relève bien de la jurisprudence toujours en vigueur, et l’erreur ne se révèle que lorsque quelqu’un lit l’intégralité de la décision — c’est précisément pourquoi ces citations juridiques inventées ou mal fondées sont si problématiques.
Pourquoi cela importe davantage en droit que dans la recherche générale
Les réponses juridiques reposent sur des autorités contraignantes, actuelles et propres à une juridiction donnée. Une réponse plausible qui mentionne le bon concept juridique mais cite la mauvaise affaire peut être insérée dans des conclusions, citée à un client dans une note, ou utilisée dans la rédaction d’un contrat — chacun de ces usages exposant à des risques disciplinaires au regard du devoir de compétence et du devoir de loyauté envers le tribunal. En France, ces obligations sont consacrées par le RIN (Règlement Intérieur National de la profession d’avocat), de façon analogue aux obligations déontologiques américaines issues de l’ABA Model Rule 1.1 (règle déontologique américaine).
Dans une recherche ordinaire sur le web, un résultat halluciné peut causer un simple désagrément. Dans la recherche juridique, des citations inventées déposées devant des tribunaux américains ont déjà donné lieu à des sanctions financières, des décisions défavorables et des renvois devant les autorités disciplinaires. Les enjeux rendent la distinction entre réponse factuellement incorrecte et simple citation mal fondée plus qu’académique : les deux peuvent faire échouer une requête, et les citations mal fondées sont celles qui ont le plus de chances de passer au travers d’une relecture rapide.
| Type de défaillance | Semble réelle ? | Détectable sans lire l’affaire ? |
|---|---|---|
| Affirmation factuellement incorrecte | Aucune citation fournie | Souvent oui |
| Citation inventée | Non — l’affaire n’existe pas | Oui, dès la première vérification de référence |
| Citation mal fondée | Oui — l’affaire existe | Non — nécessite la lecture de la solution retenue |
Signes avant-coureurs d’une production IA hallucinée :
- Le format de la citation est correct, mais l’affaire ne renvoie aucun résultat dans Westlaw ou Lexis
- L’affaire citée existe, mais porte sur une question juridique différente
- La solution retenue est paraphrasée de façon plus large que ce que la décision réelle justifie
- Le texte législatif cité a été modifié ou abrogé après la date de coupure des données d’entraînement du modèle
Comment le taux d’hallucination de l’IA juridique est mesuré
Le taux d’hallucination de l’IA juridique est mesuré en soumettant un ensemble fixe de requêtes juridiques à chaque outil et en faisant évaluer manuellement chaque réponse par des experts juridiques, classée comme exacte, incomplète ou hallucinée. Stanford RegLab a mesuré les taux d’hallucination dans l’étude Hallucination-Free?, qui a testé 202 requêtes juridiques évaluées par des experts — constituant ainsi la première évaluation systématique des principaux outils IA pour des tâches de recherche juridique réelles. L’étude a ensuite été soumise à une révision par les pairs et publiée dans le Journal of Empirical Legal Studies en 2025.
L’étude de référence Stanford RegLab
L’étude Hallucination-Free? a été conçue comme un essai préenregistré, ce qui signifie que les chercheurs ont arrêté leur méthodologie avant de collecter les données — une garantie importante contre les ajustements a posteriori. Chacune des 202 requêtes a reçu une réponse indépendante de chaque outil, puis une équipe d’experts juridiques a examiné les réponses sans savoir quel outil les avait produites. L’évaluation en aveugle a réduit le risque que la familiarité avec le style d’un produit n’influence le jugement.
Le préenregistrement est ce qui distingue cette étude de référence des comparaisons informelles qui circulent dans les commentaires sur la technologie juridique. Les résultats de l’étude étaient reproductibles par construction, et le protocole de notation complet a été divulgué, permettant aux éditeurs et aux critiques de discuter des choix méthodologiques spécifiques plutôt que de contester les résultats dans l’abstrait.
Types de requêtes testées
Plusieurs centaines de requêtes se répartissaient en quatre catégories : questions de recherche générale et doctrinales, questions spécifiques à une juridiction ou à une période (tels que des désaccords entre circuits ou des modifications législatives récentes), questions à fausse prémisse contenant une erreur juridique que l’outil devait identifier, et questions de rappel factuel demandant des solutions retenues spécifiques ou des dates.
Les questions à fausse prémisse et les questions propres à une juridiction ont généré le plus d’hallucinations dans tous les outils testés. Lorsqu’une requête contient une erreur intégrée, un outil bien calibré devrait la signaler ; à la place, plusieurs outils ont confirmé la fausse prémisse et ont construit une réponse sur cette base. Les questions propres à une juridiction ont pénalisé les outils dont les données d’entraînement étaient biaisées vers le droit fédéral ou les juridictions majoritaires.
Ce qui est noté comme exact, incomplet ou halluciné
Le système de notation à trois niveaux classait une réponse comme exacte lorsqu’elle était à la fois juridiquement correcte et bien fondée sur l’autorité citée, incomplète lorsque l’outil refusait de répondre ou fournissait une réponse non étayée ou fortement nuancée, et hallucinée lorsque la réponse était factuellement incorrecte ou mal fondée.
La catégorie « incomplète » est importante car un outil peut afficher un faible taux brut d’hallucination simplement en refusant de répondre aux requêtes difficiles. Le refus est une stratégie légitime de réduction du risque du point de vue du produit, mais il diminue la valeur pratique de l’outil pour les avocats qui ont besoin de réponses et non d’abstentions. La répartition en trois niveaux permet à l’étude de référence de révéler explicitement ce compromis, plutôt que d’enfouir les refus dans un taux d’exactitude flatteur.
Étapes de notation d’une requête :
- La requête est soumise à chaque outil dans des conditions identiques, sans instruction supplémentaire.
- Chaque réponse est dépouillée de la marque de l’outil avant l’évaluation par les experts.
- Un expert juridique lit la réponse et vérifie chaque autorité citée par rapport à la source primaire.
- L’expert classe la réponse comme exacte, incomplète ou hallucinée selon le protocole préenregistré.
- Un second évaluateur note indépendamment un échantillon afin d’établir la fiabilité inter-évaluateurs.
- Les désaccords sont tranchés par un troisième évaluateur avant la compilation des résultats.
Taux d’hallucination de l’IA juridique par outil
Les chiffres clés de l’étude de référence Stanford RegLab sont éloquents : Lexis+ AI a produit des hallucinations sur environ 17 % des requêtes juridiques, Westlaw AI-Assisted Research sur environ 33 %, et GPT-4 sur environ 43 % des requêtes juridiques du même ensemble de test. Le taux d’hallucination IA juridique varie donc du simple au double selon l’outil retenu. Lexis+ AI a répondu avec exactitude à 65 % des requêtes — le meilleur taux d’exactitude de tous les outils testés —, tandis que Ask Practical Law AI a fourni des réponses incomplètes sur plus de 60 % des requêtes, soit le taux de refus le plus élevé de l’étude.
| Outil | Taux d’hallucination | Taux d’exactitude | Taux de refus/incomplet |
|---|---|---|---|
| Lexis+ AI | ~17 % | ~65 % | ~18 % |
| Westlaw AI-Assisted Research | ~33 % | ~42 % | ~25 % |
| Ask Practical Law AI | Faible taux brut | Non communiqué | >60 % |
| GPT-4 (sans base de données juridique) | ~43 % | Faible | Faible |
| Chatbots généralistes (recherches antérieures) | 58–82 % | Très faible | Très faible |
Lexis+ AI
Dans l’étude de référence Hallucination-Free? de Stanford, Lexis+ AI a enregistré le taux d’hallucination le plus bas parmi les outils juridiques spécialisés, à environ 17 %, ainsi que le taux d’exactitude le plus élevé, à environ 65 %. Cette combinaison — faible taux de fabrication, forte proportion de réponses utiles — est ce qui le distingue des outils qui gèrent l’hallucination en refusant de répondre.
Les quelque 18 % de requêtes classées incomplètes pour Lexis+ AI signifient que l’outil refuse encore de répondre ou formule des réserves sur une part non négligeable des questions, mais cette part est bien inférieure au taux de refus de Ask Practical Law AI. Pour les praticiens effectuant des recherches doctrinales sur un large éventail de types de requêtes, le profil de Lexis+ AI représente le meilleur équilibre mesuré dans l’étude.
Westlaw AI-Assisted Research
Westlaw AI-Assisted Research a halluciné sur environ 33 % des requêtes juridiques — soit approximativement le double du taux de Lexis+ AI sur le même benchmark. Son taux d’exactitude était d’environ 42 %, ce qui signifie qu’il répondait correctement moins d’une fois sur deux. L’écart par rapport à Lexis+ AI est suffisamment important pour influencer le choix de l’outil, notamment pour les dossiers à enjeux élevés où chaque autorité citée sera examinée de près.
La comparaison entre les deux plateformes laisse penser que la différence ne tient pas uniquement à la qualité du modèle, mais reflète aussi la façon dont chaque produit récupère et résume les autorités. La longueur de réponse plus élevée de Westlaw — abordée dans la section suivante — contribue en partie à expliquer son taux de défaut de fondement plus élevé.
Ask Practical Law AI (Thomson Reuters)
Ask Practical Law AI présente un profil de risque différent : son nombre brut d’hallucinations était relativement faible, mais il a obtenu ce résultat en donnant des réponses incomplètes ou en refusant de répondre sur plus de 60 % des requêtes — le taux de refus le plus élevé de tous les outils de l’étude. Un outil qui décline la plupart des questions est prudent, mais pas nécessairement utile.
La conséquence pratique pour les avocats est qu’un faible taux d’hallucination associé à un taux de refus très élevé ne confère pas la même fiabilité qu’un faible taux d’hallucination associé à un taux d’exactitude élevé. Lorsque Ask Practical Law AI fournit une réponse, celle-ci peut être fiable, mais dans la majorité des cas il n’en fournit tout simplement aucune, renvoyant la charge de la recherche au praticien.
GPT-4 et les chatbots généralistes
GPT-4, testé sans accès à une base de données de jurisprudence, a halluciné sur environ 43 % des requêtes juridiques dans l’étude Stanford. Des recherches antérieures sur la précision des chatbots généralistes ont montré que ces derniers hallucinent sur 58 % à 82 % des requêtes juridiques — une fourchette qui illustre à quel point les modèles dépourvus d’augmentation par récupération peinent avec les questions portant sur des autorités contraignantes propres à une juridiction. En pratique, GPT-4 droit utilisé sans base juridique structurée génère des erreurs IA juridique à une fréquence qui le rend inadapté à tout travail destiné à être déposé ou transmis à un client.
La comparaison entre GPT-4 à 43 % et Lexis+ AI à 17 % illustre l’intérêt pratique de la génération augmentée par récupération (RAG) : rattacher le modèle à un corpus juridique sélectionné réduit sensiblement les hallucinations, sans pour autant les éliminer. Les chatbots généralistes demeurent l’option la plus risquée pour toute tâche de recherche juridique où l’autorité citée sera effectivement invoquée.
Pourquoi les outils IA juridique diffèrent
Les différences de taux d’hallucination entre les outils IA juridique résultent d’une combinaison de la qualité de la génération augmentée par récupération (RAG), de la base de données juridique sous-jacente et de la longueur et du niveau de nuance des réponses fournies par chaque outil. La génération augmentée par récupération (RAG) réduit sans éliminer les hallucinations, et la longueur des réponses IA corrèle avec un taux d’hallucination plus élevé — deux conclusions qui expliquent ensemble une grande partie de l’écart entre Lexis+ AI et Westlaw AI-Assisted Research.
La RAG réduit sans éliminer les hallucinations
La génération augmentée par récupération (RAG) fonctionne en extrayant les affaires et textes législatifs pertinents d’une base de données sélectionnée avant que le modèle de langage ne rédige sa réponse, lui fournissant ainsi quelque chose de réel à résumer plutôt que de s’appuyer entièrement sur ses données d’entraînement. C’est pourquoi les trois outils juridiques spécialisés surpassent GPT-4 brut : l’étape de récupération contraint l’espace des réponses.
Le problème est que la récupération ne garantit pas la fidélité du résumé. Un outil peut récupérer la bonne affaire et déformer ensuite la solution retenue dans le résumé généré — produisant une citation mal fondée plutôt qu’une citation inventée, mais une hallucination de l’IA juridique tout de même. L’étude Stanford a montré que ce phénomène se produit même dans l’outil affichant le plus faible taux d’hallucination, ce qui signifie que la RAG est une garantie nécessaire mais non suffisante.
Longueur et verbosité des réponses
L’étude a constaté que Westlaw AI-Assisted Research générait des réponses nettement plus longues — environ 350 mots en moyenne — contre environ 219 mots pour Lexis+ AI. Des réponses plus longues multiplient les occasions de déformer ou de mal fonder une autorité, à la fois parce que le modèle doit formuler davantage d’affirmations factuelles et parce que la prose étendue tend à aller au-delà de ce que les sources récupérées étayent directement.
Cette corrélation entre longueur de réponse et taux d’hallucination n’est pas propre à l’IA juridique, mais elle a des conséquences particulières en droit : une réponse longue qui évoque quatre affaires avec assurance est plus difficile à vérifier qu’une réponse concise qui n’en cite qu’une. Les praticiens devraient traiter les réponses IA inhabituellement longues comme un signal de renforcer leur effort de vérification, et non comme un signe de rigueur.
Base de données et conception du produit
Les corpus de jurisprudence disponibles pour LexisNexis et Thomson Reuters diffèrent en termes de couverture, de fréquence de mise à jour et des métadonnées utilisées pour classer les passages récupérés. La conception des instructions — la façon dont le produit formule la requête pour le modèle sous-jacent — conditionne également ce qui est récupéré et la confiance avec laquelle le modèle le synthétise.
Principaux facteurs qui différencient les taux d’hallucination mesurés entre les outils :
- Étendue et actualité de la base primaire de jurisprudence et de textes législatifs
- Façon dont l’étape de récupération classe et filtre les passages candidats
- Possibilité que le produit incite le modèle à exprimer une incertitude
- Degré d’agressivité avec lequel l’outil refuse les requêtes qui dépassent sa zone de confiance
- Mesure dans laquelle les tests du produit ont inclus des requêtes propres à une juridiction et des requêtes à fausse prémisse avant la mise en production
Limites et critiques : la fiabilité de l’IA juridique en question
Les chiffres de l’étude de référence reflètent des versions spécifiques des produits testés à la mi-2024, et les éditeurs ont déployé des mises à jour depuis lors ; les chiffres doivent donc être considérés comme indicatifs plutôt que définitifs. La fiabilité de l’IA juridique telle que mesurée dans cette étude ne saurait être tenue pour acquise sans égard aux évolutions continues des produits. Ask Practical Law AI a fourni des réponses incomplètes sur plus de 60 % des requêtes dans cet instantané — un résultat que Thomson Reuters a partiellement contesté au motif que la notation ne créditait pas suffisamment la politique de refus délibérée de l’outil comme une fonctionnalité plutôt qu’un défaut.
Le débat méthodologique central porte sur la façon dont « hallucination » et « exactitude » sont définies au stade de la notation. Thomson Reuters et d’autres éditeurs ont contesté qu’un refus prudent doive peser défavorablement sur un outil en tant que réponse incomplète, plutôt que d’être crédité comme un comportement responsable. Ce choix de définition influe considérablement sur le classement : un outil qui refuse 60 % des requêtes peut afficher un faible taux d’hallucination tout en offrant une valeur pratique limitée, et des conventions de notation différentes peuvent inverser l’ordre des produits.
Une critique connexe porte sur la sélection des requêtes. Les 202 requêtes ont été élaborées par des chercheurs aux profils d’expertise particuliers, et des critiques ont fait valoir que la composition des types de requêtes — notamment la proportion de questions à fausse prémisse et de questions propres à une juridiction — peut ne pas refléter la distribution des tâches que les praticiens effectuent réellement. Si l’usage réel est davantage orienté vers la recherche doctrinale courante, les taux d’hallucination observés dans l’étude de référence pourraient surestimer le risque auquel les praticiens font face au quotidien.
Limites à garder à l’esprit lors de la lecture des résultats :
- Les versions des outils évoluent avec les mises à jour produit ; un résultat de 2024 peut ne pas refléter les performances de 2025
- La fiabilité inter-évaluateurs était élevée mais non parfaite ; les cas limites à la frontière exact/mal fondé influent sur les pourcentages finaux
- L’étude a été menée en anglais sur le droit américain ; les performances sur d’autres juridictions ou d’autres langues n’ont pas été mesurées
- Les études de référence universitaires utilisent des requêtes ouvertes ; les déploiements en entreprise recourent souvent à des instructions contraintes et normalisées qui peuvent produire des taux différents
La lecture la plus équitable de l’étude Stanford Hallucination-Free? est qu’elle a établi un socle rigoureux et reproductible et mis en évidence des différences significatives entre les outils — non pas qu’elle a produit un classement permanent. L’ordre relatif (Lexis+ AI surpassant Westlaw AI-Assisted Research, les deux surpassant les chatbots généralistes) est cohérent avec la logique sous-jacente de la conception de chaque produit, ce qui lui confère une crédibilité directionnelle même si les pourcentages absolus évoluent avec les mises à jour des modèles.
Conséquences concrètes : sanctions des tribunaux et citations inventées
Des tribunaux américains ont sanctionné des dizaines d’avocats pour avoir déposé des citations inventées par l’IA, avec des affaires recensées se comptant par centaines et augmentant de plusieurs nouveaux cas par jour. Le schéma est constant : un praticien utilise un chatbot ou un outil de recherche IA, ne vérifie pas les résultats par rapport aux sources primaires, et dépose des conclusions citant des affaires qui n’existent pas ou qui ne disent pas ce que les conclusions prétendent.
les systèmes Lexis+ AI et Ask Practical Law AI ont produit des informations incorrectes dans plus de 17 % des cas, tandis que le Westlaw AI-Assisted Research a halluciné dans plus de 34 % des cas chercheurs de Stanford RegLab et HAI
Les sanctions ne sont pas hypothétiques. Aux États-Unis, des juges fédéraux ont infligé des sanctions financières, exigé que les avocats déposent des certifications sous serment attestant qu’ils avaient vérifié les recherches générées par IA, et dans plusieurs cas renvoyé des avocats devant les autorités disciplinaires du barreau. Ces erreurs IA juridique documentées illustrent à quel point les enjeux sont concrets.
L’ABA Model Rule 1.1 (règle déontologique américaine) fait peser la charge de la vérification sur l’avocat, et non sur l’outil. Son équivalent français est le RIN (Règlement Intérieur National de la profession d’avocat), qui consacre de façon analogue le devoir de compétence. Le devoir de compétence exige des avocats qu’ils comprennent les technologies qu’ils utilisent et qu’ils vérifient leurs résultats ; le devoir de loyauté envers le tribunal exige que chaque autorité citée soit exacte et constitue de la jurisprudence toujours en vigueur. Les tribunaux qui ont prononcé des sanctions aux États-Unis ont uniformément rejeté l’argument selon lequel le recours à un outil IA ferait peser la responsabilité professionnelle sur l’éditeur. Rejeter la faute sur le logiciel n’a protégé aucun avocat de sanctions disciplinaires dans aucune affaire rapportée.
L’exposition professionnelle s’étend au-delà de la rédaction des conclusions. Une note à un client citant une affaire hallucinée et sur laquelle il s’est appuyé peut engager la responsabilité civile professionnelle. Un contrat qui se fonde sur une règle législative mal citée peut ne pas atteindre l’objectif du client. Les taux d’hallucination documentés dans l’étude Stanford — allant d’une fraction des requêtes pour l’outil le mieux noté à bien plus d’un tiers pour les chatbots généralistes — se traduisent directement par une probabilité matérielle d’erreur professionnelle pour toute tâche de recherche qui n’est pas vérifiée de façon indépendante.
Comment réduire le risque d’hallucination de l’IA juridique
Le risque d’hallucination se réduit en vérifiant chaque autorité citée dans une base de données de sources primaires, en privilégiant les outils aux taux mesurés les plus faibles, et en traitant la production IA comme un brouillon nécessitant une relecture par un avocat avant tout usage. La génération augmentée par récupération (RAG) réduit sans éliminer les hallucinations de l’IA juridique, ce qui signifie que même Lexis+ AI — dont le taux d’hallucination IA juridique s’établit à environ 17 % des requêtes — exige une vérification indépendante de chaque citation qu’il produit.
Vérifier chaque citation dans les sources primaires
Chaque affaire ou texte législatif cité par un outil IA doit être consulté directement dans Westlaw, Lexis ou une base de données de sources primaires comparable avant d’apparaître dans toute conclusion, note ou conseil à un client. La procédure de vérification comporte trois étapes distinctes : confirmer que le format de la citation renvoie à un document réel, confirmer que ce document constitue toujours de la jurisprudence toujours en vigueur (non infirmée, non remplacée, non modifiée), et confirmer que la solution retenue ou le libellé étaye effectivement la proposition précise pour laquelle il est invoqué.
La troisième étape est celle qui est le plus souvent négligée. Il ne suffit pas qu’une affaire existe et constitue de la jurisprudence toujours en vigueur ; le défaut de fondement — le mode de défaillance le plus dangereux — n’apparaît que lorsque quelqu’un lit la section pertinente de la décision ou du texte et vérifie qu’elle étaye genuinement l’affirmation. Cela prend plus de temps qu’une simple vérification via Shepard’s ou KeyCite, mais c’est la seule étape qui détecte le mode de défaillance par citation mal fondée que l’étude de référence a identifié comme le plus difficile à détecter.
Choisir les outils aux taux mesurés les plus faibles
Lors de la sélection d’un outil IA juridique de recherche, pondérez le taux d’hallucination conjointement avec le taux d’exactitude et le taux de refus comme un profil à trois variables, plutôt que de vous fier à un seul chiffre. Un outil affichant un faible taux d’hallucination obtenu en refusant la plupart des requêtes n’est pas équivalent à un outil affichant un faible taux d’hallucination et un taux d’exactitude élevé.
Les données de l’étude de référence Stanford suggèrent que la combinaison de Lexis+ AI — environ 17 % d’hallucination et environ 65 % d’exactitude — constitue le profil le plus utile parmi les outils testés : faible taux de fabrication et forte proportion de résultats exploitables. Si votre pratique implique une utilisation intensive de requêtes propres à une juridiction ou sensibles aux fausses prémisses, l’écart entre les outils se creuse encore, rendant le choix de l’outil plus déterminant que dans la recherche doctrinale courante.
Traiter l’IA comme un brouillon, non comme une autorité
Aucun outil IA juridique actuel n’est exempt d’hallucination ; le mieux noté fabrique ou mal fonde encore environ une requête sur six. Ce taux est suffisamment faible pour faire de l’IA un outil genuinement utile pour identifier des affaires, repérer des cadres juridiques et rédiger une première analyse — mais suffisamment élevé pour qu’il soit professionnellement dangereux de traiter la production IA comme un travail finalisé.
La posture pratique consiste à utiliser l’IA pour accélérer le processus de recherche et générer des brouillons, puis à appliquer la même vérification indépendante que pour tout premier brouillon d’un collaborateur : chaque citation confirmée, chaque solution retenue lue, chaque référence législative vérifiée par rapport à la version codifiée en vigueur. La responsabilité professionnelle incombe à l’avocat qui signe le dépôt, quel que soit l’outil qui a contribué à produire le premier brouillon.