Démarche de relecture

Comment tester un détecteur d’IA avec des textes d’origine connue ?

La réponse courte

L’origine doit être établie avant le score. Constituez un lot de textes humains et générés par IA dont vous pouvez documenter la provenance, puis analysez-les sans les modifier. Gardez tous les résultats : quelques classifications réussies ne mesurent pas la précision du détecteur sur tous les écrits.

Des échantillons choisis avant de connaître les scores

Comment savoir quelle étiquette attribuer à un échantillon ? Pour un texte humain, choisissez un brouillon à l’historique fiable ; pour l’IA, gardez la réponse telle qu’elle apparaît dans la conversation qui l’a générée. Un passage trouvé en ligne ne devient pas un exemple d’IA parce qu’un autre détecteur l’a signalé. La langue, la longueur approximative et le type d’écriture doivent correspondre à votre usage.

La même procédure d’un texte à l’autre

L’évaluation RAID fait varier les domaines, les générateurs et les conditions de décodage. Avec votre prompt habituel, vous examinez une situation bien plus restreinte. Consignez les conditions de cet essai : elles permettent de comprendre les résultats, sans faire de votre vérification l’équivalent de RAID.

  1. Consignez, pour chaque entrée, la source, la langue et la longueur.
  2. Gardez le nom du modèle et la date de génération des exemples d’IA, lorsqu’ils sont disponibles.
  3. Conservez le même mode d’analyse et notez la date de chaque analyse.
  4. Enregistrez les erreurs, et pas seulement les classifications correctes.

Source: Dugan et al. (ACL 2024) : le banc d’évaluation RAID

Ce que votre petite vérification permet de rapporter

Un texte humain classé comme IA et un texte généré non repéré par l’outil sont deux erreurs différentes. Comptez-les séparément et indiquez le nombre d’exemples analysés. Précisez aussi si le lot se limite à un genre ou à un modèle : ses résultats ne valent pas pour tous les documents.

Mettre les conseils en pratique

Choisissez le passage à examiner et conservez son contexte avec le résultat.

Vérifier votre texteTravailler avec des exemples de modèles documentés