Démarche de relecture
Comment tester un détecteur d’IA avec des textes d’origine connue ?
La réponse courte
L’origine doit être établie avant le score. Constituez un lot de textes humains et générés par IA dont vous pouvez documenter la provenance, puis analysez-les sans les modifier. Gardez tous les résultats : quelques classifications réussies ne mesurent pas la précision du détecteur sur tous les écrits.
Des échantillons choisis avant de connaître les scores
Comment savoir quelle étiquette attribuer à un échantillon ? Pour un texte humain, choisissez un brouillon à l’historique fiable ; pour l’IA, gardez la réponse telle qu’elle apparaît dans la conversation qui l’a générée. Un passage trouvé en ligne ne devient pas un exemple d’IA parce qu’un autre détecteur l’a signalé. La langue, la longueur approximative et le type d’écriture doivent correspondre à votre usage.
La même procédure d’un texte à l’autre
L’évaluation RAID fait varier les domaines, les générateurs et les conditions de décodage. Avec votre prompt habituel, vous examinez une situation bien plus restreinte. Consignez les conditions de cet essai : elles permettent de comprendre les résultats, sans faire de votre vérification l’équivalent de RAID.
- Consignez, pour chaque entrée, la source, la langue et la longueur.
- Gardez le nom du modèle et la date de génération des exemples d’IA, lorsqu’ils sont disponibles.
- Conservez le même mode d’analyse et notez la date de chaque analyse.
- Enregistrez les erreurs, et pas seulement les classifications correctes.
Ce que votre petite vérification permet de rapporter
Un texte humain classé comme IA et un texte généré non repéré par l’outil sont deux erreurs différentes. Comptez-les séparément et indiquez le nombre d’exemples analysés. Précisez aussi si le lot se limite à un genre ou à un modèle : ses résultats ne valent pas pour tous les documents.