Prüfablauf
Wie teste ich einen KI-Detektor mit Texten bekannter Herkunft?
Die kurze Antwort
Sammeln Sie menschliche und KI-Texte, deren Herkunft Sie dokumentieren können, lassen Sie die Eingaben unverändert und erfassen Sie jedes Ergebnis. Lernen Sie mit der Übung das Werkzeug an diesen Beispielen kennen. Einige erfolgreiche Prüfungen belegen keine allgemeine Genauigkeit.
Beispiele vor der Ergebnisansicht auswählen
Verwenden Sie menschliche Entwürfe mit verlässlicher Historie und KI-Ausgaben, die direkt aus dem erzeugenden Chat gespeichert wurden. Stimmen Sie Sprache, ungefähre Länge und Textart auf Ihren geplanten Einsatz ab. Kennzeichnen Sie einen Onlinetext nicht allein deshalb als KI, weil ein anderer Detektor ihn markiert hat.
Das Verfahren einheitlich halten
RAID bewertet unterschiedliche Domänen, Generatoren und Dekodierbedingungen und verdeutlicht damit, warum ein vertrauter Prompt nur ein enger Test ist. Dokumentieren Sie bei Ihrer Übung die Bedingungen, statt das Ergebnis als gleichwertigen Benchmark darzustellen.
- Erfassen Sie Quelle, Sprache und Länge jeder Eingabe.
- Speichern Sie bei KI-Beispielen Modellname und Erstellungsdatum, soweit verfügbar.
- Verwenden Sie denselben Prüfmodus und dokumentieren Sie das Prüfdatum.
- Bewahren Sie Fehler ebenso wie richtige Einstufungen auf.
Quelle: Dugan et al. (ACL 2024): der RAID-Evaluationsbenchmark
Grenzen zusammen mit dem Ergebnis berichten
Zählen Sie menschliche Texte mit KI-Markierung getrennt von generierten Texten, die das Werkzeug übersieht. Nennen Sie die Anzahl der geprüften Beispiele. Stammen alle aus einer Textsorte oder einem Modell, sagen Sie dies; übertragen Sie diese Beobachtung nicht auf jedes Dokument.