Proceso de revisión
¿Cómo pruebo un detector de IA con textos de origen conocido?
Respuesta breve
Necesitas muestras humanas y de IA con un origen que puedas documentar. Mantén sus entradas intactas y apunta todos los resultados. El ejercicio sirve para conocer la respuesta de la herramienta a esas muestras; unos cuantos aciertos no establecen su precisión general.
Las muestras se eligen antes de mirar la puntuación
Para la parte humana, busca borradores con un historial fiable. Para la de IA, respuestas guardadas directamente de la conversación que las generó. El idioma, la longitud aproximada y el tipo de escritura deben corresponder al uso que quieres probar. No basta que otro detector señale un pasaje de internet para etiquetarlo como IA.
Qué condiciones mantendrás iguales
RAID incluye distintos ámbitos, generadores y condiciones de decodificación. Esa variedad muestra lo estrecha que resulta una prueba con una sola instrucción conocida. En tu ejercicio interesa documentar las condiciones, en lugar de presentar lo observado como una evaluación de referencia equivalente.
- Anota de dónde viene cada entrada, en qué idioma está y cuánto mide.
- Cuando dispongas del dato, guarda el modelo y la fecha de generación de las muestras de IA.
- Mantén el modo de análisis y registra la fecha de cada comprobación.
- Deja registrados los fallos, además de las clasificaciones acertadas.
Fuente: Dugan et al. (ACL 2024): evaluación de referencia RAID
El resultado necesita sus límites
Separa los textos humanos marcados como IA de los generados que no detectó la herramienta. Indica cuántos ejemplos has revisado. Si todos son de un género o de un modelo, dilo: no permite extender lo observado a cualquier documento.