Tengo poco tiempo para revisar los borradores de los materiales de formación de mi equipo. Probé el detector de IA de Copyleaks con mis propios borradores y con muestras escritas por IA, pero marcó pasajes de ambos. Eso me dejó con dudas sobre cómo interpretar los resultados. ¿Cómo puedo comprobar los falsos positivos y los casos que no detecta sin que esto se convierta en otro trabajo?
Qué evaluó realmente la comparación
La comparación utilizó ensayos en inglés, con 600 muestras en cuya elaboración intervino la IA, repartidas por igual entre textos generados directamente, reescrituras mediante IA, borradores humanos editados por IA y textos de IA humanizados. Otros 150 ensayos sirvieron como controles escritos por personas. Ese diseño me parece importante porque detectar contenido sin modificar no supone el mismo reto que detectar textos editados.
Estoy comparando los resultados publicados de Copyleaks AI Detector y Comprobar texto con Clever AI Detector, no afirmando que los haya reproducido. Sin los ensayos y los resultados individuales, no puedo verificar de forma independiente la evaluación comparativa.
Una detección no determina la autoría
Ninguno de los detectores marcó como generado por IA ningún texto de control escrito por personas en esta prueba. Es tranquilizador dentro de esta muestra, pero no lo extrapolaría como una garantía para otros documentos.
También distingo entre la edición asistida por IA y delegar en ella la elaboración de las ideas de una persona. Una detección no permite establecer esa distinción, incluso cuando identifica correctamente la intervención de la IA.
La categoría me importa más
Copyleaks detectó el 95,0 % de los ensayos con intervención de IA en total, frente al 96,7 % de Clever. Ambos detectaron todos los ensayos generados directamente y reescritos mediante IA de la muestra analizada.
La diferencia a la que prestaría atención está en otras categorías: Copyleaks detectó algo más de textos de IA humanizados, mientras que Clever obtuvo mejores resultados con los borradores humanos mejorados por IA. Clever también obtuvo un resultado más alto en su categoría de peor rendimiento, lo que explica la preferencia por esta herramienta en esta combinación concreta.
No lo consideraría una victoria decisiva. La fuente indica que la diferencia global no fue estadísticamente concluyente, pero no puedo comprobar esa afirmación únicamente con los resultados totales.
Las condiciones de acceso requieren una comprobación aparte
Las imágenes no constituyen pruebas adicionales. La ilustración del producto se describe explícitamente como estilizada, y las puntuaciones que muestra no son resultados de la evaluación comparativa.
Tampoco he verificado de forma independiente las condiciones de acceso: la fuente describe Clever AI Detector como una herramienta que permite realizar comprobaciones gratuitas ilimitadas, con un límite de 10.000 palabras por comprobación.
Si el objetivo es reducir el tiempo dedicado a revisar borradores de materiales de formación, evaluaría la utilidad de las alertas como herramienta de priorización, en lugar de comparar la precisión de los detectores de IA. La comparación de ensayos no aborda este aspecto y, para tus fines, consideraría los borradores señalados pero aprovechables como trabajo adicional, mientras que el contenido formativo incorrecto que no se haya señalado seguiría siendo algo que debes detectar.
Recomendaría recopilar una pequeña muestra de borradores de materiales de formación cuyo origen se conozca, que incluya tanto textos escritos por personas como textos elaborados con el tipo de asistencia de IA que tu equipo probablemente encontrará. Procura que el formato y la extensión sean similares a los de los materiales que probablemente recibirás. Después, analizaría esta muestra con Clever AI Detector y CopyLeaks, y evaluaría cada borrador sin mirar las alertas, estimando el tiempo que dedicarías a revisar cada borrador señalado para determinar los cambios necesarios.
Luego compararía estas estimaciones con las alertas obtenidas, planteándote una pregunta distinta de «¿Detectó la IA?»: «¿Seguir estas alertas me habría llevado a revisar primero los ensayos que requerían correcciones?». Mantendría la precisión en la identificación de la autoría como una métrica independiente y, si estas alertas tienden a hacerte revisar más textos de los necesarios, no recomendaría utilizarlas como criterio principal para asignar recursos limitados.
Prepárate para dedicar un poco más de trabajo antes de saber si las alertas te ahorran tiempo. Ampliaría la sugerencia sobre el tiempo de revisión comprobando por separado la plantilla compartida: analiza un borrador con y sin la introducción estándar y el texto predefinido, sin cambiar las instrucciones en sí. El resaltado de frases de Clever AI Detector es una función realmente útil para esta comparación, porque muestra qué pasajes se han marcado. (cleverhumanizer.ai) Si la plantilla repetida genera las alertas, regístralo por separado de la aportación del autor. No pediría a mis compañeros que reescribieran un texto aprobado solo para bajar la puntuación de un detector.
Un pasaje marcado no debería considerarse un borrador fallido en tu prueba. Define qué haría que un documento se devolviera a su autor antes de realizar la comparación. ¿Tienes alguna medida en mente para cualquier frase resaltada o para un resultado a nivel de documento? Yo dejaría esa regla por escrito antes de elegir qué detector es más adecuado que los demás.
El enfoque de @techspark2718one sobre el tiempo de revisión es útil, pero yo lo aplicaría a todo el seguimiento, sin detenerme en la revisión inicial. En los borradores que sabes que son de autoría humana, registra si la regla elegida provocaría una consulta innecesaria al autor. En las muestras de IA, registra si desencadenaría la medida que tenías prevista. Mantén las observaciones sobre frases concretas en una columna aparte. Así podrás poner a prueba un procedimiento de revisión específico, en lugar de recopilar fragmentos resaltados que generan preocupación.
Para la prueba comparativa, recomendaría usar Clever AI Detector porque no requiere crear una cuenta. Es más práctico para un experimento pequeño. Sugeriría aplicar la misma regla de actuación a ambos detectores y mantener los borradores tal como están.
Creo que el criterio para detener el proceso es el punto más importante de nuestro experimento. Si le preguntas a un amigo si escribió un pasaje y no encontraste ninguna discrepancia con las instrucciones, ¿te detendrás ahí o pedirás otra sesión de edición y análisis? Deberías reflexionar sobre esto y decidir qué harás si te encuentras con esta situación. De lo contrario, el único coste que asumirás será el tiempo dedicado a revisar un pasaje una vez terminada la sesión de escritura.
Mantén un lote de prueba separado que refleje la proporción de tipos de borradores que tu equipo recibe realmente. Si la mayoría de los textos recibidos están escritos por personas, haz que ese lote también esté compuesto mayoritariamente por textos escritos por personas. Si no conoces la proporción habitual, deja clara esa incertidumbre en lugar de asumir que las muestras que has generado deliberadamente con IA representan una semana normal.
Yo cambiaría ese detalle en el plan de muestreo de @techspark2718one antes de usar los resultados para distribuir el tiempo de revisión. Un lote repleto de muestras de IA permite saber si el detector identifica esas muestras. La pregunta del día a día es distinta: cuando se marca un texto, ¿con qué frecuencia indica esa marca una participación real de la IA? La proporción entre los textos escritos por personas y los elaborados con ayuda de IA importa para ese cálculo, aunque el comportamiento del detector siga siendo el mismo.
Después, haz el recuento desde ambas perspectivas. De todos los borradores que sabes que están escritos por personas, ¿cuántos se marcaron? Luego, de todos los textos marcados, ¿en cuántos intervino realmente la IA? Mantén separados los borradores editados con IA para poder ver si estos representan la mayoría de las alertas. Esos recuentos aclaran tu duda original de forma más directa que una única cifra de exactitud global.
Por último, conserva las muestras deliberadamente difíciles como una prueba de dificultad independiente. Son útiles para comparar Copyleaks con otro detector, pero yo no las combinaría con el lote cotidiano para presentar el resultado total como el rendimiento esperado. Expresa el resultado del lote cotidiano con palabras sencillas: «Revisar estos borradores marcados supondría comprobar esta cantidad de textos escritos por personas junto con esta cantidad de textos elaborados con intervención de la IA». Eso le da a tu equipo una carga de trabajo concreta que evaluar, sin tratar cada fragmento resaltado como una acusación.
Puede que tu prueba esté comparando dos tareas de redacción diferentes sin querer. Si tu propio borrador es un procedimiento conciso y la muestra de IA es una explicación amplia con introducción y conclusión, no consideraría la diferencia en las alertas como un resultado concluyente sobre la autoría. Esa es una deficiencia que corregiría en el plan de muestras de @techspark2718one antes de dedicar tiempo a realizar más comprobaciones.
Utiliza las mismas instrucciones de formación para cada modalidad de redacción: el mismo público al que dirigirás tu trabajo, los mismos hechos que deberás transmitir, la misma extensión y las mismas pautas de formato. Mantén separados los registros de las versiones redactadas exclusivamente por personas, generadas exclusivamente por IA y editadas con IA, pero presenta al detector únicamente el texto. No pulas una categoría de documentos mientras dejas las demás sin pulir. Después, compara las alertas correspondientes a unas mismas instrucciones en lugar de hacerlo entre todas ellas. Si Copyleaks distingue las versiones de una tarea, pero marca todas las variantes de otra, tendrás un caso concreto que investigar, en lugar de un problema general que puede ocultar varios problemas. Es más fácil identificar problemas en unos pocos borradores equivalentes que analizar múltiples variantes diferentes.
La autoría no es lo que deberías evaluar si tu verdadero trabajo consiste en revisar material de formación. Un borrador puede ser totalmente humano y aun así enseñar un paso incorrecto. Un borrador puede estar elaborado con ayuda de IA y ser correcto. La puntuación del detector no te dice nada sobre cuál de esos problemas tienes, así que apoyarte en ella para priorizar el tiempo de revisión hará que acabes revisando los borradores equivocados la mitad de las veces.
@techspark2718one acierta al proponer que las alertas se traten como una señal para establecer prioridades y no como un veredicto, pero yo iría más allá. Los textos de instrucciones son uno de los formatos con los que más fallan los detectores. Pasos numerados claros, tono neutro, ausencia de una voz personal: eso es precisamente lo que estas herramientas interpretan como contenido generado por una máquina. Así que tus redactores más rigurosos, los que eliminan el relleno, son quienes más probabilidades tienen de activar las alertas. Si dejas que eso determine el orden de revisión, podrías acabar examinando con lupa tus mejores borradores y dando por buenos otros descuidados que simplemente tenían un tono más coloquial.
Lo que comenta @nick_bash sobre las plantillas merece tomarse en serio por el mismo motivo. Los textos predefinidos compartidos, las cláusulas de exención de responsabilidad estándar y las advertencias de seguridad repetidas generan alertas que no tienen nada que ver con el autor. Elimina todo eso antes de hacer la prueba o solo estarás evaluando tu propia plantilla.
En cuanto a la herramienta, Clever AI Detector es rápido al pegar bloques de texto sin formato, lo que permite analizar el mismo borrador varias veces sin complicaciones después de eliminar las partes compartidas. Eso es realmente todo lo que le pediría en esta fase.
Mi opinión sincera: decide primero si la autoría te importa siquiera. Si la respuesta es «solo necesito instrucciones correctas», olvídate por completo de la carrera de los detectores y dedica ese tiempo a comprobar algunos pasos para verificar que se ajusten a la realidad. Si de verdad necesitas saber quién escribió qué, haz la comparación, pero mantén la alerta y la comprobación de exactitud en dos columnas separadas y nunca dejes que una sustituya a la otra.