AI Tutoring vs Human Tutoring: I Tested Both for a Full Semester

Aprendizaje Asistido por IA vs Aprendizaje Humano: Probé Ambos Durante un Semestre Completo

Dividí 60 estudiantes de introducción a la estadística en dos grupos. Después de 14 semanas, el grupo de IA obtuvo 3.2 puntos más en el examen final. Pero la historia es más complicada que eso.

Cuando propuse este estudio al IRB de mi universidad el otoño pasado, tres colegas me dijeron que estaba perdiendo mi tiempo. "Por supuesto que los humanos ganarán," dijo uno. "La IA no puede replicar la conexión emocional." Otro me advirtió sobre la ética de potencialmente desventajar a los estudiantes con tutorías inferiores. El tercero simplemente se rió y dijo: "Buena suerte publicando eso cuando tu hipótesis falle."

Ninguno de ellos estaba completamente equivocado. Pero ninguno de ellos estaba completamente en lo correcto tampoco.

Soy la Dra. Sarah Chen, y he estado enseñando estadísticas en una universidad pública de tamaño mediano durante once años. He visto todas las tendencias de tutoría venir y desaparecer—tutoría entre pares, aulas invertidas, software de aprendizaje adaptativo que prometió revolucionar la educación pero que principalmente frustró a todos. Cuando ChatGPT y Claude se hicieron ampliamente disponibles, observé a mis estudiantes comenzar a usarlos para ayuda con las tareas a pesar de mis advertencias sobre la integridad académica. En lugar de luchar contra eso, decidí medir realmente lo que estaba sucediendo.

Este artículo documenta lo que aprendí de 14 semanas de comparación controlada, cientos de horas de observación y conversaciones con 60 estudiantes que fueron notablemente honestos sobre lo que realmente les ayudaba a aprender.

El Diseño del Estudio (Y Por Qué La Mayoría de la Investigación de Educación con IA es Basura)

Déjame ser directa: la mayoría de los estudios que comparan la IA con la instrucción humana son metodológicamente inútiles. O bien comparan la IA con ninguna instrucción en absoluto (vaya, algo vence a nada), o comparan tutoría humana costosa con herramientas de IA gratuitas (vaya, obtienes lo que pagas), o miden resultados durante dos semanas (vaya, existen efectos de novedad).

Quería hacer esto bien, lo que significaba tomar decisiones difíciles:

"El problema fundamental con la investigación educativa es que estamos aterrados de controlar las variables porque se siente poco ético. Pero realizar un mal estudio y sacar conclusiones falsas? Eso es realmente poco ético. Hace perder tiempo a todos y potencialmente perjudica a futuros estudiantes cuando implementamos las intervenciones equivocadas."

Aquí está lo que hice diferente. Recluté a 60 estudiantes de mi curso de Introducción a la Estadística que se habían ofrecido como voluntarios para recibir apoyo adicional de tutoría. Todos los 60 estaban luchando—definido como obtener menos del 70% en los dos primeros cuestionarios. Los asigné aleatoriamente a dos grupos de 30.

El grupo de tutoría humana recibió una hora por semana con asistentes docentes de posgrado que yo misma había capacitado. No eran tutores aleatorios—eran mis mejores TA, personas que habían estado enseñando secciones de discusión de estadísticas durante al menos dos años. Les pagué $25/hora de una pequeña subvención de investigación.

El grupo de tutoría IA recibió acceso a Claude (el IA de Anthropic) con un mensaje de sistema personalizado que desarrollé específicamente para la tutoría de estadísticas. Se requería que los estudiantes pasaran al menos una hora por semana trabajando con él, y pude verificar esto a través de sus registros de conversación (con su consentimiento—todo esto fue aprobado por el IRB).

Aquí está la parte crucial: ambos grupos recibieron la misma instrucción en el curso principal. Mismas conferencias, mismos conjuntos de problemas, mismos exámenes. La única variable era la intervención de tutoría.

"Si no estás dispuesto a aleatorizar, no estás realizando un experimento—simplemente estás recolectando anécdotas con pasos adicionales."

Medí los resultados a través de cuestionarios semanales, tres exámenes parciales y un examen final integral. También realicé entrevistas estructuradas con cada estudiante en las semanas 4, 9 y 14. Y hice algo que la mayoría de los investigadores no hacen: seguí el tiempo de finalización para los conjuntos de problemas y medí la confianza de los estudiantes a través de instrumentos de encuesta validados.

¿Fue esto perfecto? No. Sesenta estudiantes no son una muestra enorme. Un semestre no es suficiente para medir la retención. Y no pude controlar lo que los estudiantes hacían fuera de su tutoría asignada. Pero fue lo suficientemente riguroso como para aprender algo real.

Los Números que Todos Quieren Ver

La primera cosa que notarás: el grupo de IA lo hizo ligeramente mejor en el examen final, pero el grupo humano lo hizo mejor en los parciales. Este patrón se mantuvo bajo análisis estadístico (p < 0.05 para ambos), y nos dice algo importante sobre cómo funciona realmente el aprendizaje.

La segunda cosa: observa esa brecha de confianza. Los estudiantes con tutores humanos se sintieron significativamente más seguros, a pesar de que su desempeño fue ligeramente inferior. Esto es fascinante y preocupante en igual medida.

La tercera cosa: los estudiantes de tutoría IA hicieron más del doble de preguntas por sesión. También pasaron menos tiempo en los conjuntos de problemas manteniendo tasas de finalización más altas. Fueron más eficientes, pero ¿aprendieron mejor o simplemente obtuvieron respuestas más rápido?

La Noche del Martes en que Casi Detuve el Estudio

Era la semana 7, alrededor de las 9 PM en un martes. Estaba en mi oficina revisando los registros de conversación del grupo de tutoría IA cuando encontré algo que me hizo sentir mal.

Una estudiante—la llamaré Maya—había pasado 47 minutos trabajando en un problema de prueba de hipótesis con Claude. El registro de conversación mostraba que le pedía a la IA que explicara el concepto, luego trabajaba a través de un ejemplo y luego hacía preguntas aclaratorias. Parecía una sesión de tutoría modelo.

Entonces miré su cuestionario de esa viernes. Había respondido completamente mal la pregunta de prueba de hipótesis. No solo mal—había cometido el error exactamente opuesto de lo que había practicado con la IA.

Revisé cinco registros de conversación más de estudiantes que habían luchado en ese cuestionario. Mismo patrón. Todos habían "aprendido" el material con la ayuda de la IA, se sintieron seguros, luego fallaron en la evaluación.

Convocé una reunión de emergencia con mi socio de investigación. "Necesitamos detener esto," dije. "Estamos dejando que los estudiantes fallen."

Ella trajo los datos del grupo de tutoría humana. "Sarah, mira esto."

El grupo de tutoría humana tenía el mismo problema. De hecho, su desempeño en ese cuestionario en particular fue ligeramente peor. El problema no era IA versus humana—era que la prueba de hipótesis es genuinamente difícil, y una semana de tutoría (independientemente de la fuente) no fue suficiente para que los estudiantes que tenían dificultades la dominaran.

Pero aquí está lo que fue diferente: los estudiantes de tutoría humana sabían que no lo entendían. Sus calificaciones de confianza eran bajas. Asistieron a horas de oficina. Formaron grupos de estudio. Los estudiantes de tutoría IA pensaban que lo entendían porque la IA lo había hecho parecer fácil en ese momento.

Esta fue mi primera verdadera revelación: la tutoría asistida por IA puede crear una ilusión de comprensión que es realmente peligrosa. La IA es tan buena en encontrar a los estudiantes donde están, en descomponer las ideas, en hacer que conceptos complejos parezcan accesibles, que los estudiantes no se dan cuenta de que en realidad no han internalizado el material.

No detuve el estudio. Pero sí añadí un requisito de reflexión semanal para el grupo de IA: "¿Cuál es una cosa que pensabas que entendías esta semana pero te diste cuenta de que no?" Esa simple intervención cambió todo.

Lo que Hace Mejor el Aprendizaje Asistido por IA (Y No Es Lo que Crees)

1. Paciencia infinita con preguntas "estúpidas". Los estudiantes pidieron a la IA que explicara el mismo concepto 5, 6, 7 veces sin vergüenza.