AI Tutoring vs Human Tutoring: I Tested Both for a Full Semester

Tutoria de IA vs Tutoria Humana: Testei Ambas por Um Semestre Inteiro

Dividi 60 alunos de introdução à estatística em dois grupos. Depois de 14 semanas, o grupo de IA obteve uma pontuação 3,2 pontos maior no final. Mas a história é mais complicada do que isso.

Quando propus este estudo ao IRB da minha universidade no outono passado, três colegas me disseram que eu estava perdendo meu tempo. "É claro que os humanos vão vencer", disse um. "A IA não pode replicar a conexão emocional." Outro me alertou sobre a ética de potencialmente desavantajar alunos com tutoria inferior. O terceiro apenas riu e disse: "Boa sorte fazendo isso ser publicado quando sua hipótese falhar."

Nenhum deles estava totalmente errado. Mas nenhum deles estava totalmente certo também.

Sou a Dra. Sarah Chen, e estou ensinando estatística em uma universidade pública de médio porte há onze anos. Eu vi todas as tendências de tutoria surgirem e desaparecerem—tutoria entre pares, salas de aula invertidas, software de aprendizagem adaptativa que prometeu revolucionar a educação, mas que na maioria das vezes apenas frustrou todo mundo. Quando o ChatGPT e o Claude se tornaram amplamente disponíveis, vi meus alunos começarem a usá-los para ajuda com lições de casa, apesar dos meus avisos sobre integridade acadêmica. Em vez de lutar contra isso, decidi medir o que estava acontecendo.

Este artigo documenta o que aprendi em 14 semanas de comparação controlada, centenas de horas de observação e conversas com 60 alunos que foram incrivelmente honestos sobre o que realmente os ajudou a aprender.

O Desenho do Estudo (E Por Que a Maioria das Pesquisas em Educação com IA é Lixo)

Deixe-me ser direta: a maioria dos estudos que comparam IA com instrução humana são metodologicamente inúteis. Eles ou comparam IA a nenhuma instrução (uau, algo vence nada), ou comparam tutoria humana cara a ferramentas de IA gratuitas (uau, você recebe o que paga), ou medem resultados ao longo de duas semanas (uau, efeitos de novidade existem).

Eu queria fazer isso da maneira certa, o que significava fazer escolhas difíceis:

"O problema fundamental com a pesquisa em educação é que temos medo de controlar variáveis porque isso parece antiético. Mas conduzir um mau estudo e tirar conclusões falsas? Isso é realmente antiético. Isso desperdício o tempo de todos e potencialmente prejudica futuros alunos quando implementamos as intervenções erradas."

Aqui está o que eu fiz diferente. Recrutei 60 alunos do meu curso de Introdução à Estatística que se voluntariaram para suporte adicional de tutoria. Todos os 60 estavam lutando—definido como aqueles que obtiveram abaixo de 70% nos dois primeiros questionários. Eu os atribuí aleatoriamente a dois grupos de 30.

O grupo de tutoria humana recebeu uma hora por semana com assistentes de ensino de pós-graduação que eu treinei pessoalmente. Esses não eram tutores aleatórios—eram meus melhores TAs, pessoas que estavam ensinando seções de discussão de estatística por pelo menos dois anos. Eu paguei a eles $25/hora com uma pequena bolsa de pesquisa.

O grupo de tutoria de IA teve acesso ao Claude (IA da Anthropic) com um prompt de sistema personalizado que desenvolvi especificamente para tutoria em estatísticas. Os alunos foram obrigados a passar pelo menos uma hora por semana trabalhando com ele, e eu podia verificar isso através dos registros de conversação deles (com seu consentimento—tudo isso foi aprovado pelo IRB).

A parte crucial: ambos os grupos receberam instrução idêntica no curso principal. Mesmas palestras, mesmos conjuntos de problemas, mesmos exames. A única variável era a intervenção de tutoria.

"Se você não está disposto a randomizar, você não está fazendo um experimento—você está apenas coletando anedotas com etapas adicionais."

Eu medi os resultados através de questionários semanais, três exames parciais e um final abrangente. Também conduzi entrevistas estruturadas com cada aluno nas semanas 4, 9 e 14. E eu fiz algo que a maioria dos pesquisadores não faz: fiz o rastreamento do tempo de conclusão dos conjuntos de problemas e medi a confiança dos alunos através de instrumentos de pesquisa validados.

Foi perfeito? Não. Sessenta alunos não é uma amostra grande. Um semestre não é longo o suficiente para medir retenção. E eu não consegui controlar o que os alunos fizeram fora da tutoria atribuída. Mas foi rigoroso o suficiente para realmente aprender algo real.

Os Números Que Todos Querem Ver

A primeira coisa que você vai notar: o grupo de IA se saiu um pouco melhor no exame final, mas o grupo humano se saiu melhor nos exames parciais. Esse padrão se manteve sob análise estatística (p < 0.05 para ambos), e isso nos diz algo importante sobre como a aprendizagem realmente funciona.

A segunda coisa: olhe para essa lacuna de confiança. Os alunos com tutores humanos se sentiram significativamente mais confiantes, mesmo que seu desempenho fosse ligeiramente inferior. Isso é fascinante e preocupante na mesma medida.

A terceira coisa: os alunos de tutoria de IA fizeram mais de duas vezes mais perguntas por sessão. Eles também passaram menos tempo em conjuntos de problemas enquanto mantinham taxas de conclusão mais altas. Eles foram mais eficientes, mas estavam aprendendo melhor ou apenas obtendo respostas mais rapidamente?

A Noite de Terça em que Quase Parei o Estudo

Era a semana 7, por volta das 21h em uma terça-feira. Eu estava no meu escritório revisando os registros de conversa do grupo de tutoria de IA quando encontrei algo que fez meu estômago cair.

Um aluno—vou chamá-la de Maya—passou 47 minutos resolvendo um problema de teste de hipóteses com Claude. O registro de conversa mostrava ela pedindo à IA para explicar o conceito, depois trabalhando através de um exemplo, e em seguida fazendo perguntas de esclarecimento. Parecia uma sessão de tutoria modelo.

Então olhei para o quiz dela daquela sexta-feira. Ela havia acertado a pergunta de teste de hipóteses completamente errado. Não apenas errado—ela cometeu o erro exato oposto ao que havia praticado com a IA.

Eu puxei mais cinco registros de conversa de alunos que tiveram dificuldades naquele quiz. Mesmo padrão. Todos eles "aprenderam" o material com a ajuda da IA, se sentiram confiantes, e depois foram mal na avaliação.

Convidei uma reunião de emergência com meu parceiro de pesquisa. "Precisamos parar isso", eu disse. "Estamos deixando os alunos falharem."

Ela puxou os dados do grupo de tutoria humana. "Sarah, veja isso."

O grupo de tutoria humana teve o mesmo problema. Na verdade, o desempenho deles naquele quiz específico foi um pouco pior. O problema não era IA contra humanos—era que teste de hipóteses é genuinamente difícil, e uma semana de tutoria (independente da fonte) não era suficiente para alunos com dificuldades dominarem isso.

Mas aqui está o que foi diferente: os alunos da tutoria humana sabiam que não entendiam. Suas avaliações de confiança eram baixas. Eles vinham aos horários de atendimento. Eles formavam grupos de estudo. Os alunos da tutoria de IA achavam que entendiam porque a IA havia tornado isso fácil no momento.

Essa foi minha primeira verdadeira percepção: a tutoria de IA pode criar uma ilusão de entendimento que é realmente perigosa. A IA é tão boa em encontrar os alunos onde eles estão, em desmembrar as coisas, em tornar idéias complexas acessíveis, que os alunos não percebem que não internalizaram realmente o material.

Eu não parei o estudo. Mas adicionei um requisito semanal de reflexão para o grupo de IA: "Qual é uma coisa que você achou que entendeu esta semana, mas percebeu que não entendeu?" Essa simples intervenção mudou tudo.

O Que a Tutoria de IA Faz Melhor (E Não É O Que Você Pensa)

1. Paciência infinita com perguntas "estúpidas". Os alunos pediam à IA para explicar o mesmo conceito 5, 6, 7 vezes sem vergonha