Existe un debate intenso en distintas áreas de la educación producto de la aparición de los LLMs (Modelos de lenguaje) y la IA generativa: ¿cómo afectan estas nuevas herramientas a los métodos de aprendizaje actuales y, en particular, a los estudiantes?
Recientemente, la empresa Anthropic presentó uno de los primeros estudios a gran escala sobre cómo los estudiantes universitarios de EE. UU. utilizan realmente la IA (específicamente, su modelo Claude) en sus actividades académicas. El estudio se basa en el análisis de un millón de conversaciones anonimizadas de estudiantes en Claude.ai, utilizando una herramienta automatizada llamada "Clio" para proteger la privacidad e identificar patrones de uso.
Se hicieron varios hallazgos en esta investigación. Analicemos los principales.
Tipos de interacción
En primer lugar, se adoptó una estrategia para agrupar las interacciones en diferentes tipos, con el objetivo de identificar cuáles son los patrones comunes en las interacciones de los estudiantes con la IA. Establecieron dos ejes principales:
Eje del "modo de interacción". Distingue entre:
- Interacciones mas transaccionales o directas (se busca responder la pregunta lo más rápidamente posible)
- Otras mas dialógicas o colaborativas (donde el usuario dialoga con la IA para obtener el resultado deseado)
Eje del "resultado deseado". Diferencia entre:
- interacciones de resolución de problemas (el objetivo principal es encontrar una respuesta o solución a una pregunta específica)
- interacciones de creación de contenidos (se busca generar textos más extensos, como ensayos o presentaciones)
Mediante este esquema, identificaron cuatro patrones principales, distribuidos de forma relativamente equitativa (entre 23% y 29% cada uno):
- Resolución Directa de Problemas: Búsqueda rápida de soluciones o explicaciones
- Creación Directa de Resultados: Generación rápida de contenido (ej. ensayos, código)
- Resolución Colaborativa de Problemas: Diálogo con la IA para resolver problemas
- Creación Colaborativa de Resultados: Diálogo con la IA para generar contenido
Casi la mitad (47%) de las conversaciones fueron clasificadas como "Directas", caracterizadas por una mínima interacción para obtener respuestas o contenido. Este hallazgo suscita preocupaciones significativas sobre la integridad académica. Si bien estas interacciones pueden tener propósitos legítimos, también se observaron usos problemáticos, como la obtención de respuestas para exámenes o la reescritura de textos para eludir la detección de plagio. Asimismo, las interacciones colaborativas, aunque fomentan más el diálogo, podrían conducir a un aprendizaje superficial si los estudiantes delegan excesivamente el pensamiento crítico en la IA. Volveremos a esto en un momento.
Adopción según disciplina científica
En segundo lugar, se observaron diferencias significativas en la adopción de la IA según la disciplina académica de los estudiantes. Los estudiantes de áreas STEM (Ciencia, Tecnología, Ingeniería y Matemáticas), en particular los de Ciencias de la Computación (CS), mostraron ser los adoptantes más tempranos de herramientas como Claude. Las conversaciones de estudiantes de CS representaron el 38.6% del total analizado, a pesar de que esta disciplina solo agrupa al 5.4% de los titulados universitarios en EE. UU. En contraste, áreas como Negocios, Salud y Humanidades presentaron tasas de adopción inferiores en proporción al número de estudiantes matriculados.
Los estudiantes de Ciencias Naturales y Matemáticas tendieron a centrarse en la resolución de problemas. Por su parte, los de Ciencias de la Computación, Ingeniería y también Ciencias Naturales y Matemáticas mostraron una mayor inclinación hacia las conversaciones colaborativas. En cambio, los estudiantes de Humanidades, Negocios y Salud mostraron una distribución más equilibrada entre interacciones directas y colaborativas. Finalmente, los del área de Educación exhibieron una marcada preferencia por la creación de contenido, lo que podría incluir tanto a estudiantes como a docentes elaborando materiales didácticos.
Tareas Cognitivas Delegadas
Para entender cómo los estudiantes delegaban las tareas cognitivas en la IA, los investigadores de Anthropic utilizaron la Taxonomía de Bloom (una jerarquía de objetivos de aprendizaje), adaptada para analizar las respuestas de la IA.
El estudio reveló que los estudiantes usan la IA predominantemente para tareas cognitivas de orden superior, destacandose Crear (39.8%) y Analizar (30.2%). Las tareas de orden inferior, como Aplicar (10.9%), Comprender (10.0%) y Recordar (1.8%), aparecieron con menor frecuencia en las interacciones analizadas. Este patrón sugiere la preocupante posibilidad de que los estudiantes estén delegando en la IA el desarrollo de habilidades cognitivas fundamentales.
Limitaciones del estudio
Si bien los hallazgos son reveladores, el estudio presenta varias limitaciones importantes que deben tenerse en cuenta:
- Composición de la muestra: Podría estar sesgada hacia "usuarios pioneros" (early adopters), no siendo representativa del uso general de la IA en el ámbito académico.
- Enfoque exclusivo en Claude: El análisis se limita a una única herramienta (Claude), omitiendo el uso de otras IAs que podrían mostrar patrones distintos.
- Posibles errores de clasificación: Se admiten posibles imprecisiones al categorizar las conversaciones y al distinguir entre estudiantes y personal universitario.
- Periodo de análisis corto: La ventana de retención de datos de 18 días es limitada y podría no capturar patrones a largo plazo o variaciones estacionales (periodos de exámenes, entregas, etc.).
- Falta de seguimiento del uso final: No se analiza cómo se utilizaron los resultados generados por la IA (p. ej., para plagio en tareas o exámenes) ni se mide su impacto real en el aprendizaje.
- Aplicación de la Taxonomía de Bloom: Adaptar esta taxonomía (diseñada para objetivos de aprendizaje humano) al análisis de respuestas de IA es un enfoque con limitaciones inherentes.
- Políticas institucionales: El estudio no evaluó las normativas de las universidades sobre el uso de la IA, un factor clave para entender el contexto.
Conclusiones de la investigación de Anthropic
El estudio de Anthropic proporciona una primera aproximación al uso real de la IA en la educación superior. Destaca su potencial como herramienta de aprendizaje, pero también revela desafíos importantes para educadores, estudiantes e instituciones. Plantea interrogantes cruciales sobre cómo la IA afecta el desarrollo de habilidades cognitivas, la necesidad de redefinir las estrategias de evaluación para prevenir el plagio y cómo asegurar que estas herramientas enriquezcan el aprendizaje en lugar de obstaculizarlo.
Para abordar estas cuestiones, es fundamental realizar más investigaciones que analicen el impacto a largo plazo de la IA en la educación y que permitan desarrollar enfoques pedagógicos y políticas institucionales adaptadas, posiblemente diferenciadas por disciplina.
Reflexiones Finales
Aunque aún es pronto para comprender cabalmente el impacto de la IA en la educación, investigaciones como esta son fundamentales para informar la toma de decisiones basadas en evidencia.
Por un lado, entender los patrones de interacción y las tareas cognitivas que los estudiantes delegan en la IA puede iluminar qué aspectos reforzar al diseñar actividades, tareas y evaluaciones. La propia Anthropic está desarrollando un modo de aprendizaje para Claude que prioriza el método socrático y la comprensión conceptual frente a la entrega de respuestas directas. Fomentar un uso más dialógico y reflexivo de la IA podría promover una asimilación más profunda de los conocimientos. Una estrategia similar podría aplicarse respecto a la delegación cognitiva: diseñar tareas que requieran pensamiento crítico, análisis personalizado y expresión propia (reflejando el estilo e intereses del estudiante) podría hacer que para el alumno sea más valioso elaborar sus propias respuestas que simplemente editar las generadas por un LLM.
Por otro lado, es crucial reconocer que la interacción con la IA varía según la disciplina académica, cada una con sus particularidades, desafíos y oportunidades. Aprovechar estas especificidades permitirá integrar la IA de forma más efectiva y beneficiosa en cada campo.
Dadas las limitaciones del estudio, es evidente la necesidad de más investigaciones para obtener una imagen completa. No obstante, este trabajo representa un valioso punto de partida.