(Respuesta a la pregunta: hay efectos bastante claros e innegables de la Guerra Fría que una respuesta DEBE incluir. Por lo tanto, la inteligencia artificial empleada para escanear la respuesta en busca de palabras y frases aplicables podría, hasta cierto punto, calificar el contenido de la respuesta. Un algoritmo más sofisticado puede incluso tener en cuenta los errores ortográficos y gramaticales o sugerir mejoras en la estructura organizativa. Las posibilidades son literalmente infinitas.)
La inteligencia artificial (IA) juega un papel cada vez más destacado en las soluciones de aprendizaje digital, por lo que ahora más que nunca se deben considerar las implicaciones de la calificación automatizada o usando IA.
Tal vez pienses que este caso es sacado de la ficción, pero esa historia se inspiró en hechos reales. ¡Por lo tanto es muy importante evaluar las consecuencias negativas de este tipo de casos! La inteligencia artificial (IA) juega un papel cada vez más destacado en las soluciones de aprendizaje digital, por lo que ahora más que nunca se deben considerar las implicaciones de la calificación automatizada o usando IA. La gravedad de la situación es proporcional a la posibilidad de que los algoritmos no funcionen como se esperaba, y hay una falta de confianza resultante en los sistemas de calificación basados en IA, por no mencionar un posible efecto perjudicial en el desarrollo y la autoestima de un estudiante.
Algoritmos no solo se alimentan de datos que reflejan las actitudes y la cultura de la sociedad en un momento dado, sino que también son creados por individuos que poseen sesgos ¡basados en su propia cultura y la sociedad que los rodea!
Uno de los argumentos principales contra el uso de IA para calificar evaluaciones es el hecho innegable de que los algoritmos no solo se alimentan de datos que reflejan las actitudes y la cultura de la sociedad en un momento dado, sino que también son creados por individuos que poseen sesgos ¡basados en su propia cultura y la sociedad que los rodea! Esto significa, por ejemplo, que el algoritmo podría terminar replicando prejuicios raciales y/o de género de su diseñador y, por lo tanto, no ser tan objetivo como se pretendía inicialmente. Además, el uso de datos históricos para alimentar un algoritmo puede hacer que reproduzca varios comportamientos específicos del pasado y, si no se actualiza constantemente puede resultar en una calificación injusta debido a la forma en que ciertos grupos raciales y sociales han sido tratados a través de la historia. En este escenario, el uso de herramientas basadas en inteligencia artificial para calificar el trabajo o los exámenes de un estudiante podría resultar en calificaciones más bajas cuando dicho estudiante no se ajusta a las normas sociales específicas y generalizadas por la data en un mundo que está cambiando todos los días (y donde la discusión sobre la justicia social y la igualdad de género está en constante evolución a medida que se comparten más experiencias gracias al surgimiento de nuevas tecnologías digitales). En este sentido, es posible que la inteligencia artificial utilizada para calificar no pueda seguirle el ritmo al cambio hacia una sociedad más equitativa, o que no pueda ir a la misma velocidad que tu cuenta de Netflix, cuya tecnología puede adaptarse para sugerirte diferentes series y películas porque el algoritmo de Netflix se basa principalmente en evaluar tus acciones y comportamiento en la plataforma.
Un problema más grave que puede generar preocupación entre los padres y estudiantes que defienden entornos basados en el aprendizaje socioemocional y las técnicas inclusivas es que los algoritmos de aprendizaje automático no replican las decisiones de expertos – dado que están basados en una formula- si no que encuentran un promedio en la toma de decisiones de los usuarios y eso es lo que usa el sistema. Esto es problemático ya que diferentes estudios demuestran que cada estudiante aprende de manera única y no repitiendo modelos predeterminados, y por lo tanto el plan educativo del siglo 21 debe apuntarle a resaltar y premiar las diferencias y no la repetición de acciones del común de las personas. De hecho, durante la investigación para su Ph.D., nuestra cofundadora y CEO Sahra-Josephine Hjorth descubrió que en un salón de clase típico puede haber estudiantes que tienen preferencias de aprendizaje y predisposición a adquirir conocimientos de al menos 50 formas diferentes. (Es por eso que nuestra plataforma incluye más de 55 tipos de ejercicios diferentes para involucrar a los estudiantes). Usar un algoritmo que en esencia hace un promedio de la sociedad es perjudicial en una época en que estamos apuntando a mostrar respeto y reconocer al individuo y a la identidad individual.
Otro tema que preocupa a los padres (y quizás más a los profesores) es que algunos estudiantes pueden descifrar la IA defectuosa y descubrir qué palabras clave y en que orden se espera que usen cuando se trata de preguntas con respuesta abierta.
Otro tema que preocupa a los padres (y quizás más a los profesores) es que algunos estudiantes pueden descifrar la IA defectuosa y descubrir qué palabras clave y en que orden se espera que usen cuando se trata de preguntas con respuesta abierta. Por lo tanto, si el estudiante escribe (o, en algunos casos, habla) de cierta manera o usa un vocabulario específico, ese estudiante podrá obtener puntajes perfectos en todo momento. Es evidente que esta puntuación no reflejaría una mejor comprensión o dominio del contenido, solo una capacidad para jugar según las reglas del algoritmo. Además, esto respaldaría una vez más el argumento de que la IA puede ser discriminatoria, ya que los estudiantes que provienen de comunidades desfavorecidas o de diferentes orígenes étnicos no tendrían la oportunidad de sobresalir nunca debido al vocbaulario usado en sus entornos o su entendimiento de la estructura de las pruebas.
El caso descrito al principio de este artículo está inspirado en la historia real de la profesora de historia Dana Simmons de la Universidad de California en Riverside, quien se dio cuenta que una IA estaba calificando la tarea de su hijo de 12 años. El algoritmo se construyó sobre un modelo de “ensalada de palabras”, donde las palabras clave adecuadas incluidas en una respuesta daban como resultado una calificación más alta, independientemente de si tenían sentido desde un punto de vista gramatical y argumental. Es claro que este no es el futuro de la calificación automatizada. Por el contrario, es un método bastante simple para aprender como pueden mejorar otras plataformas de evaluación. De hecho, muchos sistemas de calificación nuevos buscan ir más allá de simplemente dar una calificación numérica. En este sentido, diferentes emprendimientos de EdTech y otras empresas consolidadas enfocadas en la evaluación con IA están promoviendo nuevas formas de calificación automatizada. Sin embargo, pocos están comprometidos con mejorar sus sistemas para beneficio de la socidad, promover la investigación y mejorar el código que se usa actualmente.
En CanopyLAB, estamos trabajando en un proyecto muy importante de investigación que incluye la calificación automatizada con la Universidad de Aalborg y el University College Northern Jutland en Dinamarca, UnFOLD, donde vamos más allá de la calificación automatizada. (De hecho, invitamos a cualquier empresa que esté dispuesta a poner la equidad y la justicia por encima de las ganancias a que se una a nosotros). Creemos firmemente que se puede empoderar más a los estudiantes al darles una retroalimentación coherente, constante y con soluciones. Pensando en eso nuestro uso de la calificación automatizada apunta a que el estudiante tenga acceso a una evaluación de su trabajo antes de presentarlo para su calificación. De esta forma, el estudiante puede decidir trabajar un poco más en un su tarea o enviarla tan pronto la termine. Además, estamos desarrollando herramientas en nuestra plataforma para generar comentarios cualitativos automatizados para los alumnos, combinando la calificación con información relacionada con sus argumentos, gramática, estilo de escritura y mucho más. Estamos seguros de que ese es el verdadero futuro de la calificación y la retroalimentación automatizadas.
Sigue este blog para saber más sobre este proyecto a medida que avanzamos con los doctores y post-docs involucrados y no olvides leer sus artículos, los cuales están siendo revisados por expertos en el tema y se publicarán muy pronto.
¿Quieres saber más sobre cómo funcionan las calificaciones y los espacios de aprendizaje digital en CanopyLAB? ¡Comunícate con nosotros hoy mismo!
