viernes, 10 de mayo de 2024

¿Cómo cuidar la integridad académica en proyectos prácticos con IA?

 Por Rosa María Morales de EDUBITS de Tec de Monterrey

En mi clase de Econometría que imparto a estudiantes de sexto semestre de economía en la Universidad de Monterrey, incorporé herramientas de Inteligencia Artificial (IA) en la elaboración de proyectos empíricos estudiantiles enfatizando en la integridad académica. Las normas de integridad académica de la institución se describen en el programa de estudios de cada curso y pueden ser resumidas como: no copiar textualmente información de otras publicaciones, acreditar las fuentes de las citas, no copiar el trabajo de otros estudiantes, prescindir de la comunicación entre los equipos para realizar el trabajo propio, y utilizar herramientas de IA solo cuando es autorizado, especificando la forma en la que fue utilizada. En este artículo describo los resultados de una actividad de investigación realizada por los estudiantes con la cual se espera desarrollen competencias para la resolución de problemas prácticos y la comunicación de resultados a través de un proyecto empírico.

Proyectos de modelos predictivos con IA enfatizando en la integridad académica

En economía, un proyecto empírico implica la realización de una investigación con información observable y verificable. Algunos ejemplos de proyectos empíricos pueden ser: 1) La evolución de la contaminación en la ciudad de Monterrey y la Ciudad de México en el periodo 1990-2022; 2) Co-movimientos en el precio del acero y el cobre a través del tiempo; o 3) Predicción del precio de la acción de una empresa en particular, por mencionar algunos. Esta información puede provenir de una base de datos, una encuesta o de un experimento. Dado que el curso implica series temporales, los datos son observaciones de una o más variables a través del tiempo, esta información es de utilidad para estudiar hechos a través del tiempo, hacer predicciones y elaborar políticas públicas a corto, mediano o largo plazo que permitan solucionar un problema en alguna región o país.

El proyecto de la clase consiste en realizar una investigación sobre un tema de economía, finanzas, socio-demografía o cuestiones ambientales en México o en cualquier otro país, que intente responder a una pregunta usando datos reales. La investigación se realiza en tres etapas siguiendo la estructura general descrita por Wooldridge (2015).

  1. Fase 1. Se elige el tema, se define el problema a resolver y se plantea la pregunta de investigación.
  2. Etapa empírica (fases 2 y 3). Las y los estudiantes utilizan un software econométrico para programar y así limpiar las bases de datos, crear variables, hacer estadísticas, así como estimar modelos econométricos o hacer predicciones.
  3. Fase 3. Presentación de resultados.

El trabajo se realiza en equipo usando la metodología de aprendizajes por proyectos. Los estudiantes ponen en práctica conocimientos y técnicas aprendidas durante el semestre, comunicando los avances del proyecto con presentaciones y al cierre del semestre un reporte final de los resultados.

¿Cómo utilizar herramientas de IA en proyectos empíricos de economía?

Dado que el curso involucra aprendizajes para el procesamiento de datos, aplicación de técnicas estadísticas y econométricas, estimación de modelos y predicción de variables, es necesario el uso de programación a través de software econométricos. Durante el curso, se les enseña a los estudiantes a programar en un software específico (Stata). A lo largo del semestre, conocen diferentes códigos de programación que permiten ejecutar tareas como graficar, hacer estadísticas descriptivas, estimar un modelo, predecir variables, entre otros. Sin embargo, en el proceso de investigación los estudiantes se enfrentan a datos reales y encuentran retos que los llevan a necesitar otros códigos. La búsqueda de códigos de programación utilizando buscadores tradicionales podría llevar mucho tiempo y no siempre se encuentra la información requerida.

Quienes han programado en un software econométrico suelen tener dificultades en estas actividades debido a la naturaleza de los datos y la elección del modelo para estimar o predecir variables. Por ello, se pensó que utilizando herramientas de IA generativa podían solventar estas dificultadesIBM Education (2023) muestra los beneficios de usar IA generativa para programar. Observando este potencial y dada la problemática planteada, se sugirieron las siguientes herramientas. Algunas de ellas, proporcionan ventajas en la búsqueda de información, el ahorro de tiempo y la variedad de contenido que ofrecen al momento de editar y generar códigos.

Las herramientas propuestas fueron las siguientes:

  • Elicit: Es una herramienta de IA que sirve para buscar artículos científicos y analizarlos. Se puede usar para hacer revisión sobre estudios pertinentes al tema de estudio.
  • Perplexity: Es un chatbot para responder preguntas. Se utiliza para buscar información respecto a temas específicos, hacer resúmenes y códigos de programación.
  • ChatGPT: Al igual que Perplexity, es una herramienta de IA que sirve para responder preguntas, genera texto y además automatiza ciertas tareas.
  • AIciclopedya: Es un directorio de herramientas de IA que sugiere que herramientas de IA se pueden utilizar de acuerdo con las necesidades del usuario.

También, podrían utilizar otras herramientas de inteligencia artificial adicionales, siempre y cuando me lo hicieran saber.

Con el fin de observar la adopción de IA generativa de los estudiantes haciendo énfasis en la integridad académica, diseñé para mi clase, un formato de seguimiento de uso de herramientas de IA, ver Tabla 1. Si los estudiantes usaban IA generativa debían llenar el formato al entregar el manuscrito final.

Tabla 1. Resumen del formato de Seguimiento de uso de herramientas de Inteligencia Artificial. Fuente: Elaboración propia (2023).

Además del formato de seguimiento, diseñé tres materiales educativos para indicar a los estudiantes qué se esperaba en cada entregable e introducir el uso de herramientas de inteligencia artificial.

En el primer material educativo, les muestro a los estudiantes cómo plantear una pregunta de investigación con y sin las herramientas. También, doy indicaciones de cómo buscar un tema de investigación. Usando Perplexity ai, se le pregunta “¿Qué se puede investigar en México usando técnicas de series temporales?” La herramienta dio una serie de resultados y a partir de allí, los estudiantes fueron orientando su búsqueda de acuerdo con sus intereses.

En el segundo material educativo, les presento a los estudiantes un ejemplo de cómo se escribe la metodología de un proyecto empírico y adicionalmente, para ampliar su comprensión, buscan en ChatGPT o Perplexity AI cómo escribir la metodología de un proyecto empírico relacionado a series de tiempo.

En el tercer material educativo, les muestro cómo buscar y editar códigos de programación en ChatGPT y Perplexity AI. Esto permitió una minimización en los tiempos de búsqueda y una mejora en el tipo de información requerida.

Resultados

De un total de siete grupos, cinco adoptaron distintas herramientas de IA generativas en al menos una fase del proyecto empírico. Una vez adoptadas las herramientas y al final del curso, las y los estudiantes se mostraron con apertura, pero al mismo tiempo con precaución al uso que daban a las mismas. Ciertos equipos mencionaron que, si bien les ayudaban, tenían que mantener un pensamiento crítico en su uso. Algunos equipos manifestaron que se motivaron a buscar información confiable.

Por otro lado, las herramientas de inteligencia artificial sugirieron a los estudiantes algunos artículos para revisión de la literatura que no se encontraban en herramientas de búsqueda tradicionales. Estas sugerencias, los llevó a buscar los artículos en las bases de datos de la biblioteca de la universidad en la que estudian. Podemos observar que las herramientas de IA pueden motivar a las y los estudiantes a mejorar sus búsquedas de información usando fuentes confiables aumentando de esa forma la calidad de la revisión de la literatura y la discusión de los resultados. De igual forma, manifestaron que no pudieron acceder dentro de las mismas herramientas a los artículos sugeridos porque “muchos papers eran privados” y por lo tanto tuvieron que buscarlos en biblioteca. En cuanto a los códigos de programación, indicaron que el uso de la IA les ahorró tiempo y resolvió varias inquietudes que tenían.

A continuación, les comparto un resumen con las respuestas dadas por los equipos en el formato de seguimiento de uso de herramientas de IA:

Usos de las herramientas de IA por estudiantes

“Perplexity se utilizó para buscar papers con temas similares a lo que nosotros queríamos abordar, en algunos casos, solo nos daba los títulos y nosotros complementamos la búsqueda en la Biblioteca”.

“Usamos ChatGPT para la revisión de literatura, le preguntamos qué elementos nos recomendaría abordar, aunque al final nosotros modificamos su sugerencia y la adaptamos a nuestro proyecto”.

“Para saber qué decían los errores que nos aparecían en el software al momento de correr los comandos”.

“Conocer qué es lo que debe de incluir en una buena introducción, una buena revisión de la literatura y una buena conclusión”.

“La utilizamos para saber cómo redactar una metodología para nuestro trabajo. Su respuesta nos sirvió como guía para poder escribir los datos de nuestro trabajo de forma más ordenada, y brindando una descripción de las variables”.

“Realizamos las siguientes preguntas: 1) ¿cómo escribir la metodología de un proyecto empírico? y 2 ¿dónde puedo obtener datos de la producción industrial de Mex y USA?”.

    “La IA nos ayudó a conocer los códigos de programación necesarios para poder elaborar nuestro trabajo en Stata. Por ejemplo, nos indicó cómo crear una variable (Num) que nos permita separar nuestras variables en los dos periodos de tiempo que analizamos”.

    Una vez que leí las respuestas en el formato de seguimiento y revisé los proyectos, pude notar la transparencia de los estudiantes al notificar como habían usado las herramientas e incluso reportar herramientas que no habían sido sugeridas. Esto puede indicar que, si le damos seguimiento al uso de las herramientas de IA generativas en clase, es probable que las faltas a la integridad académica sean disminuidas. En los proyectos entregados, no detecté deshonestidad académica, por tanto, considero que sí es posible que los estudiantes actúen con honradez al usar inteligencia artificial. Por otra parte, noté que los estudiantes refuerzan lo aprendido en clase con las herramientas de IA al no conformarse con los materiales y orientaciones dadas en el aula y aprovechar estas herramientas para perfeccionar lo aprendido, es decir, usan las herramientas como complemento al aprendizaje obtenido en clase.

    En cuanto a la calidad de la información en la presentación del proyecto fue bastante alta. Las y los estudiantes manifestaron encontrar a través de herramientas de IA nuevas formas de presentar gráficamente la información de sus datos impactando la calidad visual del proyecto. De igual forma, se observó que lograron resolver problemas durante el proceso de elaboración del proyecto, adquiriendo esta competencia.

    Lograron solventar sus dudas e inquietudes a través de las herramientas de IA que habrían sido difícil de responder usando herramientas de búsqueda tradicionales. Esto les permitió mejorar la precisión de la información y de las afirmaciones realizadas. En general, más allá de los resultados académicos, es mi percepción que, se disminuyó la ansiedad de las y los estudiantes en la búsqueda de códigos de programación que les permitiese trabajar de forma particular con sus datos. Hubo una disminución en los errores de programación y en los tiempos de búsqueda.

    Reflexión

    Para finalizar, no dejo de pensar que la adopción de herramientas de IA en las aulas nos presenta muchos retos, pasando desde la integridad académica hasta los cuestionamientos de privacidad de los datos y de la veracidad de la información. Su incorporación en algunas asignaturas debe pasar por la reflexión previa del profesorado, ponderando los riesgos y las ganancias en su adopción. Introducir y permitir el uso de herramientas de IA en la realización de los proyectos empíricos estudiantiles de uno de mis cursos no fue una decisión fácil; sin embargo, luego de analizar cómo podía incorporarlas minimizando la probabilidad de las faltas de honestidad académica y basándome en un enfoque formativo de la integridad, tomé la decisión de que los estudiantes las pudiesen adoptar de forma opcional.

    La experiencia narrada tiene por supuesto sus limitaciones, existen oportunidades de mejora en su incorporación y por supuesto riesgos inherentes al uso de las herramientas de IA generativa. Las afirmaciones dadas en este artículo son muy específicas y están referidas a una sola experiencia con el formato y los materiales educativos creados exclusivamente para el proyecto empírico descrito previamente. Considero que debemos seguir investigando sobre las prácticas de aprendizajes con IA y así ponderar retos y beneficios de forma sistemática. La invitación es también a buscar protocolos que permitan afrontar los retos a los que nos enfrentamos cuando se implementa IA generativa en clase.

    Acerca de la autora

    Rosa María Morales Valera (rosa.moralesv@udem.edu) es académica de la Escuela de Negocios de la Universidad de Monterrey (UDEM), PhD en Economía por Claremont Graduate University (California, USA) y miembro del Sistema Nacional de Investigadores (SNI) de México. La autora es integrante del Consejo de Honor de la UDEM.

    Referencias

    Currie, G. M. (2023, May). Academic integrity and artificial intelligence: is ChatGPT hype, hero, or heresy? In Seminars in Nuclear Medicine. WB Saunders. https://doi.org/10.1053/j.semnuclmed.2023.04.00

    IBM Education (2023). AI code-generation software: What it is and how it works. https://www.ibm.com/blog/ai-code-generation/

    Moya, B., Eaton, S. E., Pethrick, H., Hayden, K. A., Brennan, R., Wiens, J., McDermott, B., & Lesage, J. (2023). Academic Integrity and Artificial Intelligence in Higher Education Contexts: A Rapid Scoping Review Protocol. Canadian Perspectives on Academic Integrity, 5(2), 59–75. https://journalhosting.ucalgary.ca/index.php/ai/article/view/75990.

    Ta, R & D. West. (2023) Should schools ban or integrate generative AI in the classroom? The Brooking Institution. https://www.brookings.edu/articles/should-schools-ban-or-integrate-generative-ai-in-the-classroom/

    Wooldridge, J. M. (2015). Introductory Econometrics: A Modern Approach. 6th ed.

    Tomado de EDUBITSdel Tec de Monterrey

    No hay comentarios: