Revista Tecnología y Ciencia - Universidad Tecnológica Nacional
ISSN 1666-6933 / Septiembre-Diciembre 2018 / Año 16 - Nº 33
Cinthia Vegega
Grupo de Estudio en Metodologías de Ingeniería en Software (GEMIS), Universidad Tecnológica Nacional, Facultad Regional Buenos Aires, Argentina
cinthiavg@yahoo.com.ar
Ariel Deroche
Grupo de Estudio en Metodologías de Ingeniería en Software (GEMIS), Universidad Tecnológica Nacional, Facultad Regional Buenos Aires, Argentina
arielderoche@gmail.com
Pablo Pytel
Grupo de Estudio en Metodologías de Ingeniería en Software (GEMIS), Universidad Tecnológica Nacional, Facultad Regional Buenos Aires, Argentina
Hugo Ramón
Grupo de Estudio en Metodologías de Ingeniería en Software (GEMIS), Universidad Tecnológica Nacional, Facultad Regional Buenos Aires, Argentina
Luciano Straccia
Grupo de Estudio en Metodologías de Ingeniería en Software (GEMIS), Universidad Tecnológica Nacional, Facultad Regional Buenos Aires, Argentina
Mariana Acosta
Grupo de Estudio en Metodologías de Ingeniería en Software (GEMIS), Universidad Tecnológica Nacional, Facultad Regional Buenos Aires, Argentina
María Florencia Pollo-Cattaneo
Grupo de Estudio en Metodologías de Ingeniería en Software (GEMIS), Universidad Tecnológica Nacional, Facultad Regional Buenos Aires, Argentina
flo.pollo@gmail.com
Recepción 18/11/2016
Aprobación20/07/2017
En el siglo actual uno de los objetivos de la educación es inculcar habilidades cognitivas que les permitan buscar, encontrar y comprender información mediante una lectura crítica. Dichas habilidades son deseables en cualquier carrera ingenieril, pero se vuelven imprescindibles en disciplinas como la ‘Inteligencia Artificial’ donde aparecen innovaciones casi todos los días. En tal sentido, las Redes Bayesianas son un tipo de Sistema Inteligente que permite identificar el estilo de aprendizaje de los alumnos. Sin embargo, no representan satisfactoriamente la manera en que esos conocimientos evolucionan. Por consiguiente, el presente trabajo propone aplicar un Modelo Dinámico para diagnosticar el proceso de aprendizaje de los alumnos y así comprender mejor su comportamiento.
Palabras claves: Educación y Tecnología. Formación de Ingenieros. Estilos de Aprendizaje. Redes Bayesianas Dinámicas.
One of the main objectives of Education for this century is to instill cognitive skills that ensure information research and comprehension through a critical reading. Not only are these skills desirable in any Engineering career, but they have also become critical in disciplines such as ‘Artificial Intelligence’, where innovations are given on a daily basis. In this sense, Bayesian Networks are a type of Intelligent System capable of identifying students' learning style. Nonetheless, they fail to represent the manner in which said knowledge evolves. Therefore, this paper proposes to apply a Dynamic Model in order to diagnose students' learning process and provide a better understanding of their behavior.
Keywords: Educaction & Tecnology. Training of Engineers. Learning Styles. Dynamic Bayesian Networks.
“El objeto de la educación es preparar a los jóvenes para que se eduquen a sí mismos durante toda su vida”. Con esta frase del educador Robert Hutch resume una de las metas que tiene la educación universitaria del siglo XXI (US Department of Education, 2000). Cada vez se requiere más habilidades cognitivas que les permitan buscar, encontrar y comprender información significativa mediante una lectura crítica (Hernández Rojas & Díaz Barriga, 2013). Por consiguiente, en (Delors, 2013) se indica que los docentes tienen una “doble exigencia”: además de transmitir una cantidad cada vez mayor de conocimientos, también se debe proporcionar (en simultáneo) las “cartas náuticas” de un mundo complejo y en perpetua agitación junto con la brújula para poder “navegar” por él. Esto significa que no es suficiente que los alumnos memoricen los temas dictados en la asignatura, sino que se les debe inculcar los hábitos para investigar, analizar, indagar y practicar (Jiménez-Vega, S/A) y así poder “aprender a aprender”.
Aunque dichas habilidades son deseables en cualquier carrera ingenieril, se vuelven imprescindibles en disciplinas donde aparecen innovaciones casi todos los días. Tal es el caso de la Inteligencia Artificial, donde empresas como Google, Microsoft y Facebook están invirtiendo cada vez mayores esfuerzos para “llevarla al siguiente nivel” (Gaudin, 2016). Si el graduado no tiene la habilidad de discernir y catalogar los nuevos conocimientos, les será imposible mantenerse actualizados.
Desde hace tiempo ésta es una preocupación de los docentes de la asignatura ‘Inteligencia Artificial’ dictada en el quinto nivel de la carrera ‘Ingeniería en Sistemas de Información’ de la Universidad Tecnológica Nacional Facultad Regional Buenos Aires (UTN FRBA). Esta asignatura tiene como objetivo introducir al alumno en el estudio de la Inteligencia Artificial (IA) y su aplicación en el abordaje de situaciones que se presentan en su actividad profesional (UTN-FRBA, 2008). Esto implica involucrar al alumno con las diversas tecnologías que brinda la IA para la construcción de Sistemas Inteligentes (Russell et al., 2010), entre las que se destacan los Sistemas Basados en Conocimiento (SBC), los Sistemas Expertos (SE), las Redes Neuronales Artificiales (RNA) y los Algoritmos Genéticos (AG). Complementado con estas arquitecturas, dentro del temario de la asignatura, también se incluyen los aspectos ingenieriles a dicha construcción, los cuales se engloban dentro de la Ingeniería del Conocimiento (García-Martínez & Britos, 2004).
Uno de los problemas identificados en la asignatura es la falta de estudio de los alumnos durante el cuatrimestre. Esto ha producido que el equipo docente haya decidido desarrollar un recurso didáctico y tecnológico que aproveche los tiempos ociosos con los que cuenta todo estudiante en cualquier lugar en donde se encuentre. Basado en tecnología móvil, la aplicación IApp (Deroche et al., 2015) tiene como objetivos facilitarle al alumno el proceso de repaso, autoevaluación, corrección y afianzamiento del aprendizaje, y brindarle a los docentes información sobre el estado de dicho proceso. A partir de su implementación, en (Pytel, 2015) se procedió a diagnosticar el nivel de conocimiento que poseen los alumnos con respecto sobre los contenidos de la asignatura a través de una Red Bayesiana el cual modeliza el comportamiento de los estudiantes (Özyurt & Özyurt, 2015). De esta manera, se buscaba obtener información para que los docentes planifiquen e implementen futuras estrategias pedagógicas que motiven a los alumnos a regular su aprendizaje y auto-evaluarse.
No obstante, y pese a que los resultados generados han permitido identificar y caracterizar tres estilos diferentes de aprendizaje entre los estudiantes, los docentes no pudieron cumplir las metas propuestas. El principal motivo fue que el modelo implementado estaba orientado a diagnosticar el conocimiento de los alumnos en dos momentos específicos (al responder el cuestionario y al rendir el examen parcial) sin considerar cómo y cuándo sus conocimientos fueron evolucionaron durante las semanas anteriores. En otras palabras, se cometió el error indicado en (García Palacios, 2012) por el cual se toma al conocimiento como un producto y no como un proceso, dando más importancia a lo que los alumnos saben y dejando de lado los mecanismos que los alumnos usan para para aprenderlos.
En este contexto, se propone llevar a cabo un nuevo estudio sobre el proceso de aprendizaje de los alumnos desde una perspectiva dinámica (o temporal) haciendo hincapié en la evolución de los conocimientos pero sin dejar de lado los resultados finales. Para ello, primero se describen las fuentes de los datos a ser utilizados en este estudio, los cuales son analizados inicialmente a través de técnicas estadísticas y de Explotación de Información. Luego, se describe la construcción del Modelo Dinámico con el cual es posible llevar a cabo un análisis más detallado. Finalmente, se indican las conclusiones y futuras líneas de trabajo.
Para llevar a cabo este nuevo estudio se emplean los datos recolectados por los docentes durante el primer cuatrimestre del año 2016. Dichos datos provienen de dos fuentes de información:
Sobre dichas fuentes de información se han llevado a cabo tareas de preparación de los datos que incluyen el formateo (obteniendo así los valores de rendimiento y uso en la aplicación por alumno y día, entre otras cosas), limpieza (para descartar los datos de alumnos que nunca accedieron a la aplicación) e integración (para obtener una única tabla). Debido a limitaciones de espacio, la descripción de cada una de estas tareas junto con la estructura de la tabla generada se detalla en el reporte técnico (Deroche et al., 2016).
A partir de los datos recolectados y preparados, se efectúa un análisis preliminar aplicando Técnicas Estadísticas y Procesos de Explotación de Información (Britos & García-Martínez, 2009) los cuales se resumen a continuación (más detalle sobre éstos se puede encontrar en (Deroche et al., 2016)).
Comenzando con dicho análisis, se presentan los resultados obtenidos de la corrección de los exámenes rendidos por los alumnos. Para ello, se ha generado la tabla estadística junto con un gráfico de torta indicados en la figura 1. Como es posible observar, de los alumnos que han accedido alguna vez a la aplicación móvil IApp, muy pocos han faltado al examen parcial (el 5% aproximadamente). Entre los presentes, la mayoría (el 65%) ha aprobado, destacándose el hecho que muchos (un 38%) han tenido una calificación notable por responder más de 14 preguntas correctamente (rangos ‘r15-18’ y ‘r19-21’). En cambio, en los desaprobados, muy pocos (sólo el 9%) ha tenido un rendimiento malo al responder entre 6 y 10 respuestas correctas (rango ‘r-6-10’), encontrándose varios (el 21%) en el límite (con 11 o 12 respuestas correctas o ‘r11-12’). Nótese además que ningún alumno ha tenido un rendimiento que se podría considerar como muy malo dado que ninguno ha respondido menos de 6 preguntas correctamente.
Fig. 1. Cantidad de alumnos por rango de respuestas correctas en el Examen Parcial.
Por consiguiente, es posible decir que en general los alumnos han estado preparados para rendir el examen por practicar con la aplicación móvil. Asimismo se podría plantear como hipótesis que posiblemente los alumnos que han practicado más con IApp, son los alumnos que han obtenido mayor cantidad de respuestas correctas en el examen.
Sin embargo, al comparar los resultados del examen con el uso general de la aplicación móvil, es necesario revisar el planteo anterior: haber respondido más preguntas en IApp no garantiza aprobar el examen. Esto se puede advertir en el gráfico generado por el proceso de Ponderación de Atributos de la figura 2. La distribución de alumnos que han desaprobado con el peor rendimiento (rango ‘r6-11’) es bastante similar entre alumnos que han respondido entre 26 y 99 preguntas en la aplicación móvil. Aunque para los alumnos que han respondido entre 11 y 25 preguntas en la aplicación esa distribución tiende a aumentar, los alumnos que casi no la han usado (respondiendo menos de 11 preguntas) no presentan esta cualidad (dado que la mayoría de estos últimos no se han presentado al examen). Por otra parte, entre que los alumnos que respondieron de 51 a 99 preguntas se puede notar que presentan una distribución muy simular entre los desaprobados (rango ‘r6-11’) y los aprobados (rangos ‘r13-14’ y ‘r15-18’). Por último, se destaca que los alumnos con los mejores rendimientos (rango ‘r19-21’) se encuentran concentrados en el rango de uso de 51 a 75 preguntas, mientras en caso de haber usado la aplicación (por responder más de 75 preguntas) esta distribución baja considerablemente.
En forma similar, se procede a estudiar la relación entre los resultados del examen con respecto a los rendimientos del alumno en la aplicación móvil (es decir, la cantidad de respuestas correctas). Para facilitar su análisis, dichos rendimientos son clasificados con los valores lingüísticos ‘nada’, ‘poco’, ‘algo’, ‘mucho’ y ‘todo’ que representan el grado de conocimiento que tendría cada alumno sobre los temas. Para llevar a cabo la comparación se utiliza nuevamente el proceso de Ponderación de Atributos que genera el gráfico de la figura 3 y que termina de refutar la hipótesis planteada anteriormente. Aunque todos los alumnos que han obtenido ‘mucho’ como nivel de conocimiento según su rendimiento en aplicación han aprobado el examen parcial, esto no se mantiene con el alumno que ha tenido un ‘todo’ (dado que éstos tienden a desaprobar). Además, se observa que los alumnos que saben ‘algo’ han presentado un peor rendimiento que los alumnos que saben ‘poco’ dado que, entre los primeros, la mayoría tiende a obtener menos de 13 respuestas correctas. Por último, entre los que saben ‘nada’, muchos han faltado al examen o desaprobado, pero algunos han aprobado y con buena nota.
Las inconsistencias detectadas por los análisis anteriores se deben a que éstos consideran sólo la información del uso y rendimiento en forma estática (sólo los totales generales). Por lo cual no son suficientes para entender el comportamiento completo de los alumnos. Por lo tanto, se ha decidido incluir la variable tiempo para analizar ambas variables generando así el gráfico de la figura 4. En dicho gráfico es posible visualizar el progreso diario del uso de la aplicación móvil (representado por la línea bordo) junto con su rendimiento (representado por barras azules debajo). Como se notar, el uso de la aplicación ha ido aumentando a medida que se acercaba el día del examen parcial (31 de mayo y 1ro de junio, indicados como ‘05.31’ y ‘06.01’ que corresponden a la 4ta semana de utilización de la aplicación móvil o S4_LaV). Este crecimiento se produce especialmente los días no laborables (es decir, los fines de semana y el feriado los cuales son destacados en el gráfico como S1_SyD, S2_SyD, S3_SyD y S3_F), luego de los cual el uso tiende a estabilizarse (pero sin disminuir). Por otra parte, se destacan tres incrementos significativos. Los dos primero (‘05.18’ y ‘05.23’) se corresponden a las clases de repaso de cada curso en las que se responden dudas y se vuelven a examinar los principales puntos de los temas que se van a evaluar en el examen parcial. Este repaso parecería haber alentado a los alumnos a auto-evaluarse para ver cuán preparados se encontraban. El otro pico máximo se produce el lunes ‘05.30’ (hasta momentos antes en que se rindió el parcial), luego de lo cual baja en gran medida ya que (salvo unos 20 alumnos) los alumnos que rindieron el lunes dejaron de acceder a la aplicación.
Al incluir los resultados de rendimientos que se pueden apreciar también en la figura 4, se nota que utilizar más la aplicación no implica necesariamente que también aumente la cantidad de respuestas correctas. Es posible observar que el segundo y tercer día (‘05.11’ y ‘05.12’ respectivamente) la cantidad total de respuestas correctas estaba en un orden del 41% de las respuestas totales, pero a partir del cuarto día (‘05.13’), esta proporción aumentó al 51% aunque el uso general bajo levemente. Esa proporción de respuestas correctas posteriormente no ha disminuido a pesar de los decrementos en el uso (especialmente los días ‘05.17’ y ‘05.24’). Asimismo, la mayor tasa de acierto se produjo el miércoles 1ro de junio con un valor de casi el 73%, aunque sólo estaban accediendo los alumnos de los días miércoles (es decir, aproximadamente la mitad de los alumnos totales).
Teniendo en cuenta estas conclusiones iniciales, se comprende que es necesario llevar a cabo un estudio más detallado de la relación existente entre el resultado en el examen parcial y tanto el uso como el rendimiento en la aplicación móvil. Pero dicho estudio, debe contemplar un punto de vista temporal o dinámico para evitar inconsistencias que de otra forma se presentan. Al considerar la evolución temporal del proceso de aprendizaje es posible descubrir sus características y así diagnosticar grupos de alumnos. Por lo tanto se decide implementar una Modelo Bayesiano Dinámico tal como se describe en la próxima sección.
Fig. 2. Ponderación entre resultado del examen y cantidad de respuestas totales en la aplicación móvil.
Fig. 3. Ponderación entre resultado del examen y cantidad de respuestas correctas en la aplicación móvil.
Fig. 4. Gráfico temporal para la cantidad de uso y respuestas correctas en la aplicación móvil.
Utilizando los datos preparados, se procede a la construcción del modelo a través de una Red Bayesiana Dinámica o Temporal (Ghahramani, 1998). Al igual que las Redes Bayesianas (Barber, 2012), este subtipo puede ser aplicado dentro del ámbito educativo para el modelado del estilo de aprendizaje de estudiantes (Özyurt & Özyurt, 2015; Itoh et al., 2014; Millán et al., 2015; López-Faican & Chamba-Eras, 2015). Pero, además, incorporan la capacidad de representar cada momento temporal por una instancia de nodos existiendo conexiones que representan el flujo temporal de la información. Esto significa que, para cada instante de tiempo, se tiene una copia de la estructura de la red, existiendo conexiones entre cada copia (Murphy, 2002). De este modo, se puede estudiar al alumno desde el punto de vista temporal de lo que éste ya sabe en cada momento del proceso de aprendizaje para así descubrir sus características (García et al., 2007).
Para implementar el modelo propuesto se han utilizado las funcionalidades de la herramienta GeNIe versión 2.1 (BayesFusion, 2015). Primero se ha construido una Red Bayesiana estándar aplicando el algoritmo de aprendizaje automático ‘Tree Augmented Näive Bayes’ (Zheng & Webb, 2010). Como resultado, se obtienen los nodos que representan la cantidad de respuestas correctas en el examen parcial (nodo Resultado_Parcial), el día en que rindió el examen (nodo Dia_Parcial), el grado general de utilización de la aplicación móvil (nodo Uso_IApp) y el rendimiento en la aplicación móvil tanto general (nodo Resultado_IApp) como por tema (nodos IA, INCO y SistInteligentes).
Posteriormente, estos nodos han sido clasificado como iniciales o finales, y se han agregado manualmente los nodos temporales para representar la evolución del uso de la aplicación (nodo usa) y de su rendimiento (nodos sabe, sabeIA, sabeINCO y sabeSistInteligentes) tal como se pueden observar en la figura 5.
Finalmente, dicha plantilla ha sido “desenrollada” generando dos instancias de nodos temporales por semana, una para los días laborales (lunes a viernes o LaV) y el otra para los fines de semana (sábados y domingos o SyD). Las probabilidades de todas estas instancias han sido definidas reentrenando la red con los datos preparados. De esta manera se genera la Red Bayesiana Dinámica que se presenta en las figuras 6 y 7.
Para más detalles sobre esta implementación, se recomienda acceder a (Deroche et al., 2016).
Fig. 5. Plantilla que define la Red Bayesiana Dinámica.
Fig. 6. Diagnóstico del comportamiento normal de un alumno que cursa la asignatura (sección principal).
Fig. 7. Diagnóstico del comportamiento normal de un alumno que cursa la asignatura (sección por tema).
en esta sección se presentan los resultados de analizar el Modelo Bayesiano Dinámico implementado. Para ello, primero se analiza el estilo normal de aprendizaje de un alumno que cursa la asignatura y luego sus características dependiendo del resultado que obtuvieron en el examen parcial.
Usando el Modelo Dinámico se procede a analizar el comportamiento normal (o promedio) de un alumno que cursa la asignatura. Para ello, se le solicita al modelo que realice una predicción sin haberle definido previamente ninguna evidencia en particular sobre un alumno. Esto genera que se propaguen las probabilidades definidas a priori en base a la información suministrada para su entrenamiento y se obtengan los resultados que se pueden observar en las figuras 6 y 7.
Lo primero que se puede advertir en la figura 6 es que la distribución de probabilidades sobre el resultado de la corrección del examen parcial (nodo Resultado_Parcial) es similar a la obtenida estadísticamente en la sección correspondiente al análisis inicial de los datos. El “alumno promedio” tiene más posibilidades de aprobar el examen parcial dado que posee una probabilidad del 2% de obtener 19 o más respuestas correctas, 35% de obtener entre 15 y 18, y 26% de tener 13 o 14 lo cual suma un total del 63%. En cambio, algunos desaprueban (el 23%) y muy pocos estuvieron ausentes (un 5%).
Esto se debe a que en general los alumnos han demostrado conocer por lo menos la mitad del temario de la asignatura (es decir, saben ‘algo’, ‘mucho’ o ‘todo’). De acuerdo al rendimiento general de sus respuestas en la aplicación móvil que se observa en el nodo Resultado_IApp saber por lo menos ‘algo’ tiene una probabilidad a priori del 62%, mientras que saber ‘poco’ o ‘nada’ posee un 38%. Esta situación se refleja en el conocimiento promedio que posee cada alumno sobre cada tema teórico de la asignatura, dado que el valor más probable para Inteligencia Artificial, Ingeniería del Conocimiento y Sistemas Inteligentes (nodos IA, INCO y SistInteligentes) es también ‘algo’ (con 28%, 43% y 55% respectivamente).
Por otro lado, se procede a evaluar el progreso de esos conocimientos en el tiempo. Para ello, han sido definidos un conjunto de nodos que representan el rendimiento de los alumnos de acuerdo al número semana y el tipo de día (los nodos temporales sabeS1_LaV, sabeS1_SyD, sabeS2_LaV, sabeS2_SyD, sabeS3_LaV, sabeS3_F, sabeS3_SyD y sabeS4_LaV) y otros que, con el mismo criterio, representan la utilización que tuvo la aplicación (nodos usaS1_LaV, usaS1_SyD, usaS2_LaV, usaS2_SyD, usaS3_LaV, usaS3_F, usaS3_SyD y usaS4_LaV). De acuerdo a los resultados indicados por estos nodos se confirma lo detectado anteriormente sobre el incremento del uso de la aplicación móvil a medida que se acercaba la fecha del examen. Durante la primera semana muy pocos alumnos accedían a la aplicación (probabilidad del 71% en el valor ‘no’ del nodo usaS1_LaV), pero luego se detecta una evolución escalonado llegando a que la mayoría (el 54%) ha respondido entre 4 y 10 preguntas en los días previos a la evaluación (lo cual genera una disminución de la probabilidad del valor ‘no’ al 19% en el nodo usaS4_LaV). Acompañando este crecimiento en la cantidad de preguntas respondidas, se puede detectar también un aumento en la cantidad de respuestas correctas. Aunque en la primera semana casi no hay respuestas correctas (luego de ‘no’ usar la aplicación, el segundo valor más probable de sabeS1_LaV es ‘nada’ con un 13%), durante la cuarta semana la mayoría ha llegado a saber ‘algo’ (con un 28% en sabeS4_LaV).
No obstante, este aumento del rendimiento no es un resultado directo del aumento del uso sino que se genera por el de aprendizaje de los alumnos. Esto se puede distinguir por la distribución de los valores y sus probabilidades entre dichos nodos:
Parecería que estas incongruencias se generan por los alumnos que acceden a la aplicación por primera vez. Aunque se produce una disminución general del rendimiento por esos alumnos con pocos conocimientos, ésta es compensada en parte por los alumnos que ya venían practicando. Por lo tanto se puede concluir que el rendimiento de los alumnos “primerizos” en la aplicación es malo, pero a medida que van practicando, su efectividad aumenta por el aprendizaje de la modalidad y contenido de las preguntas.
Finalmente, las observaciones anteriores se pueden confirmar en el progreso del rendimiento del “alumno promedio” sobre cada tema de la asignatura (las cuales se muestran en la figura 7):
Para complementar el análisis anterior se estudia el comportamiento de los alumnos de acuerdo a sus resultados en el examen parcial. A tal efecto, se indican como evidencia diferentes valores en el nodo Resultado_Parcial generándose así las predicciones que se muestran en las figuras 8 a 13. Como se puede apreciar en esta sección no se incluyen los gráficos correspondientes a la evolución de los conocimientos por tema debido a que no aportan información relevante (su comportamiento es similar al de la evolución del rendimiento general de los alumnos).
A continuación se describen las conclusiones obtenidas de cada evidencia comenzando por los alumnos ausentes para luego analizar desde el peor rendimiento hasta llegar al mejor.
En la figura 8 se puede observar las características de los alumnos que accedieron por lo menos una vez a la aplicación móvil pero que han estado ausentes al parcial. Según se ha podido notar anteriormente (figuras 1 y 6), éstos son muy pocos (alrededor del 5%), pero de todas formas se considera de interés estudiar.
El conocimiento general sobre la asignatura de estos alumnos tiende a ser ‘nada’ (con 58% de probabilidad en Resultado_IApp) debido a que tuvieron bajo rendimiento en preguntas asociadas a la INCO y los Sistemas Inteligentes (con un 58% y 31% en dicho valor), mientras que se podría decir que IA es el único tema del que sabían ‘algo’ (el cual tiene un 24% mientras que el resto de los valores tiene un 5%). Esto está asociado a un poco uso de la aplicación IApp (la mayoría ha respondido hasta 10 preguntas y en ningún momento se supera el 50% de utilización por semana) y una baja efectividad en responder correctamente las preguntas por semana. Aunque se había producido una mejora durante finales de la segunda semana y principios de la tercera (nodos sabeS2_SyD, sabeS3_LaV y sabeS3_F con alrededor de un 25% en ‘algo’), luego ésta volvió a bajar. Esto podría reflejar que en algún momento estos alumnos habían comenzado a prepararse para el examen pero en última instancia decidieron no presentarse por no haber estudiado lo suficiente.
Fig. 8. Diagnóstico de los alumnos ausentes al Examen Parcial.
Los alumnos que han desaprobado el examen parcial (figuras 9 y 10) se pueden subdividir en dos grupos:
El primer grupo se corresponde con los alumnos que han obtenido el peor rendimiento, es decir, los que han obtenido entre 6 y 10 respuestas correctas en el examen. Aunque se podría determinar en la figura 9 que estos alumnos sabían ‘algo’ de la asignatura según sus resultados en la aplicación móvil (nodo Resultado_IApp) la utilización de la misma ha sido baja (encontrándose la mayoría entre 11 y 50 preguntas respondidas). Varios alumnos accedieron a la aplicación en las primeras semanas, pero la gran mayoría ha comenzado a accederla a partir de la tercera semana (el valor de ‘no’ baja de un 75% en usaS2_SyD a un 3% en usaS3_LaV). Los mejores resultados se presentan en el tema INCO (dado que el 34% sabe ‘mucho’ de este tema), pero en las preguntas de Sistemas Inteligentes se destaca poca cantidad de respuestas incorrectas (dado que ‘nada’ posee una probabilidad del 3% frente a un 84% de ‘algo’). Sin embargo, si se observa el rendimiento temporal, se puede notar que no hay una evolución significativa dado que la distribución de probabilidades son bastante parejas por semana lo cual genera que su rendimiento nunca supere el valor de ‘algo’ (nodos sabeS3_LaV, sabeS3_F, sabeS3_SyD y sabeS4_LaV).
El segundo grupo incluye aquellos alumnos que no aprobaron pero estuvieron cerca de hacerlo por tener 11 o 12 respuestas correctas. Sus características se muestran en la figura 10 donde es posible advertir que estos alumnos han respondido mayor cantidad de preguntas (encontrándose el 46% entre 26 y 50) que los anteriores. Aunque en las primeras semanas casi no accedieron a la aplicación, a partir tercera semana se produce un incremento significativo del uso (mientras que en las primeras dos semanas el uso promedio fue menor al 13%, en la tercera sube a un 84%). Junto a este crecimiento, se puede notar una mejora significativa de la efectividad en sus respuestas con respecto a los alumnos anteriores (destacándose el valor de ‘algo’ en los nodos sabeS3_LaV, sabeS3_F, sabeS3_SyD y sabeS4_LaV). Pero, dado que en las primeras semanas la efectividad fue casi inexistente, el rendimiento general del alumno (nodos Resultado_IApp, INCO, IA y SistInteligentes) es inferior al de los anteriores (con una diferencia promedio de casi un -14%).
Fig. 9. Diagnóstico de los alumnos con hasta 10 respuestas correctas en el Examen Parcial.
Fig. 10. Diagnóstico de los alumnos con 11 o 12 respuestas correctas en el Examen Parcial.
De acuerdo a su rendimiento en el examen, los alumnos que han aprobado (figuras 11, 12 y 13) presentan un comportamiento diferente a los anteriores y se pueden subdividir en tres grupos:
El primer grupo corresponde a los alumnos que han aprobado en el límite por tener 13 o 14 respuestas correctas (figura 11). Muy pocos de estos alumnos utilizaron la aplicación durante las dos primeras semanas (menos del 18% promedio en usaS1_LaV, usaS1_SyD y usaS2_LaV), aumentando un poco a fines de la segunda semana (subiendo a un 32% en usaS2_SyD). Pero ese incremento del uso trajo aparejado también una leve disminución del rendimiento promedio (mientras que en sabesS2_LaV los alumnos habían alcanzado a un valor de ‘mucho’ con un 11%, en sabeS2_SyD están concentrados entre ‘algo’ y ‘nada’ con un 17% y 13%). Luego el rendimiento se estabiliza para volver a mejorar luego del feriado de la tercer semana (llegando a casi un 35% promedio entre ‘algo’, ‘mucho’ y ‘todo’ entre sabeS3_LaV, sabeS3_SyD y sabeS4_LaV). Esta situación genera que los rendimientos generales de los alumnos sean levemente superiores a los alumnos que habían desaprobado en el límite.
El segundo grupo corresponde a los alumnos que han respondido entre 15 y 18 respuestas correctas (figura 12). Éstos se asemejan a los anteriores pero con una diferencia importante: varios de estos alumnos usaron IApp desde la primer semana (alrededor de un 29%) y no dejaron de utilizarla hasta la fecha del examen (esto se refleja en que el 51% respondió 10 o más preguntas en esos días). Este hecho parecería haber producido un crecimiento de la eficacia de sus respuestas (con un promedio de 26% saben ‘algo’ a partir de la segunda semana) que siguió aumentando durante las dos semanas restantes. Como consecuencia, el rendimiento de estos alumnos se encuentra concentrado entre los valores ‘algo’ y ‘mucho’ tanto a nivel general como por tema (con un valor promedio superior al 60%).
Fig. 11. Diagnóstico de los alumnos con 13 o 14 respuestas correctas en el Examen Parcial.
Fig. 12. Diagnóstico de los alumnos con 15 a 18 respuestas correctas en el Examen Parcial.
Dicha situación se mantiene si se analiza al tercer y último grupo de alumnos correspondiente a los que han obtenido 19 o más respuestas correctas (figura 13). Su efectividad promedio ha sido muy bueno en la aplicación móvil (sabe ‘mucho’ el 57% a nivel general en Resultado_IApp y de INCO, un 54% de Sistemas Inteligentes pero sólo un 9% de IA) por haberla utilizado considerablemente para practicar (el 81% respondió más de 50 preguntas según Uso_IApp). Como sucede con los alumnos anteriores, esta práctica comienza desde la primer semana destacándose el hecho que sólo el 5% no accedieron a la aplicación durante la segunda semana (nótese que de los alumnos anteriores el 45% no la utilizó durante esa semana). Asimismo, en la segunda semana ya se puede advertir que los alumnos habían adquirido los principales conceptos (dado que es posible determinar que el 63% sabe ‘mucho’ de las preguntas contestadas de lunes a viernes, y el 62% sabe ‘todo’ de las respondidas el fin de semana según los nodos sabeS2_LaV y sabeS2_SyD respectivamente). Sin embargo, durante la tercera semana existe una leve baja en el rendimiento (en sabeS3_LaV y sabeS3_SyD se puede ver una mayoría de ‘algo’ con un promedio del 55%, pero no en sabeS3_F que mantiene la mayoría en ‘mucho’ con un 57%), para volver a estabilizarse en ‘mucho’ (con un 52%) durante la cuarta y última semana.
Fig. 13. Diagnóstico de los alumnos con 19 o más respuestas correctas en el Examen Parcial.
El presente trabajo amplia los resultados generados por el ‘Modelo Bayesiano para el Diagnóstico del Aprendizaje en Alumnos de Inteligencia Artificial’ (Pytel, 2015) al incorporar la perspectiva temporal del proceso de aprendizaje de los alumnos. Esto se logra implementando un Modelo Bayesiano Dinámico que permite representar la evolución de los conocimientos de los alumnos a partir del uso de la aplicación móvil IApp.
Del análisis realizado sobre este nuevo modelo ha sido posible identificar las características del estilo normal de aprendizaje de los alumnos (es decir, caracterizar al “alumno promedio”) y diagnosticar los comportamientos de los alumnos a partir del resultado que han obtenido en el examen parcial (considerando alumnos ausentes, aprobados y desaprobados). A partir de los resultados obtenidos se destacan las siguientes conclusiones:
La aplicación IApp es útil para los alumnos.
Esto se observa a partir de que los alumnos que han accedido a la aplicación han tenido buenos resultados en el examen parcial (la mayoría aprueba y ninguno ha tenido un rendimiento muy malo). Sin embargo, si un alumno no utiliza IApp, no significa que vaya a desaprobar el examen. Alumnos que nunca la han usado, o la han hecho muy poco, también han aprobado (en varios casos con buenos resultados). Por lo tanto, aunque se puede determinar que la aplicación móvil es un complemento positivo para el proceso de aprendizaje, de ninguna forma sustituye las tareas de estudio que deben realizar los alumnos.
Al comenzar a estudiar antes, se generan mejores probabilidades de aprobar el examen.
Como se ha observado en el análisis, al responder las primeras preguntas los alumnos tienden a elegir respuestas incorrectas. Esto se puede deber a que todavía no saben del tema preguntado, que no comprenden la modalidad del ejercicio (a pesar de que en otras asignaturas anteriores también se usa la modalidad de opción múltiple) o la forma en que las preguntas están redactadas. Otro motivo puede ser que, durante el cuatrimestre, los alumnos cursan varias asignaturas simultáneamente por lo que su tiempo para el estudio es limitado. Aún más pequeño si se considera que a esta altura de la carrera, la mayoría ya se desempeña laboralmente. Esto genera diferentes grados de dedicación al estudio entre los días laborales y no laborables de la semana. Estas variaciones también pueden ser diferentes en ciertas semanas (por ejemplo, en la semana de finales o cuando están estudiando para rendir un parcial de otra asignatura). Estos posibles descensos en el estudio están compensados en los alumnos que han comenzado a practicar con la aplicación móvil a partir de la primera semana. Éstos han obtenido los mejores rendimientos en las preguntas de las últimas semanas y también en el examen parcial. Pero, nuevamente se aclara que por responder mayor cantidad de preguntas en la aplicación, no se garantiza que los alumnos aprueben el examen. Es un hecho que los alumnos que empezaron a utilizar la aplicación en los días previos al examen, en forma intensiva pero sin haberse preparado antes, no presentan tan buenos rendimientos y tienden a desaprobar.
Un alumno motivado aprende más y mejor.
Esta es una de las grandes ventajas que provee IApp. Al poder auto-evaluarse en cualquier momento del día, los alumnos pueden detectar los temas donde se encuentran más flojos. Esto los lleva a profundizarlos a través del material provisto por la cátedra, información recopilada de Internet y/o consultas a los docentes. Asimismo, dicha motivación debe ser acompañada en clase. Una estrategia que parece generar buenos resultados son las clases de repaso donde se recuerdan los principales temas vistos y se los integra para destacar sus relaciones. También se responden dudas surgidas por las preguntas de la aplicación. En ese sentido, una buena idea es que los docentes referencien las preguntas que han tenido mayor cantidad de respuestas incorrectas para comentarlas y guiar a los alumnos a entender el motivo de su equivocación.
Teniendo en cuenta estas conclusiones, como futura línea de trabajo se ha decidido implementar las siguientes funcionalidades en la aplicación IApp con el objetivo de fomentar que los alumnos estudien durante todo el cuatrimestre:
En forma adicional, se integrarán los nodos del nuevo Modelo Bayesiano Dinámico con el ‘Modelo Bayesiano para el Diagnóstico del Aprendizaje en Alumnos de Inteligencia Artificial’ ya disponible. Así se busca tener un único modelo que permita llevar a cabo futuros estudios sobre el alumnado.
US Department of Education (2000). “Learning without Limits - an Agenda for the Office of Postsecundary Education (OPE). Conclusion and Summary”. Disponible en <https://www2.ed.gov/offices/OPE/AgenProj/report/conclusion.html>.
Hernández Rojas, G. y Díaz Barriga, F. (2013). "Una mirada psicoeducativa al aprendizaje: qué sabemos y hacia dónde vamos" en Sinéctica (40): 1-19.
Delors, J. (2013). “Los cuatro pilares de la educación” en Galileo 23.
Jiménez-Vega, M. (s/a) “Lo que necesita un buen estudiante” ensayo de la Universidad Autónoma del Estado de Hidalgo. Disponible en <http://www.uaeh.edu.mx/scige/boletin/prepa4/n4/e13.html>.
Gaudin, S. (2016) “Google dives into the future with a focus on A.I.” en Computeworld. Disponible en <http://www.computerworld.com/article/3072673/artificial-intelligence/google-dives-into-the-future-with-a-focus-on-ai.html>.
UTN-FRBA (2008). “Programa de la Asignatura Inteligencia Artificial (Plan 2008)”. Disponible en <http://tinyurl.com/p6tks2j>.
Russell, S. J., Norvig, P., Davis, E., Russell, S. J. y Russell, S. J. (2010). Artificial Intelligence: a Modern Approach, (Vol. 2). Englewood Cliffs: Prentice Hall.
García-Martínez, R. y Britos, P. (2004). Ingeniería de Sistemas Expertos. Buenos Aires: Nueva Librería.
Deroche, A., Acosta, M., Vegega, C., Bernal Tomadoni, L., Straccia, L., Pytel, P. y Pollo-Cattaneo, Ma. F. (2015). “Diseño de Aplicación Móvil para Asignatura de grado en Ingeniería en Sistemas de Información” en Memorias de 3er Congreso Nacional de Ingeniería Informática y Sistemas de Información (CONAIISI 2015), Workshop de Educación en Ingeniería, Artículo: 44-527.
Pytel, P., Vegega, C., Deroche, A., Acosta, M. y Pollo-Cattaneo, M. F. (2015). “Modelo Bayesiano para el Diagnóstico del Aprendizaje en Alumnos de Inteligencia Artificial”, Workshop Tecnología Informática Aplicada en Educación (WTIAE 2015), Artículo 7428, Libro de Actas XXI Congreso Argentino de Ciencias de la Computación. Disponible en <http://sedici.unlp.edu.ar/handle/10915/50267>.
Özyurt, Ö. y Özyurt, H. (2015). “Learning style based individualized adaptive e-learning environments: Content analysis of the articles published from 2005 to 2014” en Computers in Human Behavior, 52: 349-358.
García Palacios, E. (2012). "Aprender a Aprender" en Eutopía, 6(18).
Deroche, A., Pytel, P. y Pollo-Cattaneo, F. (2013a). “Propuesta de mejora en asignatura de grado mediante Explotación de Información”, Proceedings VIII Congreso de Tecnología en Educación y Educación en Tecnología, Artículo ID 5492.
Deroche, A., Raus, N. A., Lujan, F. N., Vegega, C., Pytel, P. y Pollo-Cattaneo, M. F. (2013b). “Caso de Estudio de la aplicación de Procesos de Explotación de Información en Educación” en Memorias del 1er Congreso Nacional de Ingeniería Informática / Sistemas de Información (CoNaIISI 2013), ID 35-427-1-DR.
Deroche, A., Vegega, C., Pytel, P. y Pollo-Cattaneo, M. F. (2016). ”Implementación del Modelo Bayesiano Dinámico sobre el aprendizaje en alumnos de Inteligencia Artificial”, Grupo GEMIS, Reporte Técnico GEMIS-TD-2016-05-TR-2016-07. Disponible en <http://tinyurl.com/IAModBayesianoDinamico>.
Britos, P. y García-Martínez, R. (2009). “Propuesta de Procesos de Explotación de Información”, Proceedings XV Congreso Argentino de Ciencias de la Computación, Workshop de Base de Datos y Minería de Datos: 1041-1050.
Ghahramani, Z. (1998). “Learning dynamic Bayesian networks” en Adaptive processing of sequences and data structures. Springer Berlin Heidelberg, 168-197.
Barber, D. (2012). Bayesian Reasoning and Machine Learning. Cambridge: University Cambridge Press.
Itoh, H., Itoh, Y., Funahashi, K., Yamamoto, D., Saito, S., Matsuo, H. y Takumi, I. (2014). “Forecasting students' future academic records using Bayesian network” en Soft Computing and Intelligent Systems (SCIS), Joint 7th International Conference on and Advanced Intelligent Systems (ISIS), 15th International Symposium on, IEEE 458-462.
Millán, E., Jiménez, G., Belmonte, M. V. y Pérez-de-la-Cruz, J. L. (2015). “Learning Bayesian Networks for Student Modeling. In Artificial Intelligence in Education”, Springer International Publishing, 718-721.
López-Faican, L. G. y Chamba-Eras, L. A. (2015). “Redes bayesianas para predecir el estilo de aprendizaje de estudiantes en entornos virtuale” en AtoZ: novas práticas em informação e conhecimento 3(2), 107-115.
Murphy, K. P. (2002). “Dynamic bayesian networks” en Probabilistic Graphical Models, M. Jordan, 7.
García, P., Amandi, A., Schiaffino, S. y Campo, M. (2007). “Evaluating Bayesian networks’ precision for detecting students’ learning styles” en Computers & Education 49(3), 794-808.
BayesFusion, “BayesFusion - Home Page for users of GeNIe”, BayesFusion LLC, (2015). Disponible en <http://www.bayesfusion.com/>.
Zheng, F. y Webb, G. I. (2010). “Tree Augmented Naive Bayes” en Encyclopedia of Machine Learning, Springer US, 990-991.
La investigación presentada en este trabajo ha sido parcialmente financiada por el proyecto de investigación UTN UTI3799TC. También queremos agradecer a la Universidad Católica de Salta por tener en cuenta nuestro trabajo para participar de esta edición especial dedicada al CONAIISI 2016.