Agente Softbot para Pruebas Automáticas de GUI: Capa de Visión Computacional

Resumen

En el contexto de testing, si bien existen herramientas de testing automático para realizar pruebas, muchas de ellas dependen de interactuar con el componente a nivel lógico, realizan pruebas a un nivel elemental (probar componentes aislados), o interactúan a nivel de interfaz gráfica pero con técnicas desactualizadas a los últimos avances. La tesis doctoral de la cual este trabajo es parte apunta a construir un agente que sea independiente del proceso de desarrollo del sistema bajo prueba y pueda, por lo tanto, realizar el proceso de testing sin los sesgos que surgen de la autoría del código a probar, ni de la plataforma sobre la cual se ejecuta el programa. En este trabajo se desarrolla la capa de Visión Computacional que el agente utilizará para ver la interfaz gráfica del programa. Para ello, fue creado un dataset nuevo que contiene imágenes de múltiples plataformas y se entrenaron y compararon 13 versiones de modelos distintos de detección de objetos en la tarea de identificar componentes de interfaz gráfica, obteniéndose al final 325 modelos entrenados distintos. De los resultados obtenidos se destaca una correcta identificación de componentes gráficos clave en aplicaciones, y se detectaron también líneas de trabajo futuras, tanto para mejorar el dataset, como para entrenar mejores modelos, focalizando en aquellas variantes que obtuvieron mejor rendimiento.