Un Framework Basado en DEVS para la Integración de Agentes de Aprendizaje por Refuerzo en Entornos de Simulación de Eventos Discretos

Resumen

La simulación de eventos discretos requiere cada vez más agentes inteligentes de toma de decisiones, pero no existe un enfoque formal estandarizado dentro del formalismo de Especificación de Sistemas de Eventos Discretos (DEVS) para incorporarlos. Se propone un framework que provee building blocks DEVS reutilizables y formalmente especificados para construir entornos de simulación —modelados formalmente como Procesos de Decisión Semi-Markovianos Generalizados (GSMDP)— que exponen interfaces estandarizadas para agentes de Aprendizaje por Refuerzo (RL). Se definen tres modelos componibles (StateObserver, EventGenerator y Agent) que encapsulan el protocolo de interacción con el agente de RL, permitiendo que el modelado específico del dominio siga siendo el foco central. La propuesta se valida en un caso real de replanificación ferroviaria, donde tres algoritmos de RL fundamentalmente distintos se evalúan sobre el mismo entorno DEVS sin modificarlo.