Sistema multimodal de reconocimiento de emociones empleando la interacción con el robot humanoide NAO.

Abstract

Esta investigación, describe el desarrollo de dos sistemas unimodales y un sistema bimodal para el reconocimiento de emociones bajo dos señales de entrada: imagen y voz. En la primera fase de esta investigación, se implementaron diversos modelos de Redes Neuronales Convolucionales (CNN, por sus siglas en inglés) con cada una de las señales de entrada, empleando bases de datos preexistentes en las fases de entrenamiento, validación y prueba con el fin de ajustar el modelo para mejorar su desempeño. En la segunda fase se ponderaron los resultados obtenidos previamente, obteniendo un sistema bimodal que contempla las dos señales de entrada. Para la última fase las CNN se vuelven a entrenar y a ajustar, en esta ocasión, con una base de datos propia obtenida a partir de la interacción con el robot humanoide NAO.