Affective computing is an essential part of Human-Robot Interaction, where knowing the human’s emotional state is crucial to create an interactive and adaptive social robot. Previous work has mainly been focusing on using unimodal or multimodal sequential models for Affective State Recognition. However, few have included context-based information with their models to boost performance. In this paper, context-based features are tested on a multimodal Gated Recurrent Unit model with late fusion on game oriented data. It shows that using context-based features such as game state can significantly increase the performance of sequential multimodal models on game oriented data. ; Affektiv beräkning är en viktig del av interaktion mellan människa och robot, där kunskap om människans emotionella tillstånd är avgörande för att skapa en interaktiv och anpassningsbar social robot. Tidigare arbete har främst fokuserat på att använda unimodala eller multimodala sekventiella modeller för affektiv tillståndsigenkänning. Men få har inkluderat kontextbaserad information i sin inställning för att öka prestanda. I denna uppsats testas kontextbaserade funktioner på en multimodal s.k. Gated Recurrent Unit modell med sen fusion på spelorienterad data. Det visar att användning av kontextbaserade information som tillståndet i spelet kan avsevärt öka prestandan hos sekventiella multimodala modeller på spelorienterad data.


    Zugriff

    Download


    Exportieren, teilen und zitieren



    Titel :

    Context-based Multimodal Machine Learning on Game Oriented Data for Affective State Recognition ; Kontextbaserad multimodal maskininlärning på spelorienterad data för affektivt tillståndsigenkänning


    Beteiligte:

    Erscheinungsdatum :

    2021-01-01


    Medientyp :

    Hochschulschrift


    Format :

    Elektronische Ressource


    Sprache :

    Englisch



    Klassifikation :

    DDC:    004 / 629



    Terrain machine learning ; Maskininlärning i terräng

    Wiberg, Viktor | BASE | 2023

    Freier Zugriff

    MULTIMODAL MACHINE LEARNING FOR VEHICLE MANIPULATION

    EL KALIOUBY RANA / MAVADATI SEYEDMOHAMMAD / MISHRA TANIYA et al. | Europäisches Patentamt | 2020

    Freier Zugriff

    Hybrid Context-Aware Multimodal Routing

    Rodrigues, Diego O. / Fernandes, Joao T. / Curado, Marilia et al. | IEEE | 2018


    Multimodal Machine Learning for Pedestrian Detection

    Aledhari, Mohammed / Razzak, Rehma / Parizi, Reza M. et al. | IEEE | 2021