Nuovi ambienti domotici dotati di Intelligenza emotiva.

mohmi

Un nuovo sistema di interfaccia distribuito in grado di reagire in base alle emozioni e al comportamento della persona.

Silvia Ceccacci, Andrea Generosi, Laura Raffaeli, Lorena Rossi

Le emozioni umane giocano un ruolo importante nei processi decisionali in quanto possono influenzare fortemente l'attenzione della persona e incidere sulle scelte e sul comportamento. Influenzare le emozioni delle persone significa quindi influenzare le loro decisioni, le loro intenzioni e le azioni che le seguono. Le persone, più o meno consapevolmente, prendono costantemente delle decisioni (ad esempio, durante una festa possono decidere di rimanere in disparte invece di socializzare, o di assumere dell’alcool anche se sanno che poi devono guidare). Tuttavia, anche se la responsabilità della scelta ricade sul singolo individuo, è evidente come le caratteristiche dell'ambiente in cui le decisioni vengono prese, così come il tipo di informazione fornita, e il modo in cui viene resa disponibile, possono influenzare fortemente le scelte delle persone e spingere (nudge) il loro comportamento in particolari direzioni, e quindi la loro stessa percezione relativamente alla qualità della loro esperienza di interazione con l’ambiente stesso. Sviluppare ambienti dotati di intelligenza emotiva, rappresenta dunque il primo passo verso lo sviluppo di ambienti in grado di regolare e quindi influenzare le emozioni delle persone, così da massimizzare il loro comfort. 
Tuttavia, nonostante da diversi anni l'Affective Computing e l'analisi delle emozioni siano al centro dell'attenzione dei ricercatori nel campo della Human-Computer Interaction, lo sviluppo di applicazioni di sistemi di intelligenza ambientale (o Ambient Intelligence) capaci di reagire in modo efficace in base alle emozioni rappresenta ancora oggi una grande sfida. 

Per tale motivo uno degli obiettivi del progetto “MOHMI - smart multimedia MOnitoring systems for advanced HMI technologies in living environments”, è lo sviluppo di un sistema domotico, dotato di intelligenza emotiva, e in grado di adattare il suo funzionamento in base al contesto d’uso, così da massimizzare il comfort e il divertimento a bordo degli yacht.

L’architettura del sistema domotico dotato di intelligenza emotiva.
Figura 1. L’architettura del sistema domotico dotato di intelligenza emotiva.

 

Tale sistema è in grado di riconoscere l’identità dell’utente, il suo stato emotivo e l’attività da esso svolta a partire dall’analisi del suo comportamento all’interno dell’ambiente, grazie al un sistema di riconoscimento delle emozioni e di tracciamento e riconoscimento della postura del corpo, basato su algoritmi di computer vision e machine learning che sono stati sviluppati ad hoc, e di rilevare informazioni relative all’utente (emozioni e attività svolta) e alle condizioni dell’ambiente (illuminazione, temperatura), grazie ad una opportuna rete di telecamere e sensori. In base alle informazioni acquisite, il sistema è in grado di modificare le caratteristiche dell’ambiente stesso, al fine di implementare strategie di nudging, che mirano ad aumentare il benessere della persona e a migliorare la qualità dell’esperienza nell’interazione con l’ambiente stesso, mediante elicitazione di determinati stati emotivi.
Per nudge si intende qualsiasi aspetto dell'architettura della scelta che altera il comportamento delle persone in modo prevedibile senza però proibire alcuna opzione. In generale, i nudge funzionano perché le persone non sempre agiscono razionalmente. In particolare, la ricerca in psicologia ha dimostrato che a causa dei limiti cognitivi, le persone agiscono in modo razionalmente limitato, sotto l'influenza di euristiche e bias cognitivi.

Esempi di output forniti dai sistemi sviluppati per il riconoscimento del volto e delle emozioni (sulla sinistra) e di riconoscimento dell’attività svolta dall’utente (sulla destra)
Figura 2. Esempi di output forniti dai sistemi sviluppati per il riconoscimento del volto e delle emozioni (sulla sinistra) e di riconoscimento dell’attività svolta dall’utente (sulla destra)

 

Per rendere l’ambiente in grado di spingere le persone a prendere decisioni o attuare comportamenti che sono nel loro migliore interesse, è stato innanzi tutto necessario individuare un’opportuna architettura di scelta. Nel contesto yacht, quale cornice dell'architettura di scelta sono stati individuati elementi interni all’ambiente stesso, quali l’illuminazione, i sistemi di intrattenimento multimediale e la temperatura. Questi elementi interni comprendono componenti con cui le persone interagiscono direttamente manipolandoli o venendo influenzato da essi. Di conseguenza, considerando che le emozioni sono stati temporanee, l'architettura di scelta è stata progettata con la capacità di adattarsi a varie emozioni (quali gioia, tristezza, sorpresa, rabbia, paura).

Per determinare la strategia di nudging appropriata in base alle emozioni e al comportamento dell’utente rilevato e definire di conseguenza i vari scenari di adattamento, è stato adottato un nuovo approccio al Design Thinking, che sfrutta un metodo operativo basato sullo strumento di osservazione AEIOU.
L’attività di ideazione del sistema è quindi partita da una prima fase di osservazione, che ha permesso di raccogliere informazioni utili a fornire la migliore comprensione possibile degli utenti, dei loro bisogni e comportamenti, le questioni dietro lo sviluppo del sistema in esame, e le caratteristiche dei contesti/ambienti con cui gli utenti interagiranno. Tali informazioni sono state quindi sintetizzate ed esplicitate, mediante la definizione di:

- Personas. Sono stati individuati in particolare due profili di utente target: il Pater Familias, che viaggia principalmente con la sua famiglia e che desidera passare del tempo all’insegna del relax, e il Brillante, che ama impressionare ospiti e amici sfoggiando una zona giorno spettacolare dotata delle ultime tecnologie in termini di intrattenimento e comfort.
- Use Case Scenario. Lo studio si è concentrato su due ambienti principali: la cabina armatoriale e il salone principale. Per ogni ambiente sono state quindi individuate le principali attività volte al raggiungimento degli obiettivi specifici per ogni Persona.
- Strategie di nudging da adottare per supportare gli utenti nel raggiungimento dei loro obiettivi. Tali strategie sono state definite a partire dai risultati di ricerche di base volte ad indagare l’associazione tra le emozioni e i vari fattori ambientali (musica, colore e temperatura). Per migliorare la loro comprensione, e facilitare la loro implementazione e combinazione in idee di soluzione le strategie così individuate sono state rappresentate visivamente per mezzo di apposite Cards
- Oggetti, ovvero tecnologie e dispositivi (Superpowers) che, implementati nell’ambiente, possono essere utilizzati per supportare l'implementazione delle strategie di nudging considerate (e.g., sensori, attuatori, dispositivi domotici e di intrattenimento, sistemi di interfaccia).

Esempi di Cards
Figura 3. Esempi di Cards

 

Le idee progettuali sono state quindi definite attraverso un’attività di brainstorming, in cui designer sono incoraggiati a proporre nuove idee, mediante la definizione di storie, utilizzando lo strumento AEIOU, a partire dall’individuazione, per ogni Personas, delle associazioni tra: Attività (A), Emozioni manifestate nei vari ambienti (E), strategie di nudging (o cards) che devono essere adottate per regolare le emozioni mediante l’interazione (I) con l’ambiente, oggetti (O) che devono essere presenti nell’ambiente per abilitare le strategie di nudging, e altre persone (hUmans, U) che con la loro presenza possono influenzare l’interazione dell’utente con l’ambiente.

Esempi di rappresentazione mediante strumento AEIOU delle idee progettuali concepite durante il brainstorming.
Figura 4. Esempi di rappresentazione mediante strumento AEIOU delle idee progettuali concepite durante il brainstorming.

 

Al momento i ricercatori si stanno occupando dell’attività di concretizzazione e implementazione delle soluzioni finora ipotizzate. Ciò comporta la progettazione delle funzioni generali dell'interfaccia utente adattiva distribuita nell’ambiente, e la definizione delle regole di adattamento e la loro formalizzazione in un sistema di gestione dell'adattamento stesso. 
Ad oggi sono state definiti dei primi algoritmi decisionali che consentono al sistema di modulare il colore della luce e di proporre brani musicali, selezionati da una playlist in base alle emozioni manifestate dall’utente durante la visione di video. Tali algoritmi sono stati implementati in un primo prototipo di sistema, ed è stata avviata una prima attività di sperimentazione.
Tuttavia, per progettare un'interfaccia in grado di reagire agli stati psicologici umani e di interagire in base alle condizioni ambientali, è necessario definire dei modelli di interazione adeguati rispetto agli scenari individuati. Per definire un corretto modello di interazione, basato su regole inferenziali, è necessaria una grande quantità di informazioni riguardanti il profilo dell'utente, l'effettiva attività che deve essere supportata e l'ambiente in cui avviene l'interazione. Tuttavia, non c'è la possibilità di avere accesso diretto all'intero dominio della realtà, per cui il sistema da sviluppare deve agire all'interno di una gamma di dati incerti. Di conseguenza, per definire i modelli di interazione, i meccanismi di inferenza e valutazione devono essere appresi dai dati osservativi che devono essere acquisiti durante l'interazione utente-prodotto.
A tal fine, i ricercatori stanno sviluppando dei mockup ad alta fedeltà, utilizzando anche tecnologie di eXtented Reality, per consentire di testare le soluzioni finora ipotizzate a livello concettuale e per raccogliere informazioni sull'interazione con l'utente necessarie per perfezionare le regole di adattamento.