Il gruppo di ricerca della Microsoft ha elaborato un sistema software per PC, composto da più periferiche, che permette di eseguire affective analysis analizzando completamente l’utente che sta utilizzando la postazione: AffectAura. Questo sistema traccia lo stato d’animo nell’intero arco della giornata e le associa alle attività svolte sulla postazione di lavoro. Tali dati così raccolti ed organizzati cronologicamente vengono riproposti all’utente per organizzare la propria agenda di lavoro in modo efficiente, conoscendo in questo modo le attività più noiose e stressanti ed i giorni e le fasce orarie in cui è più energico e concentrato.

AffectAura

La postazione di lavoro progettata prevede un sensore multimodale per la registrazione continua di audio, video, dati fisiologici e di contesto, uno schema di classificazione per predire lo stato dell’utente e un’interfaccia utente che permette di interagire con tutti i dati.

Il sensore è composto dall’unione di più sensori quali: webcam, Microsoft Kinect, microfono, sensore EDA (per la misurazione della attività elettrodermica), GPS e informazioni derivanti dalle attività di un utente al PC. In tabella, a fine articolo, riportiamo  per ogni sensore quali caratteristiche sono state usate per la classificazione dello stato emotivo.

Sensore di AffectAura
Sensore di AffectAura

La classificazione avviene tramite l’uso di un semplice classificatore ai primi vicini o nearest-neighbor addestrato con la tecnica dell’autoapprendimento (machine learning). I risultati ottenuti dalla classificazione permettono di definire:

  • Valenza (valenza): lo stato d’animo dell’utente che può essere negativo, neutro, positivo.
  • Eccitazione (arousal): stabilisce se l’utente è calmo o agitato e può assumere i valori basso o alto.
  • Coinvolgimento (engagement): l’impegno dell’utente nell’eseguire l’attività svolta e può essere basso o alto.

Il sistema prevede continuamente valenza di un utente, l’eccitazione e coinvolgimento, e le correla con informazioni su eventi, comunicazioni e interazioni di dati e crea una cronologia di eventi associati a questi dati dell’utente. L’utente poi tramite interfaccia può scorrere ed interrogare questa cronologia per sfruttare questi dati per organizzare eventi futuri o per semplice consultazione.

Per dimostrare l’utilità di AffectAura, come sistema di riflessione, è stato testato da 6 utenti per un periodo di 240 ore di lavoro, 10 ore al giorno per 4 giorni a settimana, per un totale di 6 settimane.  5 utenti su 6 sono rimasti soddisfatti dell’esperienza ed hanno ritenuto AffectAura molto utile e disposti ad usarlo quotidianamente se diventasse un prodotto definitivo.

Chissà se un giorno nei futuri sistemi operativi targati Microsoft non sarà presente qualche app o widget che integri qualche funzionalità di AffectAura.

 

Sensore

 Stream Features Uso
Classificazione stato d’animo Definizione contesto

Webcam

 Caratteristiche AAM Intensità media del sorriso, attività media delle sopracciglia, attività media della bocca V X

Rotazione

 Beccheggio, imbardata e rollio della testa V

X
Spostamenti Spostamento lungo gli assi x, y, z

V

X

Microfono

 File audio WAV Lunghezza della conversazione, nessun cambio di stato nella conversazione, zero-crossing rate, energia normalizzata, indice del gradiente, kurtosis locale, baricentro spettrale V

X

Kinect

 Mappa di profondità Gradiente dell’inclinazione del corpo (da fronte a dietro) V X
Traccia dello scheletro Gradiente dell’inclinazione del corpo (da lato a lato) V

X

Sensore EDA

 EDA (Attività elettrodermica) Valori di statistica del segnale V X
Accelerometro su 3 assi Deviazione standard V

X
File Activity Istanze dei file Nessuna attività, attività unica. V

X

GPS

 Posizione GPS Latitudine e longitudine X

V
Calendario Eventi del calendario Eventi X

V

Riferimenti

Articolo: AffectAura: An Intelligent System for Emotional Memory di Daniel McDuff, Amy Karlson, Ashish Kapoor, Asta Roseway, and Mary Czerwinski, 2012