Simulare per RI_Connettere. VR per i disturbi dello spettro autistico

Full text

1860 doi.org/10.3280/oa-548.102
Abstract
I disturbi ASD sono sindromi neuro comportamentali complessi; viaggiare, stare in posti affollati,
fare una visita medica, approcciare un coetaneo, andare all’Università, sono solo alcuni esempi che
possono generare condizioni di ansia e che, spesso, dis_connettono il soggetto dalla vita reale. L’o-
biettivo della ricerca è quello di sperimentare l’utilizzo di tecnologie innovative per favorire gli scambi
relazionali e funzionali tra persone con autismo e persone neuro tipiche, per favorire l’autonomia
individuale delle persone con autismo, nella gestione del quotidiano e nella comunicazione sociale,
soprattutto nell’età evolutiva e adulta. Nell’ambito di un progetto di ricerca è in corso di sperimenta-
zione la realizzazione di un’app che sarà realizzata da un team multidisciplinare composto da esperti,
neuropsichiatri, psicologi clinici, informatici e architetti. L’app simula spazi e situazioni, ‘semplica’ la
visualizzazione degli ambienti e ‘personalizza’, con diversi livelli di complessità e interattività, adattan-
dosi ad utenti con differenti livelli di abilità intellettiva e linguistica. Nell’ambito delle nostre speciche
competenze sono oggetto di studio le diverse modalità di semplicazione dello spazio simulato e le
diverse modalità di interazione, dal semplice video (livello 0), alle panoramiche 360° (livelli 1 e 2), no
alla sperimentazione dell’utilizzo della VR e l’utilizzo di wearable technology.
Parole chiave
VR Virtual Reality, autismo, User Experience, immagini immersive, video modeling, wearable technology.
Simulare per RI_Connettere.
VR per i disturbi dello spettro autistico
Mara Capone
Emanuela Lanzara
42° Convegno Internazionale
dei Docenti delle Discipline della Rappresentazione
Congresso della Unione Italiana per il Disegno

1861
Introduzione
I disturbi ASD sono sindromi neuro comportamentali complessi, frequentemente associati
a comorbidità. Circa il 50% degli adulti con ASD sperimenta livelli di ansia che incidono
sulla vita di tutti i giorni. Recenti studi [Kristy 2018] sostengono l’importanza di individuare
supporti atti a favorire l’adattamento persona-ambiente nei soggetti con ASD. La VR è stata
utilizzata con successo per migliorare varie capacità [Maskey 2019], comprensione sociale
[Kandalaft et al. 2013], colloquio di lavoro [Smith et al. 2014] e può offrire un’alternativa
alle solite gerarchie di esposizione utilizzate nella CBT tradizionale. Dall’analisi dei risultati
emerge come gli out come di trattamento siano inuenzati dal livello di adattamento per-
sona-ambiente e che, considerando la variabilità delle manifestazioni, i supporti dovrebbero
essere personalizzati. Viaggiare, stare in posti affollati, fare una visita medica, approcciare un
coetaneo, andare all’università, sono solo alcuni esempi che possono generare condizioni di
ansia e costituire uno scoglio nella vita quotidiana di un ASD. I protocolli terapeutici applicati
alla popolazione generale sono talvolta inefcaci negli ASD, per la difcoltà ad immaginare
l’oggetto/situazione per poi passare gradualmente ad un’esposizione in vivo. Uno strumento
di VR\VM (Virtual Reality\Video Modeling) consente di lavorare sulla simulazione bypassando
tale difcoltà.
Sulla base degli studi scientici che dimostrano l’efcacia di strumenti terapeutici basati
sull’utilizzo della VR, il progetto propone un’app utilizzabile con mobile device per la gestio-
ne di una comorbidità ad alto impatto su skill di tipo sociale, comunicativo e di autonomia
basata sulla simulazione di scenari visualizzabili con diversi livelli di complessità (games\
astratta\reale) e interattività (video\panoramiche 360°\VR\avatar) per utenti con differenti
livelli di abilità intellettiva e linguistica. Le scene saranno individualizzate in base alle esigenze
di ciascun partecipante; uno psicoterapeuta a formazione cognitivo-comportamentale gui-
derà l’esposizione e applicherà tecniche di CBT per lavorare sul rilassamento, sul condizio-
namento e sul ricondizionamento allo stimolo avverso seguendo le linee guida nice.
Rispetto alle app attualmente esistenti, l’obiettivo della ricerca è quello di realizzare uno
strumento ‘adattabile’ alle variabili esigenze di adulti con ASD che affronta con particolare
attenzione le questioni dell’user experience e della personalizzazione.
L’app sarà il risultato di un lavoro interdisciplinare. Il team, composto da architetti esper ti
di modellazione e gestione di graca 3D, informatici esperti nel design di sistemi interattivi,
clinici esperti dello spettro autistico e una onlus che mette a disposizione una platea di
soggetti per la sperimentazione, comprende le competenze necessarie per denire uno
strumento in grado di simulare spazi e situazioni in risposta alle speciche esigenze percet-
tive di adulti con ASD.
Figg. 1, 2. Interfacce
semplicate per l’App
prototipo.
Obiettivi del progetto
L’app adattabile, personalizzabile, open source, user friendly destinata ad adulti con ASD, alle
famiglie e ai terapeuti per migliorare l’adattabilità persona-ambiente, ha come obiettivi:
- favorire l’autonomia personale e la comunicazione sociale, attraverso l’uso combinato di

1862
VR (Virtual Reality) e VM (Video Modeling), simulando spazi e situazioni per controllare l’e-
sposizione e la gerarchia di stimoli all’ansia in modo sicuro e misurato;
- raggiungere il maggior numero di utenti con uno strumento ‘adattabile’ alle esigenze di
adulti con ASD in funzione della personale abilità e sensibilità sensoriale (Training Emotions
in an Adaptable Reality System) e personalizzabile, consentendo la possibilità di passare da
un generico ambiente a quello specico dell’utente.
- condividere la sperimentazione sui 20 adulti coinvolti diffondendo l’app, attraverso network
esistenti, e promuovendo incontri reali e virtuali con gli stakeholder.
Tecnologie per RI_ Connettere
La realtà virtuale VR è considerata un emergente approccio terapeutico efcace in diverse
aree del campo sanitario. L’utilizzo della VR nel trattamento dell’ASD permette di lavorare in un
ambiente realistico che può essere adattato alle caratteristiche e capacità del soggetto.
Uno scenario virtuale può essere un ambiente che toglie la pressione dal vivere la realtà reale
(RR) che i soggetti con ASD tendono a riutare. L’obiettivo della simulazione è quello di ac-
quisire la consapevolezza spaziale per preparare il soggetto ad affrontare una situazione in un
dato spazio.
Per realizzare l’app saranno utilizzate le tecnologie più innovative per:
-costruire modelli 3D nalizzati a produrre immagini e video panoramici fruibili interattivamen-
te a 360° con mobile devices smartphone, tablet o visori VR;
- visualizzare gli ambienti con diversi livelli di complessità (games\astratta\reale) e interattività
(video\panoramiche 360°\VR\avatar) in funzione dei diversi livelli di funzionalità, minimo (video
non interattivi, visualizzazioni minimali, avatar) medio e massimo (visualizzazione 3D immersiva
con visore);
-sperimentare l’utilizzo di immagini 360° per accedere, tramite hotspot, ai video modeling che
simulano le azioni che possono aver luogo in un determinato spazio;
- utilizzare la fotomodellazione e le immagini a 360° realizzabili con apposite videocamere o
con smartphone per sostituire, nell’app, ai modelli generici i modelli reali: un bagno-il mio bagno,
una palestra-la mia palestra;
- pianicare le azioni della giornata.
Adattabilità, personalizzabilità sono le principali caratteristiche dell’app che rendono lo stru-
mento essibile, facilmente utilizzabile, gestibile direttamente dalle famiglie, con un minimo
training e supporto, che lo rendono replicabile in altre realtà riabilitative/educative/lavorative. Il
collegamento con banche dati per caricare VM, la possibilità di implementare gli scenari simulati
e personalizzare gli spazi rende l’app adattabile a seconda delle esigenze.
L’app prevede la possibilità di personalizzare gli ambienti vir tuali, utilizzando le immagini degli
ambienti reali degli utenti che il team di progetto provvederà a trattare e ad inserire.
3D PECS per la Comunicazione Aumentativa Alternativa (CAA)
Il livello di semplicazione della realtà è dettato dalle differenti esigenze degli utenti ASD in
relazione allo specico livello funzionale che li caratterizza. Nell’ambito degli studi scientici
dedicati allo sviluppo di sistemi alternativi di linguaggio, il PECS [1] (Picture Exchange Commu-
nication System - sistema di comunicazione mediante scambio per immagini) è una strategia
per la Comunicazione Aumentativa Alternativa (CAA) relativa alla gestione dei disturbi dello
Spettro Autistico. Il suo funzionamento è basato sulla differenziazione tra parlare e comunicare,
entrambe attività nalizzate a connettere un individuo con l’ambiente che lo circonda, ma con
una più ampia possibilità di scelta dello strumento comunicativo (alternativo alla parola) offerta
dalla seconda azione [Blondy et al. 1994].
In sintesi, le conoscenze e le tecniche sottese a tale strategia di comunicazione incrementano
ed agevolano le modalità di approccio di quegli utenti ASD con difcoltà ad usare i canali tra-
smissivi che potremmo denire più immediati, tra cui il linguaggio orale e scritto [Rivarola 2009].

1863
Infatti, tale strategia ‘alternativa’ viene denita ‘aumentativa’ in quanto non intende sostitu-
ire le naturali modalità comunicative ma è nalizzata ad incrementare le stesse mediante
differenti forme di comunicazione, tra cui, in particolare, quelle grache [2]. In qualità di
linguaggio simbolico, esso richiama strumenti e metodologie differenti di rappresentazione.
Nella pratica, la comunicazione tramite tale linguaggio prevede la preparazione di numerose
carte illustrate raccolte a creare un personale libretto di comunicazione portatile ed utiliz-
zabile in diversi contesti della vita reale domestica e sociale.
Fig. 3. Esempio di immagini
per la CAA di tipo “wid-
get”, ARASAAC e BLISS.
Le gure riportate sulle
tessere mostrano livelli di
semplicazione e codica-
zione della realtà differenti
[Perugini 2019]. I simboli
possono essere utilizzati
mediante dispositivi digitali
o cards stampate e raccol-
te in dei libretti.
Confermando lo stesso approccio esemplicativo della realtà, lo spazio digitale/virtuale con-
sente di aumentare la dimensione comunicativa di tale supporto o strumento caratterizzato
dal susseguirsi di simboli graci riportati su carta o su supporto digitale per tradurre attività
complesse attraverso un codice bidimensionale di segni con immagini, oggetti e contesti
tridimensionali navigabili.
Tale passaggio consente all’utente di immergersi in un ambiente interattivo e predittivo
delle attività da svolgere in un dato tempo futuro e in determinato ambiente, da solo o in
compagnia di altri partecipanti alle attività.
L’ambiente ideale capace di consentire il passaggio dal supporto bidimensionale allo spazio
tridimensionale proposto in questo contributo è un’applicazione fruibile attraverso diversi
tipi di dispositivi mobili (smartphone, tablet ecc.) ed implementabile con video e simulazioni
capaci di congurarsi come l’equivalente tridimensionale e dinamico di tali simboli bidimen-
sionali semplicati.
L’oggetto della semplicazione non è dunque la rappresentazione statica di un’azione ma
la modellazione di uno spazio che consenta di simulare tale azione all’interno di una realtà
percettiva alternativa più accessibile ad un utente con differenti capacità di interazione.
L’app è intesa, in questo senso, come una raccolta virtuale por tatile di tutorial utili ad affron-
tare le azioni quotidiane e ad interagire con gli ambienti nei quali esse si svolgono.
Afnché l’app svolga con successo la propria funzione è necessario disporre di diversi gradi
di complessità in base alle caratteristiche cognitive e comunicative dell’utente ASD: la po-
tenza di tali modelli tridimensionali esemplicativi della realtà risiede nel fornire all’utente
uno strumento la cui impostazione ed il cui funzionamento siano compatibili con le proprie
speciche possibilità o abilità.
Pertanto, così come il sistema CAA accoppia un’icona esplicativa per ogni attività quotidiana
prevista, allo stesso modo l’app accoppierà un icona/oggetto hotspot attivante differenti
gradi di semplicazione di uno spazio, un cambio ambiente o un video modeling di una data
attività da compiere.
Afnché il processo di semplicazione sia efcace è importante mantenere un buon equili-
brio tra completezza dell’informazione e grado di semplicazione.

1864
SketchUp: cartoon styles per lo sviluppo di un sistema PECS 3D
Per la realizzazione del’app prototipo, la modellazione degli ambienti che compongono
un’abitazione domestica o che rappresentano luoghi di ritrovo comuni (scuola, biblioteca,
palestra etc.) è stata realizzata con il software SketchUp.
In passato, importanti esperienze condotte sul campo [3] hanno dimostrato che per alcuni
utenti, in par ticolare quelli non verbali, SketchUp ha rappresentato un efcace mezzo di
comunicazione per la condivisione dei pensieri mediante immagini, raggiungendo impor tanti
obiettivi educativi e lavorativi.
La letteratura scientica (Wright et al. 2011) documenta esiti positivi circa l’utilizzo di que-
sta interfaccia CAD da par te di utenti ASD, tra cui esperienze di modellazione di oggetti
semplici bidimensionali (cerchi, quadrati), lo sviluppo di relazioni interpersonali più forti e
maggiore ducia grazie all’utilizzo di una piattaforma capace di mettere in luce abilità di
pazienti spesso assopite o latenti [4].
Pertanto, il progetto di comunicazione presentato in questo contributo sceglie SketchUp
per l’interfaccia e l’approccio intuitivo alla modellazione (ottimale per un eventuale uso
indipendente o per lo sviluppo di un progetto didattico che coinvolga soprattutto utenti ad
alto livello di funzionalità) ideale per gestire i livelli di semplicazione degli ambienti e delle
attività che caratterizzano la vita quotidiana di un utente generico.
Gli Stili di visualizzazione proposti dal software (Realistic, Shaded e Hidden Line) grazie
all’effetto car toon o sketch che li caratterizza, riprendono le modalità di gracizzazione e
consentono la gradualità di semplicazione riscontrabile confrontando le gure dei diver-
si sistemi utilizzati per le PECS cards che, in tal senso, vengono trasformate in oggetti ed
ambienti 3D mediante modalità di rappresentazione basate su un approccio scientico e
consolidato.
Fig. 4. Costruzione
delle immagini 360° dal
modello 3D per i diversi
livelli di semplicazione.

1865
Fig. 5. Cubic photo o
render di un ambiente
domestico. L’immagine ,
realizzata visualizzan-
do l’ambiente bagno
modellata in SketchUp
con lo stile di visualizza-
zione hidden line (b/n),
prevede l’inserimento
di oggetti scaricabili
dalla piattaforma 3D
WarehouseSketchUpda
evidenziare e specializza-
re con appositi hotspot
collegati ai video modeling
corrispondenti alle attività
direttamente relazionabili
all’utilizzo dell’oggetto.
Sistemi di rappresentazione predittiva: dai render/video sferici ai video modeling
Grazie all’implementazione di appositi plug-in veloci ed intuitivi (e.g. Tour Facil [5]) è pos-
sibile esportare, in maniera rapida ed intuitiva, render 360° degli ambienti modellati diret-
tamente in SketchUp utilizzando gli stili di visualizzazione predeniti elencati nel paragrafo
precedente.
Tale sistema non necessita dell’impostazione del sistema di riferimento prospettico (posi-
zione del punto di vista e profondità del campo visivo) necessaria per generare un render
sferico: è sufciente inquadrare una scena di partenza dell’ambiente che si vuole restituire
in modalità 360, utilizzare il plug-in e caricare su un’apposita piattaforma sei viste piane
dell’ambiente generate dalla proiezione dello stesso sulle sei facce di un cubo. Per generare
un’immagine cubica è necessario utilizzare sei immagini di formato quadrato aventi stesse
dimensioni, stesso nome ma sufsso diverso (e.g. prova camera.jpg-Front; prova camera.
jpg-Down etc.) per indicarne la reciproca posizione e denire in modo univoco la posizione
dell’immagine rispetto alle facce di un cubo (cube maps).
Le panoramiche diventano materiale utilizzabile per simulare con apposite app VR (open
source o disponibili in commercio) la percorribilità di un ambiente con livelli di semplica-
zione differenti.

1866
I render sferici o cubici potranno essere fruiti a monitor o con l’utilizzo di un visore in base
al livello di funzionalità dell’utente che utilizza l’app. Dopo avere stabilito l’ordine di succes-
sione degli ambienti in base alle attività pianicate per la giornata o all’effettiva percorribilità
dell’ambiente, è possibile attivare il cambio scena cliccando con il dito o puntando con il
visore su una serie di hotspots opportunamente posizionati all’interno delle viste naviga-
bili che aprono quindi le sferiche degli ambienti immediatamente successivi. Gli hotspot
consentono anche il passaggio da uno stile di visualizzazione all’altro variando il grado di
semplicazione dell’ambiente. La semplicità di modellazione, ma soprattutto la ricca libreria
di oggetti modellati disponibili in Sketchup3D Warehouse [6], consentono di caratterizzare
gli ambienti con oggetti semplicati che, collegati ad un hotspot posizionato su ciascuno di
essi, rappresentano dei bottoni sui quali cliccare per avviare i video modeling la cui azione
simulata è intuitivamente collegabile allo specico oggetto selezionato (e.g.: oggetto phon
hotspot - click = video modeling come asciugare i capelli).
Fig. 7. L’utente può
passare da una modalità
di visualizzazione all’altre
anche durante l’esplo-
razione con le diverse
modalità in funzione
del livello di interattività
utilizzato.
Fig. 6. Interfaccia dell’App
prototipo per la scelta
del livello di visualizzazio-
ne in funzione del livello
di funzionalità.

1867
I diversi livelli di interattività
I disturbi dello spettro autistico non si curano, durano per tutta la vita e sono difcilmente
catalogabili. In altri termini spesso non si riesce a stabilire una relazione diretta con il livello
e le manifestazioni e, quindi, con la capacità del soggetto ad interagire più o meno con le
tecnologie. Sono stati, quindi, individuati diversi livelli di interattività:
- livello 0: l’utente non è in grado di interagire, quindi assisterà ad un normale video oppor-
tunamente predisposto per simulare una data situazione in uno spazio ipotetico. Il video
potrà essere accompagnato o meno da un audio che potrà essere attivato e disattivato;
- livello 1: l’utente riesce ad interagire quindi potrà esplorare l’immagine panoramica sem-
plicemente ruotando il mobile device e attivando i contenuti (video modeling) connessi
all’immagine;
- livello 2: l’utente ha una maggiore capacità di interazione e quindi riesce ad esplorare la
panoramica 360° utilizzando il touch screen attivando in modo analogo i contenuti connessi
all’immagine;
- livello 3: l’utente non ha difcoltà ad indossare il visore, ad esplorare in modo immersi-
vo l’ambiente simulato all’interno del quale accede ai diversi contenuti. In questo caso si
prevede la possibilità di sperimentare anche l’utilizzo di video modeling utilizzando video
a 360°. Poiché l’utilizzo della wearable technology non è sempre possibile, perché in molti
casi la visione immersiva può creare problemi e quindi non può essere utilizzata, abbiamo
prestato particolare attenzione proprio sulla possibilità di consentire all’utente la possibilità
di scegliere il livello di interattività.
Fig. 8. Individuazione
dei diversi livelli di
interattività.
Fig. 9. Schema di
funzionamento
dell’App prototipo.

1868
Fig. 10. Livello di sem-
plicazione per video
modeling.
Conclusioni e futuri sviluppi
La ricerca in corso dimostra come gli ambiti di applicazione delle nostre ricerche possano
essere vari e possano arricchirsi dallo scambio e dalla contaminazione con altri settori di-
sciplinari.
Un’altra fondamentale azione congiunta è la ricerca di fonti di supporto alla ricerca pubblici
o privati, e lo studio di meccanismi che consentano l’autosostentamento del progetto, sono
oggetto di analisi e di studio soluzioni che prevedono un minimo contributo per il download
dell’app una volta concluso il periodo di sperimentazione. Tali fondi dovranno essere vinco-
lati alla manutenzione dell’app, ad eventuali aggiornamenti e allo sviluppo di una versione in
lingua inglese da diffondere tramite network. Inoltre, la possibilità di inserire nuovi situation
games, realizzati con la regia di esperti ASD, consentirà di implementare l’app rendendola
sempre più versatile.
Fig. 11. Livelli di interazio-
ne con i videomodeling
(video tradizionali \ 3D).

1869
Autori
Mara Capone, Università di Napoli Federico II, mara.capone@unina.it,
Emanuela Lanzara, Università di Napoli Federico II, emanuela.lanzara@unina.it
Per citare questo capitolo: Capone Mara, Lanzara Emanuela (2020). Simulare per RI_Connettere. VR per i disturbi dello spettro autistico/Simula-
tion for RE_Connecting. VR for autism spectrum disorder s.
In
Arena A., Arena M., Brandolino R.G., Colistra D., Ginex G., Mediati D., Nucifora S.,
Raffa P. (a cura di). Connettere. Un disegno per annodare e tessere. Atti del 42° Convegno Internazionale dei Docenti delle Discipline della Rappresen-
tazione/Connecting. Drawing for weaving relationships. Proceedings of the 42th International Conference of Representation Disciplines Teachers. Milano:
FrancoAngeli, pp. 1860-1879.
Copyright © 2020 by FrancoAngeli s.r.l. Milano, Italy Isbn 9788835104490
Riferimenti bibliograci
Anderson Kristy A., Sosnowy Collette, Kuo Alice A., Shattuck, Paul T. (2018). Transition of Individuals with Autism to Adulthood:
A Review of Qualitative Studies. In Pediatrics. April 2018, 141 (Supplement 4).
Bondy Andy, Frost Lori (1994). The Picture Exchange Communication System. In Focus on Autism and Other Developmental
Disabilities. 9(3), pp. 1-19.
Kandalaft Michelle R. et al. (2013). Virtual Reality Social Cognition Training for Young Adults with High-Functioning Autism. In
J Autism Dev Disord. 2013 Jan; 43(1): 34–44.
Maskey Jean M. et alii (2019). A Randomised Controlled Feasibility Trial of Immersive Vir tual Reality Treatment with Cognitive
Behaviour Therapy for Specic Phobias in Young People with Autism Spectrum Disorder. In J Autism Dev Disord. 2019 May,
49(5), pp. 1912-1927.
Perugini Federico (2019). Esempi di utilizzo della Comunicazione Aumentativa e Alternativa. Cooperativa sociale progetto crescita
onlus: <https://www.progettocrescita.it/cose-la-comunicazione-aumentativa-e-alternativa/>.
Rivarola Aurelia (2009). Comunicazione Aumentativa e Alternativa. Milano: Centro Benedetta D’Intino Onlus.
Smith Matthew J. et al. (2014). Vir tual reality job inter view training in adults with autism spectrum disorder. In J Autism Dev
Disord. 2014 Oct; 44(10): 2450-63.
Wright Cheryl et alii (2011). SketchUp: A Technology Tool to Facilitate Intergenerational Family Relationships for Children
with Autism Spectrum Disorders (ASD). In Family & Consumer Science. Special Issue: Inuence of Technology on Individuals and
Families. Vol. 40. Issue 2, pp. 135-149.
Note
[1] Gli ideatori del sistema PECS sono Lori A. Frost e Andrew S. Bondy. Il PECS è stato sviluppato nel 1994, all’interno del
Delaware Autistic Program, il programma di scuole pubbliche per soggetti autistici più ampio degli Stati Uniti.
[2] Fonte: Wikipedia.
[3] Grazie all’aiuto dell’Autism Society of Boulder County (ASBC) SketchUp ha lanciato Project Spectrum e Progetto iSTAR,
attività il cui scopo è connettere le comunità e gli individui coinvolti nella gestione dei disturbi dell’autismo con SketchUp.
[4] Vedi: <https://blog.sketchup.com/article/strengths-autism-shine-3d>.
[5] Vedi: <https://www.archdaily.com.br/br/920420/plugin-gratuito-permite-exportar-imagens-em-360-degrees-do-sketchup-
para-plataforma-de-realidade-virtual>.
[6] Vedi: <https://3dwarehouse.sketchup.com/>.
[7] Vedi: <https://3dwarehouse.sketchup.com/>.

1870 doi.org/10.3280/oa-548.102
Abstract
ASD disorders are complex neurobehavioral syndromes: traveling, crowded places, medical exa-
mination, approaching a peer, going to university, are just some examples that can generate anxiety
conditions by disconnecting an individual from real life.
The main goal of this research activity is to experiment innovative technologies to encourage re-
lational and functional exchanges between autistic and neurotypical people and to improve their
individual autonomy to manage daily life and social communication especially during developmental
and adulthood age.
This activity is experimenting an app created by a multidisciplinary team made up of exper ts: neu-
ropsychiatrists, clinical psychologists, computer scientists and architects.
This experimental app simulates spaces and situations, simplies the visualization of environments,
and customizes them through different levels of complexity and interactivity to facilitate users with
different levels of intellectual and linguistic ability.
Different ways of simplifying simulated space, communication and interaction directly involve specic
skills of scientic-disciplinary sector of representation about creation of simple video (level 0), 360°
panoramas (levels 1 and 2), VR experimentations and wearable technology.
Keywords
VR Vir tual Reality, autism, user experience, immersive images, video modelling, wearable technology.
Simulation for Re_Connecting.
VR for Autism Spectrum Disorders
Mara Capone
Emanuela Lanzara
42th International Conference
of Representation Disciplines Teachers
Congress of Unione Italiana per il Disegno

1871
Introduction
ASD disorders are complex neurobehavioural syndromes, frequently associated with co-
morbidities. About 50% of ASD adults experience everyday anxiety levels. Recent stu-
dies [Kristy 2018] support the importance to favour person-ambient adaptation in ASD
subjects. VRE has been successfully used to improve various skills [Maskey 2019], social
understanding [Kandalaft et al. 2013], job inter view [Smith et al. 2014] etc. It may offer
an alternative to the traditional CBT exposure hierarchies. Analysis and results show and
highlight how treatment outcomes are inuenced by the level of person-environment
adaptation. According to manifestations variability the supports should be personalized.
Traveling, staying in crowded places, making a medical examination, approaching a peer,
going to university, are just some examples that can generate anxiety conditions and con-
stitute a stumbling block in the daily life of an ASD.
Sometimes the therapeutic protocols applied to the general population are ineffective in
ASD due to difculties in imagining the object/situation to gradually move to living them.
A VR \ VM tool allows to work on simulation bypassing this difculty.
According to scientic studies about efcacy of VR therapeutic tools, this project propo-
ses an app for mobile devices to manage a high impact comorbidity on social, communi-
cative and autonomous skills based on the simulation of scenarios that can be displayed
with different levels of complexity (games\abstract\real) and interactivity (video\360° pa-
noramas\VR\avatar) for users with different levels of intellectual and linguistic ability.
The scenes will be created according to the needs of each participant; a cognitive-beha-
vioural psychotherapist will guide users and apply CBT techniques to work on relaxation,
conditioning and reconditioning to the adverse stimulus following NICE guidelines.
Unlike existing apps, the research goal is to create an adaptable tool to variable needs of
ASD adults through user experience and personalization.
This app will be the result of interdisciplinary work. A team of architects - 3D modeling
and graphics experts, IT experts in interactive systems design, clinical experts in the auti-
sm spectrum and a non-prot organization to involve the participation of ASD subjects
guarantees the necessary skills to dene a performing tool to support specic perceptual
needs of adults ASD simulating spaces and situations.
Figs.1, 2. Simplied
interfaces for prototype
App.
Main project goals
This adaptable, customizable, open source, user friendly app for ASD adults, families and
therapists aimed at improving the person-environment adaptability, proposes the fol-
lowing goals:

1872
- promoting personal autonomy and social communication through the combination of
VR (Virtual Reality) and VM (Video Modeling) by simulating spaces and situations to con-
trol exposure and anxiety stimuli in a safe and measured way;
- reach the largest number of users with an adaptable tool to suppor ts ASD adults’s ne-
eds according to their personal skills and sensitivity (Training Emotions in an Adaptable
Reality System);
- reach a customizable tool to allow the possibility to switch from a generic environment
to the specic one of the users;
- share the experimentation on 20 ASD adults involved by spreading the app in existing
networks and promoting real and virtual meetings with stakeholders.
Technologies to RE_ Connect
Virtual reality is considered an emerging effective therapeutic approach in different areas
of the healthcare sector. The use of VR in ASD treatment allows to work in realistic adap-
table environments according to the characteristics and capabilities of the subject.
A virtual scenario can be an environment to eliminate the pressure of real reality (RR)
that ASD subjects reject. A predictive simulation is aimed at acquiring spatial awareness
to prepare the subject for a specic situation in a given space.
To create the app, the most innovative technologies will be used to:
- build 3D models aimed at producing 360° interactive panoramic images and videos
usable with mobile devices, smartphones, tablets or VR viewers;
- visualize different levels of environmental complexity (games\abstract\real) and inte-
ractivity (video\360° panoramas\VR\avatar) according to different levels of functionality:
minimum (video not-interactive, minimal visualizations, avatar); medium and maximum
(immersive 3D visualization);
- experiment 360° images to access VMs through hotspots to simulate specic actions in
given times and environments;
- use photo-modeling and 360° images created with special cameras or smartphones and
software/app to replace generic models with real models in the app: the bathroom-my
bathroom, the gym-my gym, etc.
- planning daily indoor and outdoor actions.
Adaptability, customizability are the main features of the app that make this tool exible,
easy, directly managed by families with minimal training and support. These qualities make
it replicable in other rehabilitative/educational/working situations.
Connection with databases to load VMs and the possibility to implement simulated scena-
rios and to customize spaces makes this app adaptable according to ASD needs.
The app allows you to customize virtual environments using images of users’ real environ-
ments insert by project team.
3D PECS for Alternative Augmentative Communication (AAC)
Simplication level of reality depends by different user needs in relation to his specic
functional level.
In scientic eld about alternative language systems, PECS (Picture Exchange Commu-
nication System) is a strategy for the Augmentative Alternative Communication (AAC)
to manage of Autism Spectrum disorders [1]. Its functioning is based on the difference
between ‘speaking’ and ‘communicating’, both activities aimed at connecting an individual
with surrounding environment and people.
Communication in general allows a wide choice of alternative tools to create connections
[Blondy et al. 1994].
In summary, knowledge and techniques about this communication strategy increase com-
munication skills and facilitate the approach of users with difculties in using transmission

1873
channels that we could dene as more immediate, such as oral and written language
[Rivarola 2009].
This alternative strategy is called augmentative because it does not replace natural com-
munication methods but it is aimed at increasing them with different forms of communi-
cation, including graphics [2].
As a symbolic language, it recalls different tools and methodologies of representation.
Fig. 3. Example of CAA
“widget”, ARASAAC and
BLISS images.The cards
show different levels of
simplication and codi-
cation of reality (Perugini
2019). The symbols can
be used by digital devices
or printed cards and
collected in booklets.
This communication system provides numerous illustrated cards collected in a personal
portable booklet useful to approach different contexts of real domestic and social life.
According to the same approach, virtual space allows to increase the communicative
dimension of this tool composed of graphic symbols on paper or on digital supports by
transform a two-dimensional code into navigable three-dimensional images, objects and
contexts. Three-dimensionality allows the user to immerse himself in an interactive and
predictive activities and places, alone or with other participants.
The ideal three-dimensional environment proposed in this contribution is an implemen-
table VR application designed for mobile devices (smartphones, tablets etc.). It collects
videos and simulations equivalent to simplied two-dimensional symbols. The object is
not a static representation of an action but a model of a dynamic virtual space that allows
you to simulate actions within an alternative perceptive reality more accessible to a user
with different interaction skills. This app is a portable collection of tutorials to deal daily
actions and environments.
The cognitive and communicative characteristics of the user require different degrees of
complexity: the power of these three-dimensional exemplary models lies in providing the
user with a compatible tool whose setting and operation correspond to their specic
possibilities or abilities.
Therefore, just as the CAA system provides an explanatory icon for each planned activity
[3], in the same way the app will provide a hotspot icon to activate different simplication
styles of a space, environment switch or video modeling of a given activity. A good balance
between completeness of information and degree of simplication is important in the
simplication process.

1874
SketchUp: cartoon styles to develop a 3D PECS system
To model environments of a domestic home or common meeting places (school, library,
gym, etc.) we chose SketchUp as modeling tool. Impor tant experiences in this eld [4]
show that for some users, especially non-verbal users, SketchUp is an effective commu-
nication tool to share thoughts through images and reaching important educational and
working activities and goals.
Scientic literature [Wright et al. 2011] documents positive results about the use of this
CAD interface by autistic users, including experiences in modeling simple two-dimen-
sional objects (circles, squares), development of stronger interpersonal relationships and
greater condence allowed by the use of a platform suitable to support patients’ latent
abilities [5].
Therefore, this communication project chooses SketchUp’s interface and intuitive appro-
ach as optimal tool for a possible independent use or to develop an educational project
that mainly involves users with a high level of functionality.
The cartoon or sketch effects of its visualization styles (Realistic, Shaded and Hidden Line)
resume graphicalization and gradual simplication of the different systems used for PECS
cards. The goal of the app is to transform these 2D actions into 3D objects and environ-
ments through representation methods based on a scientic and consolidated approach.
Fig. 4. 360 ° images
construction from 3D
model, usable for different
simplication levels.

1875
Fig. 5. Cubic photo
or render of a home
environment. The ba-
throom was modeled in
SketchUp and displayed
in the Hidden line (b / n)
style. The gure shows
the presence of objects
downloadable from 3D
Warehouse SketchUp
transformed into hot-
spots connected to video
modeling corresponding
to activities related to the
use of the object.
Predictive representation systems: from 360 ° render to video modeling
Special fast and intuitive plug-ins (e.g. Tour Facil [6]) allow to quickly export 360 ° rende-
rings – cubic render of environments modeled in SketchUp using predened visual styles
listed in the previous paragraph.
These tools do not need to set a perspective reference system (position of the point
of view and visual eld) to generate 360° rendering. The process starts framing an initial
scene: a special plug-in allows to extract six photos generated by the projection of the
environment on the six faces of a cube. Finally, it is necessary to upload these images on
a special platform to automatically generates a cubic photo or render.
To generate a cubic photo it is necessar y to combine a series of six square images with
same size, same name but different sufx (e.g. test camera.jpg-Front; test camera.jpg-
Down, etc.) to indicate their mutual cubic position (cube maps).
Appropriate VR apps (open source or commercially available) use panoramas or cubic
photos to simulate walking in consecutive environments with different levels of simpli-
cation.
Cubic renders can be navigate on a display or using a viewer or virtual glasses: the choice
of device depends on the level of functionality of the ASD user.

1876
The environments sequence can be linked to specic planned daily activities (indoor and
outdoor, during daytime, afternoon or evening). By clicking on a series of hotspots suitably
positioned in 360° views it is possible to activate the scene change. In addition, hotspots
also allow you to switch from one visual style to another.
A rich and implementable library of 3D objects available in Sketchup 3D Warehouse
platform [7] allow to characterize environments and can be connected to hotspots be-
coming real buttons to start video modeling about action intuitively connectable to the
selected object (eg: phon object clickhotspot = video modeling how to dry your hair).
Fig. 7. The user can switch
from one display mode
to another even during
exploration with different
modes according to
interactivity level used.
Fig. 6. Prototype App
interface: choosing
display level according to
functionality level.

1877
Different levels of interactivity
Autism spectrum disorders are not curable, they are lifelong and difcult to catalog.
Very often it is not possible to establish a direct relationship between levels of functiona-
lity, manifestations, and interactive abilities of ASD subject regarding use of technologies.
Therefore, it is possible to identify different levels of interactivity:
- level 0: the user cannot interact and will attend a normal video suitably prepared to
simulate a given situation in a hypothetical space. The video may be accompanied by an
audio that can be activated if useful;
- level 1: the user can interact and explore the panoramic image by rotating the mobile
device and activating the contents (video modeling) connected to the image;
- level 2: the user has greater interaction and can explore a 360 ° panorama using the
touch screen and activating the contents connected to the image;
- level 3: the user can wear virtual glasses to immersively explore simulated environment
and he accesses various contents. In this case he can also experiment video modeling and
360° video.
The use of wearable technology is not always possible: in many cases immersive vision
can create problems and cannot be used. This project pays par ticular attention to the
possibility of choosing a specic level of interactivity.
Fig. 8. Different levels of
interactivity.
Fig. 9. Functional diagram
of the Prototype App.

1878
Fig. 10. Simplication level
for video modeling.
Fig. 11. Different inte-
raction levels with video
modeling (traditional \
3D videos).
Conclusions and future developments
This research work in progress demonstrates how applications of representation discipli-
nes can be various and they can be enriched by exchange and contamination with other
disciplinary sectors.
Particular attention may be paid to the design or use of interfaces that facilitate ASD
users in independent modeling activity and to the development of educational programs.
Another goal is to research public or private sources to support this research project and
to allow for self-support of the project: solutions for a minimal contribution to download
the app once the trial period is over are subject to analysis and study.
These funds must be tied to the maintenance of the app, its updates and to develop an
English version.
In addition, the possibility of inserting new situation games designed with ASD experts
will allow to implement the app making it a growing and versatile tool.

1879
Notes
[1] Lori A. Frost and Andrew S. Bondy are the creators of PECS. This system was developed in 1994 within the Delaware
Autistic Program, the largest public-school program for autistic subjects in the United States.
[2] Source: Wikipedia.
[3] See: <https://www.progettocrescita.it/cose-la-comunicazione-aumentativa-e-alternativa/>.
[4] Autism Society of Boulder County (ASBC) and SketchUp have launched Project Spectrum and iSTAR Project, activities to
connect communities and individuals involved in the management of autism disorders using SketchUp.
[5] See: <https://blog.sketchup.com/article/strengths-autism-shine-3d>.
[6] See: <https://www.archdaily.com.br/br/920420/plugin-gratuito-permite-expor tar-imagens-em-360-degrees-do-sketchup-
para-plataforma-de-realidade-virtual>.
[7] See: <https://3dwarehouse.sketchup.com/>.
Authors
Mara Capone, Università di Napoli “Federico II”, mara.capone@unina.it,
Emanuela Lanzara, Università di Napoli “Federico II”, emanuela.lanzara@unina.it
Copyright © 2020 by FrancoAngeli s.r.l. Milano, Italy Isbn 9788835104490
References
Anderson Kristy A., Sosnowy Collette, Kuo Alice A., Shattuck, Paul T. (2018). Transition of Individuals with Autism to Adulthood:
A Review of Qualitative Studies. In Pediatrics. April 2018, 141 (Supplement 4).
Bondy Andy, Frost Lori (1994). The Picture Exchange Communication System. In Focus on Autism and Other Developmental
Disabilities. 9(3), pp. 1-19.
Kandalaft Michelle R. et al. (2013). Virtual Reality Social Cognition Training for Young Adults with High-Functioning Autism. In
J Autism Dev Disord. 2013 Jan; 43(1): 34–44.
Maskey Jean M. et alii (2019). A Randomised Controlled Feasibility Trial of Immersive Vir tual Reality Treatment with Cognitive
Behaviour Therapy for Specic Phobias in Young People with Autism Spectrum Disorder. In J Autism Dev Disord. 2019 May,
49(5), pp. 1912-1927.
Perugini Federico (2019). Esempi di utilizzo della Comunicazione Aumentativa e Alternativa. Cooperativa sociale progetto crescita
onlus: <https://www.progettocrescita.it/cose-la-comunicazione-aumentativa-e-alternativa/>.
Rivarola Aurelia (2009). Comunicazione Aumentativa e Alternativa. Milano: Centro Benedetta D’Intino Onlus.
Smith Matthew J. et al. (2014). Vir tual reality job inter view training in adults with autism spectrum disorder. In J Autism Dev
Disord. 2014 Oct; 44(10): 2450-63.
Wright Cheryl et alii (2011). SketchUp: A Technology Tool to Facilitate Intergenerational Family Relationships for Children
with Autism Spectrum Disorders (ASD). In Family & Consumer Science. Special Issue: Inuence of Technology on Individuals and
Families. Vol. 40. Issue 2, pp. 135-149.
To cite this chapter: Capone Mar a, Lanzara Emanuela (2020). Simulare per RI_Connettere. VR per i disturbi dello spettro autistico/Simulation
for RE_Connecting. VR for autism spectrum disorder s.
In
Arena A., Arena M., Brandolino R.G., Colistra D., Ginex G., Mediati D., Nucifora S.,
Raffa P. (a cura di). Connettere. Un disegno per annodare e tessere. Atti del 42° Convegno Internazionale dei Docenti delle Discipline della Rappre-
sentazione/Connecting. Drawing for weaving relationships. Proceedings of the 42th International Conference of Representation Disciplines Teachers.
Milano: FrancoAngeli, pp. 1860-1879.