Content uploaded by Eurídice Cabañes
Author content
All content in this area was uploaded by Eurídice Cabañes on Jan 14, 2020
Content may be subject to copyright.
IV International Conference Synesthesia: Science and Art, Almeria, February 2012
AUDIOGAMES1: APLICACIONES TECNOLÓGICAS DE UN MODELO COGNITIVO BASADO
EN SINESTESIA
Eurídice Cabañes Martínez
ARSGAMES, euridice.cabanes@arsgames.net
Resumen: Actualmente podemos encontrar algunos audiogames orientados a usuarios
ciegos, así como algunos videojuegos en los que se utiliza la sinestesia, seguimos esta
línea llevando a cabo una mezcla entre ambos tipos de juegos, pero yendo un paso más
allá.
Siguiendo los estudios cognitivos disponibles en el ámbito de la sinestesia, creamos, en
el PlayLab2 el primer prototipo de una instalación interactiva que, a modo de juego,
permite a los usuarios experimentar y tratar de desenvolverse en un entorno
exclusivamente a través del sentido del oido. La principal idea de esta istalación es ir
más allá del omnipresente marco de trabajo orientado principalmente a la visión de
nuestra cultura, lo que nos permite experimentar con una interfaz intangible e invisible
en un entorno muy diferente al que estamos acostumbrados.
Consideramos muy importante experimentar con interfaces tecnológicas que van más
allá de las clásicas -orientadas a la visión- no sólo para incluir invidentes entre los
usuarios, sino también para permitir a otros usuarios vivir una nueva experiencia y
desarrollar su percepción a través del sonido, así como su sinestesia visión-sonido.
Encontramos aquí un interesante campo de experimentación que puede llevarnos a una
nueva relación con el espacio y la tecnología.
Palabras clave: AudioGames, sinestesia, tecnología, interfaz, sonido.
1. INTRODUCCIÓN
El campo de studio sobre la sinestesia, es relativamente
reciente, por lo que aun no existe un consenso unánime
a cerca de cómo se prouce la sinestesia, pero si parece
existir dicho consenso a la hora de evaluar sus
resultados. Es decir, si bien hay dos teorías principales a
cerca de cómo se produce la sinestesia:
−Una afirma que es producto de una activación
cruzada, debido a que no se ha completado el
proceso de poda entre áreas contiguas del
cerebro. (como por ejemplo, MAURER &
MAURER, 1988; RAMACHANDRAN &
HUBBARD, 2001a).
−La otra es la teoría de la retroalimentación
deshinibida, que afirma que la sinestesia se
presenta cuando la retroalimentación que
se desarrolla después del nacimiento de
áreas corticales superiores, en áreas
corticales sensoriales inferiores no es lo
suficientemente fuerte como para inihibir
los efectos de las conexiones entre las
áreas corticales sensoriales primarias
(GROSSENBACHER & LOVELACE, 2001).
Ambas explicaciones implican que la sinestasia es
un exageración o aumento de los procesos
comunes a todos los humanos (MARKS, 1975,
1982; MULVENNA & WALSH, 2006;
RAMACHANDRAN & HUBBARD, 2001B; SAGIV &
WARD, 2006; WARD ET AL., 2006), una
exageración que hace patente la presencia de estas
conexiones en el cerebro humanos. La existencia
de estas conexiones, al no ser causada por el
1 Un proyecto de ARSGAMES.
2 Playlab es un proyecto desarrollado en Madrid por MediaLab-Prado y Arsgames, con el patrocinio de PlayStation, definido
como un espacio para la experimentación, creación, aprendizaje y difusión de videojuegos, en el que un grupo de trabajo explora
-de un modo colectivo, interdisciplinar y colaborativo- la utilización de herramientas de software y hardware, así como
metodologías de creación relacionadas con los videojuegos y sus aplicaciones en diferentes contextos (cultura, música, arte,
educación, etc.).
Eurídice Cabañes Martínez
1
IV International Conference Synesthesia: Science and Art, Almeria, February 2012
aprendizaje, supone que, o bien es innata, o caso
producto del desarrollo temprano y en cualquiera de los
casos se confirmaría que es común a todos los
humanos. (SPECTOR, F. & MAURER, D
, 2009), es decir, los humanos habrían nacido equipados
con las conexiones corticales necesarias para
comprender las correspondencias que podrían esperar
encontrar en el mundo. (SPECTOR, F. & MAURER, D
, 2009)
Esto se ve confirmado por la presencia de patrones de
asociación sinestésica, y justificaría el hecho de que
pese a que las percepciones sinestésicas pueden variar
de uno a otro indivíduo, existe una consistencia a través
de todos los individuos.
De este modo podemos hallar patrones de asociación
sinestésica comunes y compartidos por gran parte de la
población, como la unión de emociones y sonidos
(todos sabemos identificar cuando una canción es triste
o alegre) o la unión de vista y oído que se da en el
lenguaje: por ejemplo, en la sinestesia grafema-color la
letra “A” suele ser roja o de un color cercano en la
escala cromática, lo más importante de estas
asociaciones es que se dan de un modo
independientemente al lenguaje de la persona que
realiza la asociación (SIMNER ET AL., 2005).
También hay trabajos que hablan de un patrón de
asociación de formas específicas con sonidos concretos
como Taketé y maluma (LINDAUER, 1990) o buba y kiki
(RAMACHANDRAN & HUBBARD, 2001A), patrones de
asociación que también son independientes del lenguaje
ya que ha sido constatada, por ejemplo, en hablantes
Swahili y Bantu que no tenían conocimientos de inglés
(HOLLAND & WERTHEIMER, 1964; RAMACHANDRAN &
HUBBARD, 2001A).
Pero los patrones de asociación que más nos interesan
en el desarrollo de AudioGames son los patrones de
asociación de la sinestesia sonido-visión, tanto en los
casos deasociación de sonido-color, como los de
sonido-dimensiones, sin olvidar el patrón de asociación
más importante para nuestro proyecto, el de sonido-
emociones.
Por ejemplo, en sinestesia sonido-color, tanto en
personas sinestésicas como no sinestésicas (MARKS,
1974; WARD ET AL., 2006) e incluso en niños de corta
edad: 2 y 3 años (MONDLOCH & MAURER, 2004) los
colores más brillantes son asociados a sonidos de tono
más alto y colores más oscuros en respuesta a sonidos
de tono bajo. Igualmente, tato en sinestésicos como no
sinestésicos y niños se establece el patrón de asociar
objetos de dimensiones menores a los tonos más altos, y
más grandes para los tonos más bajos (SMITH & SERA,
1992; MONDLOCH & MAURER, 2004; MARKS, 1974) y
sonidos más altos con una mayor luminosidad (MARKS,
1987). También se ha demostrado una conexión entre el
timbre y la saturación de color, de modo que en
sinestésicos el timbre de un tono afecta la
saturación del color inducido (WARD ET AL.,
2006).
Estos patrones de asociación son fácilmente
reproducibles tecnológicamente.
Los estudios sobre la sinestesia han tenido desde
sus orígenes un carácter interdisciplinar que
integraba desde neurólogos o psicólogos hasta
musicólogos o filósofos, pero actualmente se han
convertido también en el foco de atención de
disciplinas tecnológicas de modo que se están
generando una suerte de aplicaciones tecnológicas
basadas en principios sinestésicos que van desde la
sonificación hasta los videojuegos.
Si además tenemos en cuenta que son compartidos
por todos los humanos, esto implica que pueden
construirse, mediante la tecnología, métodos de
tarducción de sentidos como veremos en el caso de
la sonificación, que pueden suponer incluso una
herramienta que permita la visión a personas
invidentes, como veremos en el caso de the vOICe,
pero pueden constituir también una herramienta
para la generación de universos virtuales que nos
ayuden a desarrollar las percepciones sinestésicas,
lo que supone un interesante campo de
experimentación que puede llevarnos a una nueva
relación con el espacio y la tecnología a través de
los sentidos.
En el proyecto AudioGames, hemos seguido estos
patrones de asociación visión/oído para generar
una interfaz muy intuitiva que permite la
interacción con objetos sonoros, aunque nos hemos
basado también en otros videojuegos que emplean
la sinestesia como recurso del gameplay, así como
de otro tipo de audiojuegos existentes, que
veremos a continuación.
2. BACKGROUND
2.1 Sinestesia y videojuegos.
Dentro de los videojuegos actualmente existentes
que basan su gameplay en asociaciones
sinestésicas color-sonido podemos encontrar:
−Shield the Beat3 Un videojuego independiente
del tipo shooter en el que las acciones del
jugador, así como sus resultados están
marcados por ritmos, notas y colores de modo
que jugarlo supone una experiencia
sinestésica.
3 Más información en http://shieldthebeat.com/
Eurídice Cabañes Martínez
2
IV International Conference Synesthesia: Science and Art, Almeria, February 2012
Un autor de videojuegos que ha experimentado mucho
con la sinestesia es Tetsuya Mizuguchi con varios
títulos con esta temática como:
−Rez4 es un videojuego tipo shooter que nos permite
vivir una experiencia sinestésica cuyo trasfondo
argumental, totalmente existencialista, está
enmarcado en un futuro cibernético en el que la
sociedad se desarrolla en torno a una red virtual de
información dominada por una Inteligencia
Artificial llamada Edén. La misión del jugador
sería llegar a Edén (que cuestiona su propia
existencia al haber obtenido un profundo
conocimiento ontológico) y restablecer su
funcionamiento. El propósito del videojuegos es
crear en el jugador una sensación de sinestesia
transitoria sumergiendo al jugador en un mundo de
sensaciones visuales y auditivas. La percepción
sinestésica del videojuego va emergiendo a medida
que se superan los diferentes niveles dado que se
produce una inmersión en la música –que no es
simplemente una canción electrónica, sino que el
jugador, con cada uno de sus disparos (sonidos
que se funden a la perfección con la música), está
creando parte de la canción-- y en los colores que
aparecen que van en consonancia con la música,
con lo que prácticamente el jugador puede ver
canciones y escuchar colores.
−Lumines5 es un videojuego tipo puzzle (similar al
conocido Tetris) en el que debemos ubicar
diferentes piezas de un modo determinado para
poder eliminarlas, pero lo más interesante del
videojuego es que está basado en patrones de luces
y sonidos, de modo que los cambios visuales y los
cambios sonoros son provocados por los eventos
del juego integrándose en una experiencia
sinestésica coherente.
−Child of Eden6 es un videojuego musical tipo
shooter que al igual que los anteriores supone un
intento de experimentación sobre la sinestesia,
aunque en este caso además a la integración de
sonido y la visión se suma el tacto. La trama
argumental, como secuela de Rez, consiste en
salvar el Proyecto Lumi del ataque de un virus,
objetivo que, una vez logrado, reproducirá una
personalidad humana en Eden, la Inteligencia
Artificial que aparecía en Rez. El gameplay, muy
similar al visto en Rez, integra además la
4 Desarrollado por el grupo UGA de Sega y en 2001 fue
lanzado en Dreamcast y PlayStation2, en 2008 apareció una
versión mejorada del juego en el Xbox Live Arcade con el
nombre de Rez HD.
5 Desarrollado por el grupo Q Entretainment salió en el año
2005 para la PlayStation Portable.
6 Desarrollado por Ubisoft y publicado por Q Entretaiment, se
estreno en 2011 para la Xbox 360 con el compatible Kinect y
para la Playstation 3 con el compatible psmove.
posibilidad de sentir una vibración a través de
los controles que se integra a los cambios
sonoros y visuales.
Estos videojuegos son de los pocos que podemos
encontrar actualmente que experimenten con la
sinestesia, y suponen una referencia a tener en
cuenta en el desarrollo de AudioGames.
2.2 Audiojuegos.
Como interfaz sonora, en AudioGames nos hemos
interesado también en otros videojuegos cuyo
gameplay se desarrolla única y exclusivamente a
través del sonido. De este tipo de juegos podemos
encontrar una mayor cantidad que de los
anteriores, especialmente dentro del desarrollo
independiente, por lo que no daremos una lista
completa, pero nos gustaría ofrecer algunos
ejemplos de este tipo de juegos:
−BBBeat7 es un juego de audio diseñado
específicamente para invidentes por lo que
carece de vídeo. En este audiojuego el jugador
lleva un par de auriculares y utiliza el sonido
para localizar a una abeja que después deberá
aplastar. El jugador detecta si ha conseguido
su objetivo a través de sensores colocados en
la muñeca.
−Soundvoyager8 ha sido diseñado también para
ser jugado usando sólo el sonido, sin mirar a la
pantalla. El juego consiste en varios
minijuegos diferentes. Uno de ellos, por
ejemplo, consiste en tratar de centrar un punto
en el escenario utilizando los altavoces
izquierdo y derecho para guiarse, en otro de
ellos, con la misma dinámica, el jugador
deberá esquivar los coches que se aproximan
mientras conduce en sentido contrario por una
carretera de tres carriles.
−Real Sound: Kaze no Regret9 Este audiojuego
se asemeja más a un audiolibro interactivo, en
el que el jugador pasa la mayor parte del
tiempo escuchando como se desarrolla la
historia. En los momentos en los que el
jugador puede elegir el curso que seguirá la
trama suenan un conjunto de campanas y la
7 Desarrollado por Makato Ohuchi de Tohoku Fukushi
University en Japón.
8 Harris, Craig (October 1, 2008). "IGN: Art Style's Bit
Generation".
En:http://wii.ign.com/articles/915/915341p1.html
Retrieved 2009-09-12.
9 Desarrollado por WARP, para Sega Saturn en 1997.
Eurídice Cabañes Martínez
3
IV International Conference Synesthesia: Science and Art, Almeria, February 2012
opción que se selecciona se confirma con el
controlador.
Como podemos observar, en estos casos la jugabilidad
es muy reducida, por lo que si bien este tipo de juegos
suponen una referencia en la que basamos
AudioGames, hemos tratado de paliar estas deficiencias
proponiendo un modo de juego más inmersivo y
atractivo para el jugador.
2.3 Sonificación
Una de las técnicas actuales que suponen una aplicación
práctica de las relaciones sensoriales que se mostraban
en la sinestesia (ya que basa su eficacia en la
posibilidad de correspondencia entre información visual
e información auditiva) que más nos interesa es la
sonificación, una técnica que consiste en el uso de
sonido no hablado (nonspeech audio) para canalizar
información o para tratarla (MADHYASTHA & REED,
1995).
La sonificación es un campo de investigación bastante
reciente que engloba en la actualidad una gran variedad
de técnicas multidisciplinares integrando éstas, desde
estudios de la percepción humana, hasta la acústica,
pasando por las artes y el diseño. (MONTEMAYOR, S. ET
AL, 2003).
Es una técnica muy utilizada en el contexto científico
como forma de presentación de la dinámica de datos y
está siendo aplicada a campos tan diversos como la
meteorología, la bolsa de valores, las partículas
subatómicas, etc.
También se ha conformado recientemente como
herramienta artística, siendo empleada en varias obras
artísticas como T_Visionarium, obra de Neil Brown,
Denis del Flavero, Matt Mcginity, Jefrey Shaw y Peter
Weibel que consiste en un entorno interactivo y
estereoscópico de visualización y sonificación en 360
grados, y constituye el primer trabajo de estas
características concebido desde una perspectiva
artística. Sus recursos de tecnología punta permiten
desarrollar y estudiar aplicaciones en los campos de la
visualización inmersiva, la sonificación inmersiva y la
interacción entre el hombre y el ordenador. O en la obra
teatral Alcazar el Unicornio, de Guillermo
Schmidhuber, en la que se empleó la sonificación por
primera vez en la historia del teatro. En este caso la
sonificación consistía en transportar “la voz de las
estrellas”, en concreto las emisiones de rayos gamma de
éstas, a instrumentos musicales. Los datos sonificados
para esta producción se obtuvieron de la base de datos
HEASARCH (NASA High Energy Astrophysics
Science Archive Research Center).
Pero dentro de todas los proyectos que emplean la
sonificación el que más nos interesa y ha
constituido la inspiración inicial a la hora de
empezar a idear el proyecto AudioGames, en el
caso de the vOICe (PERSAUD, K. ET AL, 2005), un
sistema de visión para ciegos consistente en una
versión actualizada y modernizada de un programa
que traduce las imágenes y las convierte en sonidos
para que los ciegos puedan “ver con sus oídos”
permitiendo que ciegos (incluso ciegos de
nacimiento que nunca han visto) perciban
imágenes en el cerebro.
“Los ciegos familiarizados con la tecnología
hablan de 'escuchar un cuadro o de oír un paisaje'
ya que la computadora se encarga de traducir para
ellos las ondas visuales en ondas de sonido. Un
paisaje suena como una melodía, pero no una
balada linda sino más bien como alguna canción
moderna. Por varios años hemos intentado que los
ciegos utilicen estas ondas sonoras para escuchar
los obstáculos y evitarlos" (PERSAUD, K, 2000).
Este sistema está obteniendo asombrosos
resultados, a la par que muestra la gran capacidad
que tiene el cerebro humano de adaptarse a los
cambios, siendo capaz de emplear sus recursos de
varias formas.
Como ya han mostrado estudios sobre sinestesia
como el de SPECTOR, F. & MAURER, D
(2009), las áreas de sentidos que no están
presentes, como en casos de ceguera, pueden
activarse mediante otros estímulos perceptivos
como tacto u oído, pudiendo llegar a funcionar
perfectamente ya que la especialización de las
áreas corticales sensoriales se sintoniza a través de
la experiencia desde la modalidad sensorial
esperada, que puede ser favorecida debido a que su
entrada es más fuerte, más rápida o más coherente
en el espacio y el tiempo que la entrada de otras
modalidades sensoriales. En la ausencia del imput
esperado, las conexiones del sentido deficitario
permanecen e influyen en la percepción (STEVEN,
M.S. AND BLAKEMORE, C. 2004). Es decir, poco
importa el modo en que los datos lleguen al
cerebro (en este caso, el sonido), sino que lo
realmente importante es el contenido de la
información. Es lo que ha ocurrido con el vOICe,
las personas comienzan escuchando sonidos y
terminan percibiendo imágenes.
Este sistema sigue obviamente principios
sinestésicos, ya que pueden relacionarse en el
cerebro humano, datos procedentes del sonido con
imágenes, y supuso la inspiración inicial para el
proyacto AudioGames, que en un inicio pretendía
utilizar este programa de forma lúdica, creando la
sonificación de entornos ficticios para generar
audiojuegos, incluso planteamos la idea de
experimentar con la posibilidad de superponer la
información visual recibida a través del oído, a la
Eurídice Cabañes Martínez
4
IV International Conference Synesthesia: Science and Art, Almeria, February 2012
información visual recibida a través de la visión, con lo
que tendríamos un novedoso sistema de realidad
aumentada.
Finalmente descartamos la idea de emplear el programa
dado que su uso requiere de un proceso de
entrenamiento previo de al menos dos semanas antes de
obtener los resultados esperados, por lo que preferimos
crear nuestra propia herramienta para que resultase
mucho más intuitiva y pudiese ser empleada sin ningún
tipo de entrenamiento previo, además incluimos el
sonido cuadrafónico que permite ubicarse mejor en el
espacio de juego,proporcionando una experiencia
mucho más inmersiva.
3. AUDIOGAMES: EL PROYECTO
3.1 Historia
AudioGames fue uno de los proyectos seleccionados
para PlayLab, un taller de creación de videojuegos
experimentales organizado por ARSGAMES y
MediaLAb-Prado con el patrocinio de PlayStation que
se celebró del 21 al 24 de enero y del 4 al 7 de febrero
de 2010 en MediLab-Prado, Madrid.
El primer prototipo de AudioGame que desarrollamos
en PlayLab consiste en un espacio sonificado
interactivo desarrollado por Euridice Cabañes Martinez,
Luca Carrubba, Oscar Martin, Carlos Padial, Jaume
Castells. Es un espacio de juego donde la el oído y la
capacidad de escuchar tiene la mayor importancia. El
jugador se mueve en un entorno de 3X3 metros
interactuando en tiempo real con un espacio sonoro 3d.
Una cuatrifonía que lo proyecta dentro de un mundo
virtual en el cual los objetos sonoros tienen un cuerpo y
una posición específica. El jugador tendrá que buscar
estos objetos o escaparse de ellos, según las reglas del
nivel.
Audiogames ha obtenido la Mención Especial en las
ayudas para investigación y producción Telenoika
2010.
Desde su inicio como instalación interactiva, el
proyecto ha evolucionado hasta la intención de
convertirlo en una nueva plataforma de
experimentación con juegos focalizados en el sonido.
Estamos interesados en promover talleres en los que la
interacción con el sonido en el videojuego sea central.
En este sentido, el proyecto Audiogames ha pasado a
convertirse en un proyecto del área deInnovación
tecnológica o industrial de ARSGAMES coordinado
por Eurídice Cabañes y Luca Carrubba.
3.2 Descripción de AudioGames
En nuestra vida cotidiana estamos acostumbrados a
desenvolvernos utilizando principalmente el
sentido de la vista para obtener información sobre
el mundo, y a interactuar con el mundo mediante
un contacto tangible con los objetos que lo
pueblan. AudioGames propone un nuevo modo de
relacionarse con el espacio, en el que la vista es
irrelevante ya que el único modo de extraer
información a cerca del espacio de la instalación es
el sonido; y en el que los objetos con los que
interactuamos son intangibles, dado que son
objetos sonoros.
De este modo, el usuario de AudioGames,
experimentará la inmersión en un mundo sonoro a
través de una interfaz invisible e intangible.
El usuario “invidente” (poco importa que sea
invidente o tenga una vista perfecta, ya que no
puede servirse del sentido de la visión en este
entorno) tendrá que aprender a a moverse en un
espacio sonoro cuadrafónico y a interactuar con él
y con los objetos que lo pueblan mediante los
movimientos de su cuerpo en el espacio. De este
modo el usuario puede desarrollar su percepción
sinestésica en un entornos de juego, mientras el
público podrá ver la interacción del usuario en el
espacio real y al mismo tiempo tendrá acceso a la
visualización 3D de la interacción con el espacio
sonoro, en una pantalla situada fuera del marco de
visión del usuario.
Figura 2. Visualización del espacio 3D
3.3 Descripción técnica:
AudioGames consiste en un espacio sonoro
interactivo, para cuyo desarrollo trabajamos en tres
niveles diferentes:
En primer lugar tenemos el mundo real, un espacio
vacío de dimensiones aproximadas de tres metros
cuadrados, en el que se desplazará el usuario.
Como herramienta de análisis del movimiento del
Eurídice Cabañes Martínez
5
IV International Conference Synesthesia: Science and Art, Almeria, February 2012
usuario en el espacio de juego utilizamos un sensor
microsoft kinect; este aparado, que suple a la cámara y
consiguiente sistema de trakeo que usábamos
anteriormente, nos simplifica el trabajo reduciendo en
gran medida el tiempo de creación. A través de este
aparado será posible hacer un seguimiento en
tiempo real del movimiento del jugador.
Figura 2. Visualización del primer prototipo desarrollado.
En segundo lugar tenemos, un mundo virtual en 3D
generado en Blender10, que recoge la información de la
posición del usuario y la gestiona de modo que los
movimientos del usuario en el espacio real se
corresponden con movimientos de un objeto que
representa al usuario en el mundo 3D. El objeto que
representa al usuario interactúa con otros objetos en el
mundo 3D, bien desplazándolos al chocar con ellos a
una velocidad determinada por la fuerza del impacto,
bien haciéndolos desaparecer, o bien transformándolos
en otros objetos según el gameplay del juego a que
estemso jugando o a las reglas del nivel. De este modo
el usuario estará interactuando con ese mundo 3D, pero
sin verlo.
En tercer lugar tenemos un mundo sonoro que consiste
en la sonificación 3D que de las posiciones de todos los
objetos presentes en el espacio, a tiempo real. Cada
10 Blender es un software libre y de código abierto, como todos
los que empleamos en el desarrollo del proyecto ya que
defendemos el software libre, en tanto que parte de la idea de
conocimiento generado colectivamente, por lo que en este
proyecto todo el software empleado o creado estará bajo
licencia libres G.P.L. En nuestra visión como creadores y
artistas remarcamos la importancia de tal decisión en el
contesto de la creación artístico-digital y consideramos el uso
de estas licencias como parte integrante de la obra misma.
objeto en el mundo 3D tiene un sonido asignado
(en base a los patrones de asociación sinestésica
descritos en la introducción), que se desplazará en
el espacio sonoro guiando al usuario en el mundo
real. Esto se llevará a cabo también mediante
Blender. Para que esto sea posible necesitamos
unos cascos wireless que reciban el sonido 3D a
tiempo real.
El usuario, que puede ser invidente, se desplazará
de este modo por un espacio sonoro, mientras que
los espectadores, podrán ver en una pantalla (a la
que el usuario no tiene acceso), la interacción del
usuario en el mundo 3D.
3.4 Futuro desarrollo de la plataforma:
Una vez desarrollada la plataforma durante la
primera fase del proyecto de modo que
actualmente los tres niveles funcionan a la
perfección, pretendemos desarrollar una interfaz
que permita manipular los elementos del juego de
forma rápida y eficaz de tal forma que crear un
juego para esta plataforma no requiera de mucho
tiempo para su realización. Nuestros modelos en
este sentido son el paradigma de programación por
Eurídice Cabañes Martínez
6
IV International Conference Synesthesia: Science and Art, Almeria, February 2012
objetos visuales y interfaces de creación de vídeo juegos
como la de Scratch11. En esta clase de interfaces
permiten programar sin escribir una linea de código
simplemente a partir de la unión de algunos bloques
gráficos que identifican una parte de la programación
visualmente reconocible. Se empezará por crear 5
bloques, que componen los elementos básicos de cada
juego: avatar, escenario, bonus, enemigos, objetivo. Por
cada uno de estos bloques se tendrá la posibilidad de
especificar diferentes opciones como tema musical,
sonidos, gravedad, viento y otras. Otros bloques o
posteriores mejoras pueden llevarse a cabo durante
posteriores fases de desarrollo del proyecto.
4. CONCLUSIÓN
Nuestro objetivo fue generar una instalación sonora
interactiva que permitiera al usuario experimentar y
tratar de desenvolverse en un entorno únicamente
mediante el sentido del oído, prescindiendo de la imagen
omnipresente en en nuestra cultura, y tratando de
experimentar con el sonido. Esto permite, no sólo incluir
como usuarios a personas invidentes, sino experimentar
con una interfaz intangible e invisible, en un entorno
diferente al que estamos acostumbrados y desarrollar
nuestras percepciones sinestésicas.
Consideramos importante experimentar con otro tipo de
interfaces tecnológicas que trasciendan las clásicas,
orientadas a la visión, con el fin de poder incluir a
personas invidentes y permitir al resto de usuarios vivir
nuevas experiencias y desarrollar su percepción sonora
así como la sinestesia imagen/sonido.
Consideramos muy interesante experimentar con este
tipo de aplicaciones tecnológicas basadas en la sinestesia
que pueden, no solo servir para desarrollar nuestras
percepciones sinestésicas, sino que también pueden dar
lugar a una nueva forma de relación con el espacio y la
tecnología.
Eurídice Cabañes. Es licenciada en Filosofía por la
Universidad de Valencia (2007) y escribe su tesis doctoral
sobre Creatividad Computacional en el Posgrado oficial de
Lógica y Filosofía de la Ciencia, motivo por el cual en 2010
realizó una estancia en el Computational Creativity Group del
Imperial College of London.
Actualmente es vicepresidenta de ARSGAMES, forma parte
del Equipo de Coordinación del Observatorio para la
Cibersociedad y pertenece al Consejo de Redacción de la
Revista TEXTOS del mismo OCS.
Ha organizado y participado como ponente en diversos
congresos y seminarios relacionados con Filosofía, sinestesia,
arte y videojuegos.
Más información en: www.euridicecabanes.es.tl
11 Toda la información sobre este programa, proyectos y
comunidad disponible en http://scratch.mit.edu/
Agradecimientos:
El proyecto AudioGames es posible gracias a
Luca Carubba, co-coordinador del proyecto en
ARSGAMES, a Carlos Padial, compañero en el
desarrollo del proyecto y a Oscar Martín que
colaboró en el desarrollo del primer prototipo. Sin
olvidar a Flavio Escribano, responsable del
proyecto PlayLab1: Alternativas de Juego
(contexto en el que se desarrolló el primer
prototipo).
REFERENCES
GROSSENBACHER, P., & LOVELACE, G. (2001).
Mechanisms of synesthesia: Cognitive and
physiological constraints. Trends in Cognitive
Sciences, 5, 36 – 41.
HOLLAND, M., & WERTHEIMER, M. (1964). Some
physiognomic aspects of naming, or maluma
and takete revisited. Perceptual and Motor
Skills, 19, 111–117.
LINDAUER, M. (1990). The effects of the
physiognomic stimuli takete and maluma on
the meanings of neutral stimuli. Bulletin of
the Psychonomic Society, 28, 151–154.
MADHYASTHA, T. M., RAEED, D. A. (1995) “Data
Sonification: Do you See What I Hear?”,
IEEE Software, Vol 12(2), pp. 85-90.
MARKS, L. E. (1974). On associations of light and
sound: The mediation of brightness, pitch,
and loudness. American Journal of
Psychology, 87, 173–188.
MARKS, L. E. (1975). On colored– hearing
synesthesia: Cross-modal translations of
sensory dimensions. Psychological Bulletin,
82, 303–331.
MARKS, L. E. (1982). Bright sneezes and dark
coughs, loud sunlight and soft moonlight.
Journal of Experimental Psychology: Human
Perception and Performance, 8, 177–193.
MARKS, L. E. (1996). On perceptual metaphors.
Metaphor and Symbolic Activity, 11, 39 – 66.
MAURER, D., & MAURER, C. (1988). The world of
the newborn. New York: Basic Books.
MONTEMAYOR, S. ET AL, (2003) “Sonificación de
Imágenes 2D”, Dpto. Informática, Estadística
y Telemática, Univ. Rey Juan Carlos, Madrid.
MONDLOCH, C., & MAURER, D. (2004). Do small
white balls squeak? Pitchobject
correspondences in young children.
Cognitive, Affective, and Behavioral
Neuroscience, 4, 133–136.
MULVENNA, C. M., & WALSH, V. (2006).
Synesthesia: Supernormal integration? Trends
in Cognitive Sciences, 10, 350 –352.
PERSAUD, K. (2000) “A picture worth a thousand
notes”, Nature News, www.nature.com
Eurídice Cabañes Martínez
7
IV International Conference Synesthesia: Science and Art, Almeria, February 2012
PERSAUD, K. ET AL (2005). “Method and device for
visualizing images through sound”. United States
University of Manchester Institute of Science and
Technology, Manchester.
RAMACHANDRAN, V. S., AND HUBBARD, E. M. (2001A)
Psychophysical Investigations intothe neural basis
of synaesthesia. Procedings of the Royal Society of
London, B (268): 979-983.
RAMACHANDRAN, V. S., AND HUBBARD, E. M. (2001B)
Synaesthesia- Awindow into perception thought and
language. Journal of Consciousness Studies.
SAGIV, N. & WARD, J. (2006). Crossmodal interactions:
Lessons from synesthesia. Progressive Brain
Research, 155, 259 –271.
SIMNER, J., WARD, J., LANZ, M., JANSARI, A., NOONAN,
K., GLOVER, L., & OAKLEY, D. (2005). Non-
random associations of graphemes to colors in the
synaesthetic and non-synaesthetic populations.
Cognitive Neuropsychology, 22, 1–17.
SMITH, L. B., & SERA, M. D. (1992). A developmental
analysis of the polar structure of dimensions.
Cognitive Psychology, 24, 99 –142.
SPECTOR, F. & MAURER, D
(2009), Synesthesia: A New Approach to
Understanding the
Development of Perception
, Developmental Psychology
2009, Vol. 45, No. 1, 175–189
STEVEN, M.S. AND BLAKEMORE, C. (2004) “Visual
Synaesthesia in the Blind”. Perception 33 (7) 855-
868.
WARD, J., HUCKSTEP, B., & TSAKANIKOS, E. (2006).
Sound– color synesthesia: To what extent does it
use cross-modal mechanisms common to us all?
Cortex, 42, 264 –280.
Eurídice Cabañes Martínez
8
