Content uploaded by Simon Baron-Cohen
Author content
All content in this area was uploaded by Simon Baron-Cohen
Content may be subject to copyright.
A preview of the PDF is not available
The physiology of coloured hearing A PET activation study of colour-word synaesthesia
Abstract and Figures
In a small proportion of the normal population, stimulation in one modality can lead to perceptual experience in another, a phenomenon known as synaesthesia. In the most common form of synaesthesia, hearing a word can result in the experience of colour. We have used the technique of PET, which detects brain activity as changes of regional cerebral blood flow (rCBF), to study the physiology of colour-word synaesthesia in a group of six synaesthete women. During rCBF measurements synaesthetes and six controls were blindfolded and were presented with spoken words or pure tones. Auditory word, but not tone, stimulation triggered synaesthesia in synaesthetes. In both groups word stimulation compared with tone stimulation activated the classical language areas of the perisylvian regions. In synaesthetes, a number of additional visual associative areas, including the posterior inferior temporal cortex and the parieto-occipital junctions, were activated. The former has been implicated in the integration of colour with shape and in verbal tasks which require attention to visual features of objects to which words refer. Synaesthetes also showed activations in the right prefrontal cortex, insula and superior temporal gyrus. By contrast, no significant activity was detected in relatively lower visual areas, including areas V1, V2 and V4. These results suggest that colour-word synaesthesia may result from the activity of brain areas concerned with language and visual feature integration. In the case of colour-word synaesthesia, conscious visual experience appears to occur without activation of the primary visual cortex.
Figures - uploaded by Simon Baron-Cohen
Author content
All figure content in this area was uploaded by Simon Baron-Cohen
Content may be subject to copyright.
... De manière cohérente, les synesthètes graphème-couleur présentent une augmentation du volume de matière grise non seulement au niveau du gyrus fusiforme mais aussi au niveau du cortex pariétal (par ex., Weiss & Fink, 2009). Il est intéressant de noter que l'implication des aires pariétales n'est pas spécifique de la synesthésie graphème-couleur, mais a aussi été observée dans d'autres formes de synesthésie impliquant la couleur, comme l'audition colorée (Beeli, Esslen, & Jäncke, 2008 ;Jäncke & Langer, 2011 ;Neufeld et al., 2012 ;Nunn et al., 2002 ;Paulesu et al., 1995). ...
... Il est par ailleurs intéressant de signaler que selon Rouw et al. (2011), l'insula semble aussi impliquée dans la synesthésie, ce qui pourrait être lié au processus de conversion d'un stimulus externe en un stimulus interne différent (Paulesu et al., 1995) et/ou à la qualité émotionnelle particulière qui semble souvent accompagner les expériences synesthésiques En effet, Jones, Gray, Minati, Simne, Critchley et Ward (2011) ont trouvé, chez deux synesthètes lexicaux-gustatifs, une activation de l'insula en fonction du goût plaisant ou déplaisant évoqué par des mots. Signalons que des émotions semblent aussi accompagner la synesthésie graphème-couleur : pour les synesthètes, percevoir un mot dans une autre couleur que la couleur synesthésique provoque une réaction émotionnelle particulière pouvant biaiser leur performance (Callejas, Acosta, & Lupianez, 2007). ...
... In humans, several studies have found neural sites of multisensory convergence. In participants making color-word associations, a positron emission tomography study identified several cortical areas of interaction in the parietooccipital junction and in the right prefrontal cortex (Paulesu et al., 1995). Magnetoencephalography recordings have shown audiovisual interactions in the right parieto-temporal area (Sams & Imada, 1997). ...
Six experiments demonstrated cross-modal influences from the auditory modality on the visual modality at an early level of perceptual organization. Participants had to detect a visual target in a rapidly changing sequence of visual distractors. A high tone embedded in a sequence of low tones improved detection of a synchronously presented visual target (Experiment 1), but the effect disappeared when the high tone was presented before the target (Experiment 2). Rhythmically based or order-based anticipation was unlikely to account for the effect because the improvement was unaffected by whether there was jitter (Experiment 3) or a random number of distractors between successive targets (Experiment 4). The facilitatory effect was greatly reduced when the tone was less abrupt and part of a melody (Experiments 5 and 6). These results show that perceptual organization in the auditory modality can have an effect on perceptibility in the visual modality.
... The modular theory holds that functionally individuated and introspectively opaque, encapsulated subunits of the mind process information in a way akin to a computer. One hypothesis is that synesthesia occurs when there is a breakdown in encapsulation between modules that process color and whatever other sensory or semantic features are involved [5,12]. Others contend that synesthesia might result from the presence of an extra-module whose function is the mapping from a sensory or semantic input to a cross modal output [13]. ...
... The disinhibited synesthete's sensory experience would otherwise be repressed in another without synesthesia (Mishkin & Ungerleider, 1982). Regional cerebral blood flow with l5O-labeled water (H2I5O) positron emission tomography (PET) imaging demonstrated that synesthetes given specific auditory cues had activation of visual association cortex (Paulesu et al., 1995) highlighting cortical connections underpinning this phenomenon. Multiple pathways and connections contribute to this experience. ...
Introduction
We report on a musician who acquired synesthesia, enhanced sensory experience, and improved creativity following traumatic brain injury (TBI).
Background
Creativity and synesthesia can be acquired from an injury, though both simultaneously has not been frequently documented.
Narrative
This case report details heightened creativity and developing synesthesia in a 66-year-old right-handed man following TBI. He developed a “compulsion” to write music. Synesthesia included “seeing” the notation and being able to name chord structures of music he heard, both of which were novel experiences. The Synesthesia Battery revealed a vision-sound synesthesia with higher than average level of Vividness of Visual Imagery (VVIQ-2), and “Absolute Pitch/Perfect Pitch.”
Patient Experience
The patient experienced an approximate four-month history of these changes, including musical compositions, developing perfect pitch, and enhanced sensory experience of typical phenomena.
Discussion
Both creativity and synesthesia depend on novel connections in the brain, and both have been reported following insults to the brain, including in degenerative conditions. However, the development of both simultaneously is not frequently reported. Evidence for the etiology of one prompting the other has not been described. Brain injury may result in increased creativity and synesthesia. Our fields would benefit from increased awareness of this possible relationship.
... Se obtuvo evidencia de este fenómeno en una variedad de tareas conceptuales. Tales tareas incluyeron: la producción de palabras (Martin et al. 1995), la generación de imaginería de color (Howard et al. 1998), y casos de sinestesias de color producidos por escuchar palabras (Paulesu et al. 1995). También puede destacarse el estudio de Simmons et al. (2007). ...
Evidencia reciente ha revitalizado el interés en los llamados “efectos Whorf” en la percepción, dando lugar a nuevas explicaciones de sus alcances y mecanismos subyacentes. En este trabajo propongo que pueden distinguirse dos tipos de propuestas: autores como Lupyan (2012) explican estos efectos postulando mecanismos específicamente dedicados a producirlos, mientras que autores como Casasanto (2008) atribuyen tales efectos al funcionamiento de procesos generales, como los de aprendizaje asociativo. Luego, muestro cómo el enfoque grounded acerca de los conceptos en ciencias cognitivas (e.g. Barsalou 1999, 2016) podría resultar pertinente para el estudio de los efectos Whorf en lingüística, antropología, filosofía y psicología cognitiva. En particular, defenderé que la evidencia ofrecida en favor de este enfoque favorece explicaciones de mecanismo general como la de Casasanto (2008), por encima de propuestas de mecanismo específico como la de Lupyan (2012).
... Ils peuvent donc utiliser leurs représentations synesthésiques pour donner une structure à leur emploi du temps. Il semble d'ailleurs que ces synesthètes aient une mémoire épisodique et autobiographique mieux développée et qu'ils soient plus aptes à se rappeler des séquences temporellesPaulesu et al., 1995;Smilek, Dixon, Cudahy et Merikle, 2002a;Yaro et Ward, 2007). Plusieurs rapportent que la synesthésie procure des bénéfices pour le rappel d'informations mémorisées, les perceptions additionnelles agissant comme des « extra bits » d'informations. ...
La synesthésie est une condition neurologique dans laquelle une stimulation sensorielle ou cognitive dans une modalité spécifique engendre de façon automatique et involontaire une autre expérience perceptuelle inhabituelle. La synesthésie influencerait le développement de certaines habiletés cognitives, notamment sur le plan mnésique. Par ailleurs, une hypothèse intuitive populaire au sein de la communauté scientifique stipule que ces expériences sensorielles atypiques facilitent la créativité. En effet, comme elles dotent d’un répertoire perceptuel original, il est concevable qu’elles puissent mener à une aptitude à faire des associations non conventionnelles entre diverses catégories d’éléments. Par conséquent, cette recherche qualitative vise à mieux comprendre les influences des expériences synesthésiques sur la créativité, du point de vue de ceux qui vivent ces expériences. Dans le but de mieux comprendre la phénoménologie de la synesthésie en créativité, les questions de notre recherche se résument ainsi : Quel sens peut avoir l’expérience de la synesthésie en créativité et quelles répercussions a-t-elle sur la créativité? Nous sommes intéressés à comprendre comment la synesthésie peut être perçue, avoir de l’influence et être utilisée lors d’un processus créatif. À notre connaissance, il s’agit de la première étude à explorer la phénoménologie de la synesthésie tant auprès de plusieurs individus qu’au sein de plusieurs formes de synesthésie, à l’égard d’une caractéristique soi-disant centrale à cette condition, soit la créativité.
Dans le cadre de cette recherche, 17 personnes avec diverses synesthésies, âgées de 21 ans à 72 ans, ont été rencontrées afin de partager leurs expériences lors d’entretiens individuels semi-dirigés. Ces entrevues ont été retranscrites et analysées d’après la méthode phénoménologique de recherche en psychologie. Au final, la structure fondamentale du phénomène étudié qui émerge de nos analyses comprend les 10 thèmes suivant en ce qui a trait au sens donné à l’expérience de la synesthésie sur le plan de la créativité :
1) L’expérience de la synesthésie oriente, module le processus créatif en fonction des associations synesthésiques afin d’être dans un état particulier et d’accroître le bien-être;
2) L’expérience de la synesthésie constitue un apport sensoriel, perceptuel et émotionnel à la créativité;
3) L’expérience de la synesthésie optimise les fonctions cognitives;
4) L’expérience de la synesthésie alimente la stimulation intellectuelle et la motivation dans un processus créatif;
xvi
5) L’expérience de la synesthésie donne un sens à des éléments et à un vécu;
6) L’expérience de la synesthésie est perçue comme un système instinctif qui influence la créativité, une intuition à l’origine d’un processus de décision ou un réflexe consistant à transposer des associations qui sont indépendantes de la cognition;
7) L’expérience de la synesthésie permet de mieux se connaître, de s’identifier, d’exprimer et d’assumer ce qui constitue son individualité;
8) L’expérience de la synesthésie constitue une courroie de communication avec autrui, d’échange avec d’autres réalités;
9) L’expérience de la synesthésie peut ne pas avoir d’influence sur la créativité; les associations synesthésiques peuvent être perçues comme des états de faits qui sont d’utilité pratique et qui n’ont pas de répercussion sur les choix face à des besoins;
10) L’expérience de la synesthésie peut être un frein à la créativité.
La présente étude a permis de développer une meilleure compréhension des composantes de la créativité, de faire avancer l’état des connaissances sur les expériences synesthésiques et d’identifier le coeur de leurs influences sur la créativité. Pour la première fois, l’étendue des avantages et des inconvénients des expériences synesthésiques sur la créativité a été exposée. Mener cette étude auprès de synesthètes qui présentent une variété de synesthésies a aussi permis d’identifier des processus sous-jacents à la créativité qui sont communs dans le vaste spectre de la synesthésie et d’amener des pistes d’explications quant aux différences individuelles pouvant émerger. Du coup, divers processus qui peuvent influencer et alimenter la créativité chez tous les individus ont été mis en lumière. Enfin, cette recherche peut apporter un éclairage sur les mécanismes universels d’interactions entre les sens et sur leur usage à certaines fins. De futures études avec de larges échantillons de participants devraient tenter de départager différents attributs de la synesthésie et d’explorer leur contribution respective dans divers aspects de la cognition et des émotions. Les répercussions de l’exploitation d’associations automatiques, synesthésiques ou non, pourraient aussi faire l’objet d’études dans les cadres d’interventions thérapeutiques et pédagogiques. Enfin, la mise sur pied de regroupements de chercheurs en synesthésie et de synesthètes pourrait stimuler le développement et la diffusion des connaissances sur la synesthésie et sur le potentiel humain, démarginaliser cette condition et déconstruire des conceptions erronées, et faire accroître l’épanouissement des individus de la grande communauté synesthète.
Synaesthesia is a condition in which a sensory stimulus does not only activate a specific sense—such as when sound waves activate our hearing—but also concurrently, automatically, and involuntarily stimulates another modality (e.g., vision). Music-induced visual mental imagery (VMI) shares some of its features with synaesthesia, the most obvious being that stimulation in one sensory modality co-activates another. In this chapter, we compare both phenomena and, more specifically, carve out differences and commonalities between sound-colour synaesthesia and music-induced VMI. For example, some conceptual and experiential features overlap such as the location of imagined visuals (in the mind’s eye) and the fact that even if synaesthetes cannot control the onset of their synaesthetic experience, some are able to zoom in and out of imagined visuals as are individuals experiencing VMI. A historical comparison reveals that a definition of mental imagery from the 1960s would also fit a definition of synaesthesia as we understand it today. Our main argument is that mental imagery could be considered a weak form of synaesthesia, and we provide several examples and empirical evidence to support this claim. To close the chapter, we compare both phenomena with regards to emotion, memory, and creativity, and extrapolate from current evidence how synaesthetes and non-synaesthetes may behave in experiments concerned with music-induced VMI.
Drawing on perspectives from music psychology, cognitive neuroscience, philosophy, musicology, clinical psychology, and music education, Music and Mental Imagery provides a critical overview of cutting-edge research on the various types of mental imagery associated with music. The four main parts cover an introduction to the different types of mental imagery associated with music such as auditory/musical, visual, kinaesthetic, and multimodal mental imagery; a critical assessment of established and novel ways to measure mental imagery in various musical contexts; coverage of different states of consciousness, all of which are relevant for, and often associated with, mental imagery in music, and a critical overview of applications of mental imagery in health, educational, and performance settings.
By both critically reviewing up-to-date scientific research and offering new empirical results, this book provides a unique overview of the different types and origins of mental imagery in musical contexts, various ways to measure them, and intriguing insights into related mental phenomena such as mind-wandering and synaesthesia. This will be of particular interest for scholars and researchers of music psychology and music education. It will also be useful for practitioners working with music in applied health and educational contexts.
We have used positron emission tomography to study the functional anatomy of motor sequence learning. Subjects learned sequences of keypresses by trial and error using auditory feedback. They were scanned with eyes closed under three conditions: at rest, while performing a sequence that was practiced before scanning until overlearned, and while learning new sequences at the same rate of performance. Compared with rest, both sequence tasks activated the contralateral sensorimotor cortex to the same extent. Comparing new learning with performance of the prelearned sequence, differences in activation were identified in other areas. (1) Prefrontal cortex was only activated during new sequence learning. (2) Lateral premotor cortex was significantly more activated during new learning, whereas the supplementary motor area was more activated during performance of the prelearned sequence. (3) Activation of parietal association cortex was present during both motor tasks, but was significantly greater during new learning. (4) The putamen was equally activated by both conditions. (5) The cerebellum was activated by both conditions, but the activation was more extensive and greater in degree during new learning. There was an extensive decrease in the activity of prestriate cortex, inferotemporal cortex, and the hippocampus in both active conditions, when compared with rest. These decreases were significantly greater during new learning. We draw three main conclusions. (1) The cerebellum is involved in the process by which motor tasks become automatic, whereas the putamen is equally activated by sequence learning and retrieval, and may play a similar role in both. (2) When subjects learn new sequences of motor actions, prefrontal cortex is activated. This may reflect the need to generate new responses. (3) Reduced activity of areas concerned with visual processing, particularly during new learning, suggests that selective attention may involve depressing the activity of cells in modalities that are not engaged by the task.
Clinical evidence is presented which links the anterior inferior part of the occipital lobe with colour perception in man. A review of the literature suggests that bilateral lesions at this site may cause persisting impairment of colour perception (achromatopsia) with preservation of primary visual function. This is discussed in relation to relevant experiments in animals. Achromatopsia is commonly associated with prosopagnosia (inability to recognize familiar faces) and impaired topographical memory, but published reports suggest that these three disorders may be dissociated from one another and they therefore appear to be functionally distinct.
