ArticlePDF Available

Abstract and Figures

In a small proportion of the normal population, stimulation in one modality can lead to perceptual experience in another, a phenomenon known as synaesthesia. In the most common form of synaesthesia, hearing a word can result in the experience of colour. We have used the technique of PET, which detects brain activity as changes of regional cerebral blood flow (rCBF), to study the physiology of colour-word synaesthesia in a group of six synaesthete women. During rCBF measurements synaesthetes and six controls were blindfolded and were presented with spoken words or pure tones. Auditory word, but not tone, stimulation triggered synaesthesia in synaesthetes. In both groups word stimulation compared with tone stimulation activated the classical language areas of the perisylvian regions. In synaesthetes, a number of additional visual associative areas, including the posterior inferior temporal cortex and the parieto-occipital junctions, were activated. The former has been implicated in the integration of colour with shape and in verbal tasks which require attention to visual features of objects to which words refer. Synaesthetes also showed activations in the right prefrontal cortex, insula and superior temporal gyrus. By contrast, no significant activity was detected in relatively lower visual areas, including areas V1, V2 and V4. These results suggest that colour-word synaesthesia may result from the activity of brain areas concerned with language and visual feature integration. In the case of colour-word synaesthesia, conscious visual experience appears to occur without activation of the primary visual cortex.
Content may be subject to copyright.
A preview of the PDF is not available
... One of the first experiments investigating the neural correlates of synaesthesia was performed by Paulesu et al. (Paulesu et al., 1995). Six grapheme-colour synaesthetes were presented with tones and spoken words while the neural activation was registered using Positron-Emission-Tomography (PET). ...
... Numerous investigations have demonstrated a neuronal basis for synaesthesia. In neuroimaging experiments, especially with functional magnetic resonance imaging (fMRI) and positron emission tomography (PET), specific brain areas have been found that show different activations in synaesthetes compared with controls (Hubbard et al., 2005;Nunn et al., 2002;Paulesu et al., 1995;Rich and Mattingley, 2002;Sperling et al., 2006;Weiss et al., 2005). The regions are the left and right colour centre (V4), adjacent areas of the posterior inferior temporal gyrus (PIT) and lingual gyrus, frontal brain areas, and regions in the right parietal cortex (IPS, intraparietal sulcus) (for an overview see Beeli et al., 2007a). ...
... The third cluster is located in the left occipito-temporal brain region. This result is highly consistent with many earlier findings reporting activation differences in this area with different methods (Beeli et al., 2007a;Hubbard et al., 2005;Nunn et al., 2002;Paulesu et al., 1995;Sperling et al., 2006) and is also in line with the finding by Rouw & Scholte (2007). The increased GM volumes in the colour processing areas (fusiform gyrus) and the adjacent area of the lingual gyrus are the first findings of morphometric anatomical differences in areas that have been postulated to form the neural basis of the coloured perception of the graphemes. ...
... De manière cohérente, les synesthètes graphème-couleur présentent une augmentation du volume de matière grise non seulement au niveau du gyrus fusiforme mais aussi au niveau du cortex pariétal (par ex., Weiss & Fink, 2009). Il est intéressant de noter que l'implication des aires pariétales n'est pas spécifique de la synesthésie graphème-couleur, mais a aussi été observée dans d'autres formes de synesthésie impliquant la couleur, comme l'audition colorée (Beeli, Esslen, & Jäncke, 2008 ;Jäncke & Langer, 2011 ;Neufeld et al., 2012 ;Nunn et al., 2002 ;Paulesu et al., 1995). ...
... Il est par ailleurs intéressant de signaler que selon Rouw et al. (2011), l'insula semble aussi impliquée dans la synesthésie, ce qui pourrait être lié au processus de conversion d'un stimulus externe en un stimulus interne différent (Paulesu et al., 1995) et/ou à la qualité émotionnelle particulière qui semble souvent accompagner les expériences synesthésiques En effet, Jones, Gray, Minati, Simne, Critchley et Ward (2011) ont trouvé, chez deux synesthètes lexicaux-gustatifs, une activation de l'insula en fonction du goût plaisant ou déplaisant évoqué par des mots. Signalons que des émotions semblent aussi accompagner la synesthésie graphème-couleur : pour les synesthètes, percevoir un mot dans une autre couleur que la couleur synesthésique provoque une réaction émotionnelle particulière pouvant biaiser leur performance (Callejas, Acosta, & Lupianez, 2007). ...
... A central problem encountered in synesthesia research is the inconsistent results concerning area V4 which is typically activated with color perception. An early study by Paulesu, Harrison, Baron-Cohen, Watson, Goldstein, Heather, Frackowial, and Frith (1995) revealed activation of language areas and visual associative areas and no activation of the primary visual cortex, suggesting that this type of synesthesia involves only highlevel cortical mechanisms due to the involvement of higher-level cognitive activity. However, a later study by Nunn et al. (2002) of spoken words-color synesthesia found activation of area V4 which suggests that the synesthetic experience is perceptual and that it arises at an earlier stage of visual processing. ...
... One characteristic of these models is that they highlight the central role played by the parietal cortex. This area is found to be activated during the synesthetic experience and its disruption by transcranial magnetic stimulation (TMS) leads to the disruption of synesthetic experiences (Esterman et al., 2006;Grossenbacher and Lovelace, 2001;Jäncke, Rogenmoser, Meyer, and Elmer, 2012;Muggleton, Tsakanikos, Walsh, and Ward, 2007;Paulesu et al., 1995;Steven, Hansen, and Blakemore, 2006). Other methods have also shown that the parietal region is strongly functionally interconnected in synesthetes (Dovern, Fink, Fromme, Wohlschlager, Weiss, and Riedl, 2012;Jäncke and Langer, 2011;Neufeld, Sinke, Zedler, Dillo, Emrich, Bleich, and Szycik, 2012;Tomson, Narayan, Allen, and Eagleman, 2013;van Leeuwen, Hagoort, and Händela, 2013;Volberg, Karmann, Birkner, and Greenlee, 2013). ...
... 8,9 While this particular mixed and high level specific perception occurs, synesthetes show an electromagnetic activation in the prefrontal and temporal cortex, while their music surfaces are both connected via the uncinate fascicle ( Figure 1), but no activation was found in primary visual areas V1, V2, or V4, implying that high level associative visual areas can contribute to conscious visual perception. 10 However, with low-resolution brain electromagnetic tomography, the posterior inferior temporal regions of visual areas (V4) and orbitofrontal regions were stronger activated in synesthetes while synesthesia occurred in fast and automatic response. 11 Some great pieces of music have been composed by musicians while they were suffering from some illnesses that might have had an effect over their brains while their music surfaced, such as the Bolero of Ravel or the Requiem of Mozart. ...
Article
Full-text available
Manuel de Falla was a Spanish musician of the XIXth and XXth centuries who had international recognition likely due to his musical fusion talent. His knowledge about Spanish musical traditions gave to his early compositions a new and fresh intellectual interpretation for the typical Spanish folk music. However, in the middle of his musical career, he suffered a strange disease of his eyes named recurrent acute iridocyclitis. This eye flushing is caused by an inflammation of 2 structures of the anterior pole of the ocular globe, the iris, and the ciliary body. It is usually a symptom of another disease and it causes many psychological impairments and disabilities (severe eye pain in bright light, blurry vision, headache, stress for organization (orderliness), and depression in some cases). This soreness of his eyes had an effect over Falla’s compositions and marked an inflection point in his line of musical creations. Eyes in music have been so relevant in another composers and musicians throughout history.
... These anatomical differences are paralleled by functional differences in posterior brain regions and provide evidence of enhanced neural sensitivity in synaesthetes. Several studies were able to show activation in color area V4 while synaesthetes processed black letters (Hubbard et al., 2005;Brang et al., 2010;van Leeuwen et al., 2011;Gould van Praag et al., 2016); but see (Paulesu et al., 1995;Weiss et al., 2005;Rouw and Scholte, 2010;Hupe et al., 2011). Behaviourally, synaesthetes show a performance advantage over controls in WM for color (Terhune et al., 2013) or in color memory (Yaro and Ward, 2007;Rothen and Meier, 2010;Rothen et al., 2012;Pritchard et al., 2013), suggesting enhanced neural sensitivity in color areas per se. ...
... These anatomical differences are paralleled by functional differences in posterior brain regions and provide evidence of enhanced neural sensitivity in synaesthetes. Several studies were able to show activation in colour area V4 while synaesthetes processed black letters (Brang et al., 2010;Hubbard et al., 2005;van Leeuwen et al., 2011;Gould Van Praag et al., 2016); but see (Paulesu et al., 1995;Weiss et al., 2005;Rouw and Scholte, 2010;Hupe et al., 2011). ...
Preprint
Full-text available
The sensory recruitment model envisages visual working memory (VWM) as an emergent property that is encoded and maintained in sensory (visual) regions. The model implies that enhanced sensory-perceptual functions, as in synaesthesia, entail a dedicated VWM-system, showing reduced visual cortex activity as a result of neural specificity. By contrast, sensory-perceptual decline, as in old age, is expected to show enhanced visual cortex activity as a result of neural broadening. To test this model, young grapheme-colour synaesthetes, older adults and young controls engaged in a delayed pair-associative retrieval and a delayed matching-to-sample task, consisting of achromatic fractal stimuli that do not induce synaesthesia. While a previous analysis of this dataset (Pfeifer et al., 2016) has focused on cued retrieval and recognition of pair-associates (i.e. long-term memory), the current study focuses on visual working memory and considers, for the first time, the crucial delay period in which no visual stimuli are present, but working memory processes are engaged. Participants were trained to criterion and demonstrated comparable behavioural performance on VWM tasks. Whole-brain and region-of-interest-analyses revealed significantly lower activity in the synaesthetes middle frontal gyrus and visual regions (cuneus, inferior temporal cortex) respectively, suggesting greater neural efficiency relative to young and older adults in both tasks. The results support the sensory recruitment model and can explain age and individual WM-differences based on neural specificity in visual cortex.
... V4 activation. Functional magnetic resonance imaging (fMRI) has revealed that a variety of brain sites are involved in synesthesia, including temporal association areas and parietal areas (Laeng, Hugdahl, & Specht, 2011;Paulesu et al., 1995;Rich et al., 2006;Rouw, Scholte, & Colizoli, 2011;Weiss, Zilles, & Fink, 2005). The role of color-processing area V4 in synesthesia is still debated though. ...
Article
Full-text available
Grapheme–color synesthesia is a condition in which objectively achromatic graphemes induce concurrent color experiences. While it was long thought that the colors emerge during perception, there is growing support for the view that colors are integral to synesthetes’ cognitive representations of graphemes. In this work, we review evidence for two opposing theories positing either a perceptual or cognitive origin of concurrent colors: the cross-activation theory and the conceptual-mediation model. The review covers results on inducer and concurrent color processing as well as findings concerning the brain structure and grapheme–color mappings in synesthetes and trained mappings in nonsynesthetes. The results support different aspects of both theories. Finally, we discuss how research on memory colors could provide a new perspective in the debate about the level of processing at which the synesthetic colors occur.
Conference Paper
본 연구에서는 대뇌 전두엽 반응을 관찰함으로써 인터미디어 아트 작품을 체험하는 동안 유발되는 감상자의 정서 경험을 신경과학적인 방법으로 연구하고자 하였다. 현대 작곡가인 Astor Piazzolla 의 작품을 세가지 조건 (음악, 공연영상, 음악 시각화)에서 감상하게 하였고, 감상하는 동안 대뇌 전두엽의 산소포화도 (oxygenated hemoglobin, oxyHb)의 변화를 기능적 근적외선 분광법 (functional nearinfrared spectroscopy, fNIRS)을 이용하여 관찰하였다. 실험 결과, 감상 조건에 따라 좌측과 우측 안와전두피질 (Channel 6, Channel 12) 영역에서 감상조건별, 음악구간별 유의한 차이가 관찰되었다 (𝑝 < 0.05).이러한 결과를 바탕으로 공연예술 및 전시, 예술 교육 등의 분야에서 공감각적 예술의 실제 활용 가능 방안을 논의하고자 한다.
Book
Full-text available
WPROWADZENIE Chociaż zjawisko synestezji znane jest od kilkuset lat, w ostatniej dekadzie zainteresowanie synestezją przeżywa niezwykły rozkwit. Aktualnie badania nad synestezją prowadzone są w wielu ośrodkach na świecie, w perspektywie psychologii, kognitywistyki, neurologii, genetyki, medycyny, jak również muzyki, sztuk pięknych i literatury. Niniejsza publikacja wpisuje się w ten nurt rozważań. Przybliża polskiemu czytelnikowi po raz pierwszy światową literaturę naukową, wyjaśniając synestezję z punktu widzenia psychologii różnic indywidualnych, nauk poznawczych i neuropsychologii. Zjawisko synestezji jest tu ukazane z perspektywy nauki i sztuki. Przegląd współczesnych badań naukowych nad synestezją został uzupełniony opisem i analizą własnych doznań synestetycznych autorów niniejszej publikacji, którzy wykorzystują nierzadko synestezję do własnej twórczości artystycznej w dziedzinie muzyki, plastyki czy poezji. Subiektywny opis doświadczeń „z pierwszej ręki” łączy się tu z obiektywnym wglądem w naturę synestezji w perspektywie naukowej, co stanowić może nieocenioną wartość dla badacza tego zjawiska. Czytelnik może porównać też własne doznania z synestetyczną percepcją świata, opisywaną przez autorów tej książki, aby przekonać się, do jakiego stopnia możemy różnie postrzegać otaczający nas świat, jak niezwykłe są nasze zmysły i jak fascynująca może być próba odkrycia zagadki ludzkiego umysłu. Psychologowie dostarczają wyjaśnień teoretycznych, opisując zjawisko, klasyfikując rozliczne rodzaje i typy synestezji, ukazując możliwości jej diagnozy, dokonując przeglądu badań empirycznych. Artyści dostarczają wskazówek praktycznych, opierając się na autorefleksji, studiach przypadków i wywiadach z wybitnymi synestetykami, co pomaga zrozumieć, jak funkcjonuje synestetyk na co dzień, jak wykorzystuje swoje specyficzne możliwości w procesie twórczym. W ten sposób niniejsza książka prezentuje syntetyczny opis zjawiska synestezji, który może zaciekawić zarówno ekspertów, jak i nieprofesjonalistów. Pierwsza część publikacji przedstawia zjawisko synestezji w świetle badań psychologicznych. Justyna Skowronek w artykule „Czy jesteś synestetykiem? O rodzajach i diagnozowaniu synestezji” ukazuje ogromne zróżnicowanie sposobów przejawiania się synestezji i dokonuje próby usystematyzowania jej licznych typów. Artykuł ten wprowadza Czytelnika w tematykę synestezji, prezentując krótką historię psychologicznych badań nad naturą synestezji, jak również przegląd metod badawczych, wykorzystywanych do diagnozowania tego zjawiska. Artykuł Karoliny Czerneckiej „Biologiczne podłoże synestezji” doskonale wpisuje się w dominujący nurt współczesnych badań nad synestezją w perspektywie neuropsychologicznej. Autorka dokonała analizy badań nad biologicznymi korelatami synestezji z wykorzystaniem technik neuroobrazowania. Celem przeglądu rozmaitych teorii i modeli funkcjonowania mózgu synestetyka jest wykrycie neuronalnych mechanizmów powstawania doświadczeń synestetycznych. Wyjaśnienie biologicznych podstaw różnic indywidualnych wśród synestetyków wymaga też prezentacji badań nad odziedziczalnością synestezji i wyznaczenia kierunków dalszych badań. Zwieńczeniem tej części publikacji jest artykuł Aleksandry Rogowskiej, zatytułowany „Czy synestezja jest normalna?” Autorka prezentuje wyniki badań własnych nad zjawiskiem synestezji, rozumianej jako cecha ciągła z silnym i słabym natężeniem na obu biegunach. Na podstawie przeglądu badań z zakresu psychopatologii argumentuje, aby synestezję traktować jako zjawisko normalne o charakterze kompensacyjnym. Część druga książki odnosi się do historii związków między synestezją a sztuką. Iryna I. Boyczuk, w swym artykule pt. „Synestezja jako klucz do poszerzonego odbioru, poznawania i twórczości” prezentuje zjawisko synestezji w kontekście sztuki muzycznej i filmowej. Autorka stawia tezę, iż synestezja stanowi jedną z form abstrakcyjnego asocjacyjnego myślenia twórczego, a wszystkie wywołujące ją zjawiska są wynikiem wzajemnych relacji i wpływu sfery poznawczo-sensorycznej oraz emocjonalnej człowieka. Przegląd teorii, opierających się na wielomodalnym spostrzeganiu natury świata, ukazuje synestezję jako naturalny wytwór ludzkiego myślenia i twórczości w dziedzinie artystycznej jak i naukowej. Rozwinięciem teorii sztuki, wykorzystującej wielomodalną synestezję, jest praca Joanny Ganczarek, zatytułowana „Synestezja w malarstwie jako doświadczenie protomentalne”. Synestezja protomentalna jest stosowana jako środek artystyczny, polegający na integracji informacji wzrokowych i proprioceptywnych. Zgodnie z teorią prezentowaną przez Autorkę, pierwotna synestezyjna fuzja zmysłów stanowi podstawę bardziej złożonych procesów, prowadzących do głębszego doświadczenia dzieła sztuki poprzez włączenie specyficznych odczuć i emocji. Zaprezentowane tu współczesne teorie z pogranicza estetyki i psychologii, kładą nacisk na rolę synestezji w formowaniu ucieleśnionego przeżycia estetycznego. W trzeciej części Czytelnik może zapoznać się z przejawami synestezji w literaturze pięknej. Anna Ginter w rozdziale „Barwne synestezje Vladimira Nabokova” dokonuje szczegółowej analizy językoznawczej rozmaitych dzieł słynnego pisarza, w kontekście jego doznań synestezyjnych. Jak wykazuje Autorka, barwa i wielomodalne skojarzenia odegrały ogromną rolę w twórczości literackiej Nabokova. Niezwykle ciekawe są metapoznawcze próby uchwycenia natury i mechanizmu swych doznań, zaprezentowane przez Nabokova w książkach autobiograficznych. Przejawów synestezji poszukuje też Zuzanna Kozłowska w poezji Haliny Poświatowskiej. W artykule „Synestezyjna poezja Haliny Poświatowskiej” zaprezentowane są dzieła poetki, w których zaznacza się fundamentalna egzaltacja ciała oraz zmysłów. Autorka przedstawia liczne przykłady synestetycznej sensualizacji mowy, pisma, emocji i czasu w twórczości Haliny Poświatowskiej. Synestezyjne splątanie zmysłów potęguje i pogłębia doznawanie rzeczywistości. Jak twierdzi Zuzanna Kozłowska, „synestezja staje się w poezji Poświatowskiej hiperbolą samego istnienia w świecie”. Przykłady wykorzystania synestezji we własnej twórczości artystycznej stanowią zawartość ostatniej części tej publikacji. Cykl otwiera artykuł Szymona S. Strzelca i Anny Sztwiertni pt. „Tysiące odcieni czerni. Synestezja wielomodalna jako mechaniczna podstawa rozumienia w komunikacji i twórczości artystycznej”. Szymon Strzelec opisuje własne doznania synestezyjne w kontekście pracy kompozytorskiej. Autorzy przedstawiają wyniki własnego eksperymentu artystycznego, w którym muzyka, skomponowana przez Szymona Strzelca, została przetworzona na język graficzny przez Annę Sztwiertnię. Synestezja jest tu widziana jako jeden z głównych katalizatorów postępu twórczości w epoce wczesnego posthumanizmu. W artykule „Barwna emanacja sztuki. Wykorzystanie polimodalnej synestezji w twórczości muzycznej i poetyckiej” Monika Kozakiewicz ukazuje zjawisko synestezji w twórczości kompozytorskiej Aleksandra Skriabina i Oliviera Messiaena. Synestezja nie zawsze pozytywnie wpływa na twórczość i codzienne życie, jak wynika z przeglądu studiów przypadków pacjentów Olivera Sacksa. Autorka przedstawia też przykłady przenikania wielomodalnych wrażeń synestetycznych do własnej twórczości muzycznej i poetyckiej, nadając doświadczeniom estetycznym nowego wymiaru. Artykuł Marty Mołodyńskiej-Wheeler, pt. „Synestezja – implikacje praktyczne w pracy muzyka i anglisty” jest swoistym „studium własnego przypadku”. Autorka przytacza liczne opisy własnych doznań synestezyjnych (językowych i muzycznych), jak również podaje wiele przykładów wykorzystywania synestezji w nauce języków obcych, zapamiętywaniu ważnych informacji i interpretacji utworów muzycznych. Niekiedy też synestezja prowadzi do zamieszania czy chaosu informacyjnego, prowokując dyskusję nad przydatnością tego zjawiska w codziennym życiu. Niniejsza monografia jest jedną z nielicznych polskich publikacji na temat synestezji. Do zapoznania się z jej zawartością zachęcamy psychologów, pedagogów, artystów, osoby zainteresowane niezwykłymi zjawiskami percepcyjnymi oraz samych synestetyków. Mamy nadzieję, że książka ta przybliży szerokiemu gronu polskich czytelników to fascynujące zjawisko, jakim jest synestezja. dr hab. Aleksandra Rogowska, prof. UO Instytut Psychologii, Uniwersytet Opolski dr Julia Kaleńska-Rodzaj, Katedra Psychologii, Uniwersytet Pedagogiczny w Krakowie, Krakowski Ośrodek Doradztwa dla Artystów "KODA"
Article
Full-text available
We have used positron emission tomography to study the functional anatomy of motor sequence learning. Subjects learned sequences of keypresses by trial and error using auditory feedback. They were scanned with eyes closed under three conditions: at rest, while performing a sequence that was practiced before scanning until overlearned, and while learning new sequences at the same rate of performance. Compared with rest, both sequence tasks activated the contralateral sensorimotor cortex to the same extent. Comparing new learning with performance of the prelearned sequence, differences in activation were identified in other areas. (1) Prefrontal cortex was only activated during new sequence learning. (2) Lateral premotor cortex was significantly more activated during new learning, whereas the supplementary motor area was more activated during performance of the prelearned sequence. (3) Activation of parietal association cortex was present during both motor tasks, but was significantly greater during new learning. (4) The putamen was equally activated by both conditions. (5) The cerebellum was activated by both conditions, but the activation was more extensive and greater in degree during new learning. There was an extensive decrease in the activity of prestriate cortex, inferotemporal cortex, and the hippocampus in both active conditions, when compared with rest. These decreases were significantly greater during new learning. We draw three main conclusions. (1) The cerebellum is involved in the process by which motor tasks become automatic, whereas the putamen is equally activated by sequence learning and retrieval, and may play a similar role in both. (2) When subjects learn new sequences of motor actions, prefrontal cortex is activated. This may reflect the need to generate new responses. (3) Reduced activity of areas concerned with visual processing, particularly during new learning, suggests that selective attention may involve depressing the activity of cells in modalities that are not engaged by the task.
Article
Clinical evidence is presented which links the anterior inferior part of the occipital lobe with colour perception in man. A review of the literature suggests that bilateral lesions at this site may cause persisting impairment of colour perception (achromatopsia) with preservation of primary visual function. This is discussed in relation to relevant experiments in animals. Achromatopsia is commonly associated with prosopagnosia (inability to recognize familiar faces) and impaired topographical memory, but published reports suggest that these three disorders may be dissociated from one another and they therefore appear to be functionally distinct.