Conference PaperPDF Available

予測する脳の予測 (心のデジタルツインを目指して) Predicting the Predictive Brain (Toward Digital-Twin of Mind)

  • September 2022
  • Conference: 日本機械学会年次大会（招待講演） JSME annual meeting 2022
Authors:
Hideyoshi Yanagisawa at The University of Tokyo
Hideyoshi Yanagisawa
Download full-text PDF
Read full-text
Download citation

Abstract and Figures

The brain always predicts the world. We see brain's predictions as the world. Sensory observations are the only source of correction for predictions. Our perception is an estimate based on predictions and sensory observations. This estimation follows Bayes' theorem. Prediction error is calculated as information surprise. The brain recognizes the world by minimizing prediction errors. This essential function of the brain and its mathematical model explains and predicts human perception, emotions and self-awareness. We discuss how to apply the brain model toward human-centered society.
Figures - uploaded by Hideyoshi Yanagisawa
Author content
All figure content in this area was uploaded by Hideyoshi Yanagisawa
Content may be subject to copyright.
Content uploaded by Hideyoshi Yanagisawa
Author content
All content in this area was uploaded by Hideyoshi Yanagisawa on Sep 17, 2022
Content may be subject to copyright.
[No.22-1] 日本機械学会 2022 年度年次大会 〔2022.9.11-14，富山大学〕
予測する脳の予測
（心のデジタルツインを目指して）
Predicting the Predictive Brain
(Toward Digital-Twin of Mind)
柳澤 秀吉
Hideyoshi YANAGISAWA
東京大学 The University of Tokyo
The brain always predicts the world. We see brain’s predictions as the world. Sensory observations are the only source of
correction for predictions. Our perception is an estimate based on predictions and sensory observations. This estimation
follows Bayes’ theorem. Prediction error is calculated as information surprise. The brain recognizes the world by
minimizing prediction errors. This essential function of the brain and its mathematical model explains and predicts human
perception, emotions and self-awareness. We discuss how to apply the brain model toward human-centered society.
Key Words : Brain, Prediction, Bayes, Perception, Emotion, Agency.
1. はじめに
人間中心の社会の実現には、物質的な豊かさの追求から脱却し、心の豊かさをもたらす循環型のモノづくり
が重要となる。心の豊かさをモノづくりの文脈で扱うためには、ヒトの認識や感性をつかさどる脳の働きを理解
し、モノの設計で使えるモデルの整備が求められる。たとえば、新技術の導入に対する安心や受容性、モノの使
用における主体感といった認知はどのような脳のメカニズムで説明できるか。そして、どのような条件でそれら
の認識や感情が生じるのか。これらの解明は、心を豊かにする認識や感情をもたらすモノやサービスを作るため
の指針となる。さらに、それらの認識や感情の仕組みを計算機に実装可能な形で数理的にモデル化できれば、心
の豊かさの実現に資するモノづくりを根本から支援できる。
本講演では、さまざまな認知や感情が、脳の本質的な機能からモデル化しうることを、筆者らの感性設計研
究を踏まえて説明する。そして、その数理的な枠組みの導出される法則性や応用事例について紹介する。
2. 脳の本質：予測と予測誤差
我々人間は、五感を介して外界の物理現象（光や音）を神経の電気活動に変換し脳へ伝える。五感をセンサ、
脳を計算機に例えて、センサの信号を脳が処理することで外界を認識すると考える。このような、人間を機械に
見立てた捉え方が、巷では未だにポピュラーであるように思われる。しかし、現代の神経科学は、これとは逆方
向の信号の流れ、すなわち予測を認識の基本と考える。脳は経験によって学習された世界についてのモデルを持
ち、そのモデルを用いて感覚の予測信号を出力する。そして、この予測された感覚信号の原因を推論する。これ
が、認識である。このとき、モデルによる予測信号は、五感を介して観測された信号と比較され、その差を予測
誤差として計算する。そして、予測誤差が最小になるように認識を調節する。このように、予測信号の出力、予
測誤差の計算、予測誤差による推論の更新のくりかえしが脳の本質的な働きである。
我々は、五感に入力される光や音自体を見たり聞いたりしているのではなく、それらがもたらす予測誤差に
よって修正される予測を見たり聞いりしているのである。こうすることで、五感を介して入力される観測の信号
がノイズにまみれていても、あるいは脳に到達するまでの伝達時間が感覚によって異なっても、さらには感覚入
力が欠けていたとしても、世界を安定して認識できる。たとえば、我々の眼球は、30ms 以下の高速な跳躍運動
と300ms 以上の固視を交互に行っている。実は、跳躍時には視覚信号が抑制され、脳にほとんど伝わらない。に
もかかわらず、視野が安定して連続的に見えるのは、脳内モデルが作り出した予測を見ているからである。極言
[No.22-1] 日本機械学会 2022 年度年次大会 〔2022.9.11-14，富山大学〕
すれば、我々は脳が作り出したイリュージョンを見ているのであって、このイリュージョンを五感の観測信号に
よって随時修正しているのである。
2. ベイズ脳とサプライズ
このような脳の働きは、ベイズ推論を用いて簡単な数式で書ける。まず、五感を介した電気信号を観測 o、そ
の観測をもたらした原因の状態を sとする。たとえば、リンゴを見る場合、リンゴの色や形が sであり、その光
を網膜の視細胞で変換した電気信号が oである。このとき、脳内で学習されているモデルを同時確率分布 p(o, s)
で表す。これは、結果 oと原因 sが同時に発生する確率の分布である。我々は生まれてこの方、oとsのペアを
経験しており、この経験を統計的にモデルとして学習する。さて、条件付確率の定義から、p(o, s)= p(s| o) p(o) =
p(o|s) p(s)の様に二つの方法で因子分解できる。両辺を p(o)で割れば、ベイズの定理の完成である (Fig. 1)。
𝑝󰇛𝑠|𝑜󰇜𝑝󰇛𝑜|𝑠󰇜𝑝󰇛𝑠󰇜
𝑝󰇛𝑜󰇜
ここで、事後分布 p(s| o)が、観測 oを得た上での原因 sの分布を表し、観測 oに対する原因の推論、すなわち s
の認識に対応する。事前分布 p(s)は観測 oを得る前の sの期待である。尤度 p(o|s)は、観測 oの原因としての sの
尤もらしさである。このように、ベイズの定理は、観測前の予測 p(s)を、観測後の p(s| o)に更新するための法則
である。ここで、右辺分母 𝑝󰇛𝑜󰇜∑𝑝󰇛𝑜,𝑠󰇜
は，観測 oのすべての原因に対して尤度の和を取った周辺尤度で
ある。これは、モデル証拠とも呼ばれ、モデルによる予測を支持する観測 oに対して高い値をとる。実験のアナ
ロジーでいえば、仮説（モデル）を支持する結果 oは証拠を与える。
モデル証拠の負の対数log 𝑝󰇛𝑜󰇜は、サプライズと呼ばれる。モデル予測において確率の低い観測を得た時に
脳は驚く。そして、このサプライズこそが脳が計算する予測誤差に対応する。確率の負の対数は情報量を意味す
る。脳は情報処理装置であり、脳が処理する予測誤差は情報量（サプライズ）として表される。モデル証拠を最
大にする（サプライズを最小にする）原因 sの確率が最大事後確率である。このことから、予測誤差（サプライ
ズ）を最小にするように予測（認識）を更新する仕組みが、ベイズの定理によって表現される。
Fig. 1 Bayesian estimate explains human perception. (Yanagisawa, 2016)
4. 正確さと精度
観測や予測は確率的であり、その正確さ（accuracy）と精度（precision）が問題となる。正確さは真の値にどれ
だけ近いかである。一方、精度はデータのばらつきの少なさである。的に矢を射る例で説明しよう。複数回、矢
を射るとすると、中心の的からのズレの平均が正確さである。一方、複数の矢の間の距離の近さが精度である。
観測の分布を正規分布で表すとすれば、サプライズは平均からのズレ（偏差）を分散で割った値に比例する。こ
こで、平均からのズレが正確さ、分散の逆数が精度に対応する。しかし、ここでの平均は脳の予測であるから、
真値である保証はない。観測が事実だと認めれば、観測からの予測の逸脱を意味する。そして、その逸脱と精度
の掛け算がサプライズ（脳が処理する予測誤差）となる。つまり、予測と観測の差だけでなく、精度が脳の予測
誤差を増加させる。
認識はベイズの事後分布で表せると説明した。事後分布が正規分布に従うとき、その期待値は予測（事前分
布）の期待値と観測による尤度の期待値を、それぞれの精度で重みづけた値に比例する。これは、予測と観測の
うち、精度の高い方に事後分布の期待値（認識）が近づくことを意味する。
[No.22-1] 日本機械学会 2022 年度年次大会 〔2022.9.11-14，富山大学〕
このように、認識やサプライズ（予測誤差）には、精度が重要な枠割を担う。予測の精度は、知識や経験、ま
たは事前の情報によって高まる。観測の精度は、感覚の種類、注意の度合い、感覚刺激のばらつきによって変化
する。
5. 予測する脳の予測 ～認識・感情・主体感
5・1 認識はベイズ推論に従う
我々の知覚、認識は、ベイズの事後分布に従う。たとえば、筆者らの最近の研究で、電気自動車のバッテリ
残量の認識がベイズ推定の事後分布に従うことが分かった(Yanagisawa et al., 2022) (Fig. 2)。バッテリー残量をメー
タで正確に提示しても、ドライバはそれとは異なる予測や認識をする。実際（メータ）と認識のズレは、ドライ
バを不安にさせ、適切な充電行動の阻害する。ベイズ推論でドライバの認識をモデル化できれば、メータ（尤度）
と認識（事後分布）とのずれを予測し、これを最小化するメータ表示の設計に応用できる。
このような認識と実際のズレは、安全と安心の文脈においても重要である。安全と安心の不一致は、様々な
問題を引き起こす。たとえば、自動運転や AI などの新しい技術を考えたとき、安全であるが安心できない場合
は、それらの技術の社会受容性を低下させ、それらの普及へのブレーキとなる。一方、安全を過信すれば、それ
らの技術の使用において不安全な行動が促進されるかもしれない。このような安全と安心の不一致の問題も、尤
度（実際）と事後分布（認識）の間のズレとして表せる（柳澤, 2021）。
筆者らは、このズレを期待効果と呼び、ベイズ推論を用いて期待効果をモデル化した(Yanagisawa, 2016)。期待
効果のモデルを用いると、錯覚やクロスモーダル（感覚間交互作用）をも予測することができる。実際、これま
で発見されていなかった重さについての錯覚現象をモデルで予測し実験により確認している。期待効果のモデル
を用いると、同化と対比という二つの認知バイアス（または錯覚）の発生条件を、予測誤差と精度によって統一
的に説明、予測できる。
Fig. 2 (Left)Man–machine system model of the SOC(Stage of charge) in an EV. Driver’s estimate follows Bayesian posterior given observations.
(Right) Experimental result of deviation between observed and recognized SOCs versus deviation between observed and predicted SOCs.
Recognized SOCs attracted to predicted SOCs. This supports Bayesian perception model. (Yanagisawa et al., 2022)
5・2 感情はサプライズとその変動である
感情のある側面は、サプライズ（脳の予測誤差）を用いて説明、予測されうる。様々な感情は、覚醒度と感
情価の２軸が張る空間の座標として位置づけられる。覚醒度は感情の強さ、感情価は快不快などのポジティブと
ネガティブを両極に持つ軸である。例えば、「驚き」という感情は、覚醒度が高く感情価がニュートラルであ
る。筆者らは、覚醒度がサプライズを用いて説明できると考えている(Yanagisawa, 2021)。サプライズは、脳が計
算する予測誤差であった。予想と異なる事象を経験したときに、人は驚き、強い感情を持つ。サプライズをベイ
ズの定理を使って展開すると、新奇性、不確かさ、複雑さがもたらす情報量の和となる。新しくて不確かで複雑
な事象に直面した時に、人は強い感情を覚えるのである。サプライズが増加すれば、不安などのネガティブな感
Receptor
Effector
Decision
Display
Operator
Mechanism
Man(a driver) Machine (EV car)
Real SOC
External environment
u
z
x
Recognized
SOC
(|)
p
xz
Observation
Operational input
-20 -15 -10 -5 0 5 10 15 20
Prediction error: deviation between observed and predicted SOCs
-15
-10
-5
0
5
10
15
20
Deviation form observed SOC to recognized SOC
Large
Medium 1
Small
Medium 2
[No.22-1] 日本機械学会 2022 年度年次大会 〔2022.9.11-14，富山大学〕
情が引き起こされるであろう。逆に、サプライズが減少すれば、安心といったポジティブな感情となるであろ
う。このように、サプライズの増減によって、感情価の側面を説明、予測しうる(Joffily & Coricelli, 2013)。
一方で、適度な覚醒は、人々に好奇心や興味を持たせる。この適度な覚醒度を最適覚醒水準という(Berlyne,
1970; Yanagisawa et al., 2019)。最適覚醒水準は、美学において美しさを規定する重要な要素である。筆者らは、サ
プライズの考え方を用いて、美しいデザインを生成するシステムの開発に取り組んでいる (本多, 柳澤, 2022)。こ
のシステムは、覚醒度を構成する新奇性と複雑さを独立に操作した形状の生成が可能である。これにより、最適
覚醒水準となる新奇性と複雑さを持つ形状を探索することができる。このように、美の評価関数をモデル化する
ことで、機能とデザイン性を両立した最適設計が可能となる。
Fig. 3 (Left)Arousal potential level(Yanagisawa, 2021). (Right) Shape generation system based on arousal potential theory
(Honda, Yanagisawa, 2022).
5・3 主体感は行動のサプライズである
主体感とは、結果を引き起こしたのは自分であるという信念である(Frith et al., 2000; Haggard, 2017)。自分の主体
性によって、体や道具を動かしている感覚とも言える。自動車の運転を例として考えると、ドライバにとっての
主体感とは、まさに自分が自動車を運転しているという感覚である。たとえば、車がコーナーを綺麗に曲がった
（結果）のは、自分のステアリング操作によるものであるという信念である。主体感を伴う運転は、運転の楽し
さ（Driving pleasure）に寄与する。また、操作の結果の責任感にも影響する。
しかし、主体感は、実際と一致するとは限らない。自分が引き起こした行為の結果であっても主体感を覚え
ない場合がある。逆に、他人や機械が引き起こした結果であっても主体感を覚えることもある。総合失調症患者
の中には、自身が身体を動かしているにも関わらず自分が動かしている実感がない症例を示すものがいる(Frith
et al., 2000)。誰かに自分が動かされているような感覚であるという。このような主体感の欠如は QOL(Quality of
Life)を著しく低下させる。
自動運転や ADAS（先進運転支援システム）においては、システムによる介入操作とドライバの運転操作が混
在する場合がある。このような場合、主体感は、車の挙動が自身の操作によってなされたのか、システムの介入
によってなされたのかの認識に関わる。この認識をドライバが誤ると、不安全な操作を誘発しかねない。このよ
うに、主体感は、機械操作を含む人々の行動における安全性、責任感、楽しさ、やりがいなど、様々な価値に影
響する。哲学者ギャラガーによると、主体感は、最小限の自己（minimal self）を構成する要素であり、自分であ
ることの必要条件でもある(Gallagher, 2000)。
主体感は、行動の結果の予測と実際の差が大きいときに低下する。たとえば、ロボットアームを介して自分
をくすぐる実験がある(Blakemore et al., 1999)。ロボットアームを介してくすぐってもくすぐったくない。なぜな
ら、自分が起こした行動によってロボットアームが動くため、その動きが予想通りだからである。一方、ロボッ
トアームの動きに 300ms 程度の遅延を加えるとくすぐったくなってくる。遅延があると、ロボットアームの動
きの予測がし難くなるためである。これは、他人にくすぐられるとくすぐったい理由と同じである。このよう
に、わずか 300ms 程度の遅れで、自分が自分でなくなる、つまり主体感が低下することが分かる。筆者らは、
行動の予測とその結果との差をサプライズ（脳が処理する予測誤差）で表し、これが主体感を説明すると考え、
[No.22-1] 日本機械学会 2022 年度年次大会 〔2022.9.11-14，富山大学〕
実験により検証した(Taniyama et al., 2021)。この主体感のサプライズモデルを用いて主体感を予測し、これを適切
に制御するための研究を行っている。
6. おわりに
脳は世界を予測する。我々が、見て、聴いて、触って、嗅いで、味わっているこの世界は、脳が作り出した
予測なのである。五感によって観測される感覚のデータは、この予測を修正する材料に過ぎない。予測と観測の
差である予測誤差を最小化(Friston, 2010)するように予測を修正する。このプロセスは、ベイズ推定によって説明
され、予測誤差はサプライズと呼ばれる情報量として計算される。このサプライズが、感情や主体感を説明する。
このように、ベイズ推定とサプライズを用いることで、脳の働きを数理的にモデル化できる。そして、その数理
モデルを用いて、「予測する脳」が世界をどのように認識し、どのような感情を覚えるか、さらには自分である
ことの認識をいかに獲得するかを説明、予測する。ベイズ推論にもとづく脳の数理モデルの研究は、近年、急速
に発展してきている。今後、これらの数理モデルを応用して計算機に実装しデジタル脳をつくることで、ヒトを
含む世界のデジタルツインの構築ができるかもしれない。その様な技術を、いかに社会を良くするために応用す
るか－ 議論する時が来ている。
謝 辞
本稿で紹介した研究の一部は、科研費 21H03528 の支援を受けて実施した。
文 献
Berlyne, D. E. (1970). Novelty, complexity, and hedonic value. Perception & Psychophysics, 8(5), 279–286.
Blakemore, S. J., Frith, C. D., & Wolpert, D. M. (1999). Spatio-temporal prediction modulates the perception of self-produced stimuli.
Journal of Cognitive Neuroscience, 11(5), 551–559.
Friston, K. (2010). The free-energy principle: a unified brain theory? Nature Reviews. Neuroscience, 11(2), 127–138.
Frith, C. D., Blakemore, S. J., & Wolpert, D. M. (2000). Abnormalities in the awareness and control of action. Philosophical Transactions of
the Royal Society of London. Series B, Biological Sciences, 355(1404), 1771–1788.
Gallagher, I., I. (2000). Philosophical conceptions of the self: implications for cognitive science. Trends in Cognitive Sciences, 4(1), 14–21.
Haggard, P. (2017). Sense of agency in the human brain. Nature Reviews. Neuroscience, 18(4), 196–207.
Joffily, M., & Coricelli, G. (2013). Emotional valence and the free-energy principle. PLoS Computational Biology, 9(6), e1003094.
Taniyama, K., Maki, T., & Yanagisawa, H. (2021). Modeling Sense of Agency using Free Energy. International Symposium on Affective
Science and Engineering, ISASE2021, 1–4. https://doi.org/10.5057/isase.2021-C000011
Yanagisawa, H. (2016). A computational model of perceptual expectation effect based on neural coding principles. Journal of Sensory Studies,
31(5), 430–439.
Yanagisawa, H. (2021). Free-Energy Model of Emotion Potential: Modeling Arousal Potential as Information Content Induced by
Complexity and Novelty. Frontiers in Computational Neuroscience, 15, 107.
Yanagisawa, H., Kawamata, O., & Ueda, K. (2019). Modeling Emotions Associated With Novelty at Variable Uncertainty Levels: A
Bayesian Approach. Frontiers in Computational Neuroscience, 13(2). https://doi.org/10.3389/fncom.2019.00002
Yanagisawa, H., Miyamoto, M., & Arima, S. (2022). Modelling of State of Charge Recognition: Use of a Bayesian Approach to Formulate
Hidden State Perceptions and Emotions. International Journal of Intelligent Transportation Systems Research.
https://doi.org/10.1007/s13177-022-00313-5
柳澤秀吉，期待としての安心感とその数理，安全工学シンポジウム 2021.
本多詩聞，柳澤秀吉，形状における新奇性と複雑さの定式化と逆問題への応用，日本デザイン学会春季大会，2022.
ResearchGate has not been able to resolve any citations for this publication.
Free-Energy Model of Emotion Potential: Modeling Arousal Potential as Information Content Induced by Complexity and Novelty
Article
Full-text available
  • Nov 2021
Appropriate levels of arousal potential induce hedonic responses (i.e., emotional valence). However, the relationship between arousal potential and its factors (e.g., novelty, complexity, and uncertainty) have not been formalized. This paper proposes a mathematical model that explains emotional arousal using minimized free energy to represent information content processed in the brain after sensory stimuli are perceived and recognized (i.e., sensory surprisal). This work mathematically demonstrates that sensory surprisal represents the summation of information from novelty and uncertainty, and that the uncertainty converges to perceived complexity with sufficient sampling from a stimulus source. Novelty, uncertainty, and complexity all act as collative properties that form arousal potential. Analysis using a Gaussian generative model shows that the free energy is formed as a quadratic function of prediction errors based on the difference between prior expectation and peak of likelihood. The model predicts two interaction effects on free energy: that between prediction error and prior uncertainty (i.e., prior variance) and that between prediction error and sensory variance. A discussion on the potential of free energy as a mathematical principle is presented to explain emotion initiators. The model provides a general mathematical framework for understanding and predicting the emotions caused by novelty, uncertainty, and complexity. The mathematical model of arousal can help predict acceptable novelty and complexity based on a target population under different uncertainty levels mitigated by prior knowledge and experience.
View
Modeling Sense of Agency using Free Energy
Article
Full-text available
  • Jan 2021
Sense of agency is the sense that an event is caused by oneself. In the context of man-machine interfaces, it has been proposed that the prediction error of a sensory outcome decreases the sense of agency. We assume that the information content of the sensory response represents the prediction error and thus explains the extent of sense of agency. We use the negative free energy as the information content and formulate the extent of sense of agency as a function of prediction error and sensory precision. The model predicts an interaction effect between the prediction error and sensory precision on the sense of agency. We conducted an experiment through a mouse-clicking task with participants. Between single cue and multiple cues, sensory responses are compared with respect to the effect of response delay as a prediction error on participants’ reported sense of agency value. According to the cue integration model, multiple cues provide more temporal precision of sensory response than a single cue. The results of the experiment supported the interaction effect predicted by the proposed free energy model. Therefore, negative free energy works as a mathematical index of sense of agency.
View
Modeling Emotions Associated With Novelty at Variable Uncertainty Levels: A Bayesian Approach
Article
Full-text available
  • Jan 2019
Acceptance of novelty depends on the receiver's emotional state. This paper proposes a novel mathematical model for predicting emotions elicited by the novelty of an event under different conditions. It models two emotion dimensions, arousal and valence, and considers different uncertainty levels. A state transition from before experiencing an event to afterwards is assumed, and a Bayesian model estimates a posterior distribution as being proportional to the product of a prior distribution and a likelihood function. Our model uses Kullback-Leibler divergence of the posterior from the prior, which we termed information gain, to represent arousal levels because it corresponds to surprise, a high-arousal emotion, upon experiencing a novel event. Based on Berlyne's hedonic function, we formalized valence as a summation of reward and aversion systems that are modeled as sigmoid functions of information gain. We derived information gain as a function of prediction errors (i.e., differences between the mean of the posterior and the peak likelihood), uncertainty (i.e., variance of the prior that is proportional to prior entropy), and noise (i.e., variance of the likelihood function). This functional model predicted an interaction effect of prediction errors and uncertainty on information gain, which we termed the arousal crossover effect. This effect means that the greater the uncertainty, the greater the information gain for a small prediction error. However, for large prediction errors, greater uncertainty means a smaller information gain. To verify this effect, we conducted an experiment with participants who watched short videos in which different percussion instruments were played. We varied uncertainty levels by using familiar and unfamiliar instruments, and we varied prediction error magnitudes by including congruent or incongruent percussive sounds in the videos. Event-related potential P300 amplitudes and subjective reports of surprise in response to the percussive sounds were used as measures of arousal levels, and the findings supported the hypothesized arousal crossover effect. The concordance between our model's predictions and our experimental results suggests that Bayesian information gain can be decomposed into uncertainty and prediction errors and is a valid measure of emotional arousal. Our model's predictions of arousal may help identify positively accepted novelty.
View
A computational model of perceptual expectation effect based on neural coding principles
Article
Full-text available
Abstract: Prior expectation affects posterior perceptual experience. This contextual bias is called expectation effect. Previous studies have observed two different patterns of expectation effect: contrast and assimilation. Contrast magnifies the perceived incongruity, and assimilation diminishes the incongruity. This study proposes a computational model that explains the conditions of contrast and assimilation based on neural coding principles. This model proposed that prediction error, uncertainty, and external noise affected the expectation effect. Computer simulations with the model show that the pattern of expectation effect shifted from assimilation to contrast as the prediction error increased, uncertainty decreased the extent of the expectation effect, and external noise increased the assimilation. We conducted an experiment on the size–weight illusion (SWI) as a case of the cross-modal expectation effect and discussed correspondence with the simulation. We discovered conditions where the participants perceived bigger object to be heavier than smaller one, which contradicts to conventional SWI. Practical applications: Expectation effect in sensory perception represents a perceptual bias caused by prior expectation, such as illusions and cross-modality. The computational model proposed in this study guides researchers and practitioners who investigate this bias in sensory studies to set a hypothesis with appropriate experimental factors. For example, the model suggests that prediction error can be used as a main factor to identify a condition at which assimilation switches over to contrast. The model provided how expectation uncertainty and noise of stimulus affect the switchover point of prediction error and extent of expectation effect. Uncertainty, which may differ from person to person, can be used as a factor to explain personal differences in the extent of expectation effect.
View
Emotional Valence and the Free-Energy Principle
Article
Full-text available
The free-energy principle has recently been proposed as a unified Bayesian account of perception, learning and action. Despite the inextricable link between emotion and cognition, emotion has not yet been formulated under this framework. A core concept that permeates many perspectives on emotion is valence, which broadly refers to the positive and negative character of emotion or some of its aspects. In the present paper, we propose a definition of emotional valence in terms of the negative rate of change of free-energy over time. If the second time-derivative of free-energy is taken into account, the dynamics of basic forms of emotion such as happiness, unhappiness, hope, fear, disappointment and relief can be explained. In this formulation, an important function of emotional valence turns out to regulate the learning rate of the causes of sensory inputs. When sensations increasingly violate the agent's expectations, valence is negative and increases the learning rate. Conversely, when sensations increasingly fulfil the agent's expectations, valence is positive and decreases the learning rate. This dynamic interaction between emotional valence and learning rate highlights the crucial role played by emotions in biological agents' adaptation to unexpected changes in their world.
View
Spatio-Temporal Prediction Modulates the Perception of Self-Produced Stimuli
Article
Full-text available
  • Oct 1999
We investigated why self-produced tactile stimulation is perceived as less intense than the same stimulus produced externally. A tactile stimulus on the palm of the right hand was either externally produced, by a robot or self-produced by the subject. In the conditions in which the tactile stimulus was self-produced, subjects moved the arm of a robot with their left hand to produce the tactile stimulus on their right hand via a second robot. Subjects were asked to rate intensity of the tactile sensation and consistently rated self-produced tactile stimuli as less tickly, intense, and pleasant than externally produced tactile stimuli. Using this robotic setup we were able to manipulate the correspondence between the action of the subjects' left hand and the tactile stimulus on their right hand. First, we parametrically varied the delay between the movement of the left hand and the resultant movement of the tactile stimulus on the right hand. Second, we implemented varying degrees of trajectory perturbation and varied the direction of the tactile stimulus movement as a function of the direction of left-hand movement. The tickliness rating increased significantly with increasing delay and trajectory perturbation. This suggests that self-produced movements attenuate the resultant tactile sensation and that a necessary requirement of this attenuation is that the tactile stimulus and its causal motor command correspond in time and space. We propose that the extent to which self-produced tactile sensation is attenuated (i.e., its tickliness) is proportional to the error between the sensory feedback predicted by an internal forward model of the motor system and the actual sensory feedback produced by the movement.
View
Gallagher, S. 2000. Philosophical Conceptions of the Self: Implications for Cognitive Science
Article
Full-text available
  • Feb 2000
Several recently developed philosophical approaches to the self promise to enhance the exchange of ideas between the philosophy of the mind and the other cognitive sciences. This review examines two important concepts of self: the 'minimal self', a self devoid of temporal extension, and the 'narrative self', which involves personal identity and continuity across time. The notion of a minimal self is first clarified by drawing a distinction between the sense of self-agency and the sense of self-ownership for actions. This distinction is then explored within the neurological domain with specific reference to schizophrenia, in which the sense of self-agency may be disrupted. The convergence between the philosophical debate and empirical study is extended in a discussion of more primitive aspects of self and how these relate to neonatal experience and robotics. The second concept of self, the narrative self, is discussed in the light of Gazzaniga's left-hemisphere 'interpreter' and episodic memory. Extensions of the idea of a narrative self that are consistent with neurological models are then considered. The review illustrates how the philosophical approach can inform cognitive science and suggests that a two-way collaboration may lead to a more fully developed account of the self.
View
Abnormalities in the Awareness and Control of Action
Article
Full-text available
  • Feb 2001
Much of the functioning of the motor system occurs without awareness. Nevertheless, we are aware of some aspects of the current state of the system and we can prepare and make movements in the imagination. These mental representations of the actual and possible states of the system are based on two sources: sensory signals from skin and muscles, and the stream of motor commands that have been issued to the system. Damage to the neural substrates of the motor system can lead to abnormalities in the awareness of action as well as defects in the control of action. We provide a framework for understanding how these various abnormalities of awareness can arise. Patients with phantom limbs or with anosognosia experience the illusion that they can move their limbs. We suggest that these representations of movement are based on streams of motor commands rather than sensory signals. Patients with utilization behaviour or with delusions of control can no longer properly link their intentions to their actions. In these cases the impairment lies in the representation of intended movements. The location of the neural damage associated with these disorders suggests that representations of the current and predicted state of the motor system are in parietal cortex, while representations of intended actions are found in prefrontal and premotor cortex.
View
Sense of agency in the human brain
Article
In adult life, people normally know what they are doing. This experience of controlling one's own actions and, through them, the course of events in the outside world is called 'sense of agency'. It forms a central feature of human experience; however, the brain mechanisms that produce the sense of agency have only recently begun to be investigated systematically. This recent progress has been driven by the development of better measures of the experience of agency, improved design of cognitive and behavioural experiments, and a growing understanding of the brain circuits that generate this distinctive but elusive experience. The sense of agency is a mental and neural state of cardinal importance in human civilization, because it is frequently altered in psychopathology and because it underpins the concept of responsibility in human societies.
View
Novelty, complexity, and hedonic value
Article
  • Sep 1970
Two experiments, in which Ss were exposed to sequences of colored shapes, investigated effects on ratings of “pleasingness” and “interestingness” of variables that had previously been shown to affect ratings of “novelty.” The results indicate, on the whole, that both pleasingness and interestingness increase with novelty. These findings run counter to those of experiments indicating an inverse relation between novelty and verbally expressed preference. Two further experiments examined effects of some variables that might account for this apparent discrepancy. Homogeneous sequences declined in judged “pleasantness” more than sequences in which several stimuli were interspersed, and simple stimuli became less pleasant as they became less novel, while complex stimuli declined less or became more pleasant. The findings are related to hypotheses regarding mechanisms of hedonic value. Two crucial predictions were confirmed in a fifth experiment.
View