Name: Satoshi Nishida; 西田知史

Degree: Ph.D. (Medicine); 博士 (医学)

Affiliations:

E-Mail: s-nishida a-t-m-a-r-k nict.go.jp

ResearchGate: https://www.researchgate.net/profile/Satoshi_Nishida

Researchmap: http://researchmap.jp/s-nishida/

Research Experience

Education

Awards and Honors

Scientific Societies

Research Topics

(1) Integration of Brain Information into Artificial Intelligence: 人工知能（AI）への脳情報統合

Recent developments in artificial intelligence (AI), including deep learning, are remarkable. On specific types of pattern-recognition tasks, AI shows higher performance than humans. However, improving the performance of AI does not necessarily mean that the perception and cognition of AI approach to that of humans. The future society in which people and AI live in harmony requires AI that behaves like humans and is acceptable to humans. Towards the realization of such AI, we are trying to develop new techniques to make AI behavior closer to human behavior by integrating brain information into AI. In a study we presented at the AAAI conference in 2020, which is one of the top conferences in the field of AI, we proposed a technique for incorporating brain activity into deep neural networks (DNNs) for deep learning. We then demonstrated that this brain-integrated DNN shows higher performance in estimating cognitive labels associated with video inputs [1] (see figure). We also apply this technique to a commercial service provided by NTT DATA Inc. to evaluate cognition induced by audiovisual contents [2]. We are also working on research projects that aim to apply this technique to other sensory modalities and realize new AI reflecting individual differences in perception and cognition.

深層学習をはじめとする近年のAI技術の発展には目覚ましいものがあります。特定のパターン認識課題においては、AIが人間の能力を上回る性能を発揮しています。しかし、AIの能力を高めることが、必ずしもAIが行う知覚や認知を人間が行う知覚や認知へ近づけることを意味しません。将来、AIが人間と共存する社会を実現するためには、人間らしい知覚や認知を行い、人間に寄り添うAIの誕生が望まれます。そこで私たちの研究グループでは、脳情報をAIに統合し、AIの知覚・認識を人間に近づけるための技術開発を行っています。2020年にAI分野のトップ会議AAAIにて発表した研究では、深層学習に用いられる深層ニューラルネットワーク（DNN）に脳活動を組み込むことで、映像入力からその映像と結びついた人間らしい認知ラベルを推定する課題において、DNNの推定性能を向上させることに成功しました [1]（下図を参照）。この技術は、株式会社NTTデータが実施する、視聴覚コンテンツの感性評価サービスにも利用されています [2]。現在、この技術を基盤として、他種の感覚入力への応用や、個性を持ったAIの実現を目指した研究にも取り組んでいます。

[1] Nishida S, Nakano Y, Blanc, A, Maeda N, Kado M, Nishimoto S. Brain-mediated Transfer Learning of Convolutional Neural Networks. Proceedings of the Thirty-Fourth AAAI Conference on Artificial Intelligence, 34(4):5281–5288, 2020. https://doi.org/10.1609/aaai.v34i04.5974 Preprint archive

[2] http://nttdata-neuroai.com/ 

研究紹介ビデオ: https://www.youtube.com/watch?v=txOOw7qX-Dk

映像を深層ニューラルネットワーク（DNN）に入力したときのDNNの活性化パターンから、映像に結びついた人々の印象や反応のラベルを推定する課題において、脳情報を組み込まないとき（脳非融合手法）に比べ、脳情報を組み込んだとき（脳融合手法＝提案手法）の方が高い推定性能を示した。また、脳情報が有効な人間らしいラベルの推定課題ほど、推定性能の向上度合いは大きくなった。

(2) Brain Decoding of Perceptual Experiences under Natural Situations: 自然な状況での知覚経験の脳情報デコーディング

The technique to read perceptual experiences from brain activity is called "brain decoding," which can provide a basis for innovative brain technologies, such as brain-machine interfaces. Although previous studies on brain decoding with fMRI have developed various techniques, most of them have attempted to decode perceptual experiences while using extremely simplified sensory inputs for experiments. However, concerning social applications of brain decoding, we need brain-decoding techniques to read rich perceptual experiences under daily-life situations. To address this issue, we have been trying to develop brain decoding for recovering such natural perceptual experiences. In a research paper we published in 2018, we proposed a new brain-decoding technique that can visualize natural experiences in the form of words (10,000 kinds of nouns, verbs, and adjectives). This technique effectively incorporated a natural language processing model into brain decoding [1] (see figure). We also apply this technique to a commercial service provided by NTT DATA Inc. to evaluate video contents based on brain information [2]. As an extension of this technique, we also developed a decoding technique that recovers natural perceptual experiences in the form of sentences [3].

何かを見たり聞いたりして感じたこと（知覚経験）を脳活動から読み取る脳情報デコーディングと呼ばれる技術は、brain-machine interfaceなどの脳情報技術の基盤となる重要な技術の一つです。これまでfMRIを用いた脳情報デコーディングについて様々な技術が考案されてきましたが、その多くは感覚入力が単純化された実験環境における知覚経験を読み取るものでした。しかし、実社会への応用を考えた場合、日常生活のような自然な状況で生じる多様な知覚経験を読み取る技術が必要となります。そこで私たちの研究グループでは、そのような自然な知覚経験を読み取るための、脳情報デコーディング技術の開発を行っています。2018年に発表した私たちの研究論文では、自然言語処理と呼ばれる工学の一分野の手法を組み込んで、脳活動から自然な知覚経験を1万種類の単語（名詞・動詞・形容詞）で解読するための技術を提案しました [1]（下図を参照）。この技術は、株式会社NTTデータが実施する、脳情報に基づく映像コンテンツ評価サービスにも利用されています [2]。また、その派生として、自然な知覚経験を記述文の形で解読する技術の開発も行いました [3]。

[1] Nishida S, Nishimoto S. Decoding naturalistic experiences from human brain activity via distributed representations of words. NeuroImage 180(A):232-242, 2018. https://doi.org/10.1016/j.neuroimage.2017.08.017

[2] https://www.nttdata.com/jp/ja/news/release/2015/080600/

[3] Matsuo E, Kobayashi I, Nishimoto S, Nishida S, Asoh H. Describing Semantic Representations of Brain Activity Evoked by Visual Stimuli. Proceedings of 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC), 576–583, 2018. https://doi.org/10.1109/SMC.2018.00107

左図の映像（実際には映画のワンシーンだが著作権の都合上イラスト化）を見ているときの脳活動から解読した知覚経験を、名詞、動詞、形容詞の形で可視化している。ここでは1万語の単語の中から、その人の知覚経験を表現するのにもっともらしいと推定された上位6単語ずつを示した。名詞・動詞・形容詞はそれぞれ、知覚経験の中の物体・動作・印象の内容に対応する。

(3) Visualizing Semantic Representations in the Brain 脳内意味表現の可視化

The world around us consists of a large variety of semantic information. Understanding the brain representation of such semantic information helps us uncover how humans recognize the world. To visualize the brain representation of semantic information from measured brain activity, we employ models for natural language processing (NLP), which is a field of information science. NLP models can quantify the semantic information of words and sentences as numerical representations. One of the studies we performed demonstrated that brain semantic representations visualized using NLP models appropriately capture our semantic perception [1] (see figure). This study revealed that the appropriateness of capturing our semantic perception is higher using NLP models than using other conventional models. In another study, we visualized semantic representations in schizophrenia brains using the NLP models and found disorganization of semantic representations that causes disrupted semantic processing in schizophrenia [2]. To our knowledge, this is the first study visualizing semantic disorganization directly in schizophrenia brains. In the future, we aim to develop more sophisticated methods to visualize brain semantic representations, including their difference across individual brains, and elucidate the neural mechanisms of human semantic processing.

私たち人間を取り囲む世界は、様々な意味を持った情報から構成されています。そのような無数に存在する意味情報の脳内表現を明らかにすることは、私たち人間が世界をどのようにして認知的に捉えているかを理解することにつながります。そこで私たちの研究グループでは、自然言語処理と呼ばれる情報科学の一分野で開発された、単語や文の意味情報を数値的に表現することが可能な数理モデルを用いて、無数に存在する意味情報の脳内表現を可視化することに取り組んでいます。まず私たちは、自然言語処理モデルによって可視化される脳内意味情報が、実際に人間の意味知覚を反映することを明らかにしました。そして、従来手法よりも自然言語処理モデルを用いたときの方が、人間の意味類似性の知覚を正確に反映することを明らかにしました [1]（下図を参照）。また、同様の自然言語処理モデルを用いた意味情報の可視化を用いて、統合失調症患者で見られる意味認知障害の原因となる、脳内意味表現の崩れを世界で初めて定量化することに成功しました [2,3]。今後は、最先端の自然言語処理モデルを積極的に取り入れながら、より正確に脳内意味表現を可視化する技術の開発に取り組むとともに、意味表現の個人差を含めて人間の意味認知の本質について調べていくことを計画しています。

[1] Nishida S, Blanc A, Maeda N, Kado M, Nishimoto S. Behavioral correlates of cortical semantic representations modeled by word vectors. PLOS Computational Biology 17(6): e1009138, 2021. https://doi.org/10.1371/journal.pcbi.1009138

[2] Nishida S, Matsumoto Y, Yoshikawa N, Son S, Murakami A, Hayashi R, Nishimoto S, Takahashi H. Reduced intra- and inter-individual diversity of semantic representations in the brains of schizophrenia patients. bioRxiv:2020.06.03.132928. https://www.biorxiv.org/content/10.1101/2020.06.03.132928v1

[3] Matsumoto Y, Nishida S, Hayashi R, Son S, Murakami A, Yoshikawa N, Ito H, Oishi N, Masuda N, Murai T, Friston K, Nishimoto S, Takahashi H. Disorganization of semantic brain networks in schizophrenia revealed by fMRI. Schizophrenia Bulletin, sbac157, https://doi.org/10.1093/schbul/sbac157

自然言語処理モデルの一種である単語ベクター空間を用いて、脳活動から単語の意味表現をモデル化し、脳内表現における単語の類似性構造（単語と単語の類似性を表す構造）を推定します。一方で、行動実験を用いて、人間の知覚を反映した単語の類似性構造を推定します。これら2つの類似性構造の間には有意な相関関係が存在し、単語ベクター空間を用いた脳活動からの推定結果が知覚をきちんと反映していることを示しました。

(4) Quantification of First-personal Conscious Experiences with Experimental Phenomenology: 実験現象学に基づく一人称的意識経験の定量化

The scientific understanding of "what is consciousness" is one of the ultimate goals in neuroscience research. Many studies have attempted to uncover the mechanism of consciousness. However, it remains unclear. A difficulty in scientific research on consciousness is how we coordinate first-personal, subjective conscious experiences with third-personal, objective experimental protocols. We address this issue to develop methods for collecting detailed descriptions of first-personal conscious experiences from naive experimental participants. We employ "experimental phenomenology," which is a methodology for incorporating Husserlian phenomenology into experimental psychology and cognitive neuroscience. Husserlian phenomenology, which is one of the theoretical systems in philosophy, assumes that the first step for observing conscious experiences in detail is the suspension of "natural attitude." The natural attitude is the perspective from which we take it for granted that real things in the real world exist in themselves before our conscious experience of them. By suspending this, we can reflectively orient our attention to how things appear to our conscious experience and how we make an effort to the appearance of the experience. In a research paper we wrote in 2020, we developed short-term training to collect detailed descriptions of first-personal conscious experiences from naive subjects by suspending their natural attitude [1]. More recently, we also developed a method to collect detailed experiential reports by introducing phenomenological interviews into existing psychological experiments. This study demonstrated the usefulness of this method for drawing the phenomenological descriptions of binocular-rivalry experiences from naive subjects [2]. We aim to elucidate various novel aspects of consciousness by combining the training method we developed with brain measurement experiments.

「意識とは何か」を科学的に解明することは、神経科学研究の重要なゴールの一つです。近年、様々な取り組みによって、その一端が明らかにされて来ていますが、まだ謎は多く残されています。意識を科学的に探究するうえで難しいのは、意識経験という一人称的な主観現象を、どのようにして三人称的な客観的実験検証に落とし込むかという点です。そのような難しい問題を解決するために、私達のグループは、哲学の理論体系の一つであるフッサール現象学を実験研究に落とし込むための「実験現象学」の方法論を基に、一般の実験被験者から一人称的意識経験の詳細な記述を取り出す手法の開発に取り組んでいます。フッサール現象学では、意識経験を詳細に観察するための第一ステップとして、自然的態度の停止が重要だと考えます。自然的態度とは、我々が例えば物体などの対象を経験する以前に、その対象が存在していることを自明として疑わないような世界の見方のことを指します。この自然的態度を停止することで、対象がどのように経験に表れてくるか、または経験の表れに対して自らがどのようにはたらきかけているかを、内省的に捉えることが可能になります。私達が2020年に発表した論文では、実験被験者にそのような自然的態度の停止を促して、一人称的意識経験に対するリッチな記述を取り出すため、短時間で訓練を行う手法の開発を試みました [1]。また、従来の科学心理実験のパラダイムに、実験者との対話を導入することで、そのようなリッチな記述を取り出す方法論についても提案し、両眼視野闘争の意識経験において、被験者から詳細な一人称的記述を取り出せることを示しました[2]。将来的には、脳計測実験と組み合わせ、従来研究で明らかにされていない意識の多様な側面について、科学的に明らかにしたいと考えています。

[1] Miyahara K, Niikawa T, Hamada HT, Nishida S. Developing a Short-term Phenomenological Training Program: A Report of Methodological Lessons. New Ideas in Psychology, 58:100780, 2020. https://doi.org/10.1016/j.newideapsych.2020.100780

[2] Niikawa T, Miyahara K, Hamada HT, Nishida S. A new experimental phenomenological method to explore the subjective features of psychological phenomena: its application to binocular rivalry. Neuroscience of Consciousness, 2020(1):niaa018, 2020. https://doi.org/10.1093/nc/niaa018

(5) Neural Mechanisms for Selection and Maintenance of Visual Information: 視覚情報の選択と保持に関わる神経機構

The visual world consists of cluttered scenes that contain various information changing moment by moment. Even in such situations, humans and animals can select appropriate information from complex scenes and maintain it temporarily to achieve subsequent proper actions. To elucidate the neural mechanisms underlying such visual selection and maintenance, we measured neuronal activity from the lateral intraparietal area (LIP) of the cerebral cortex in animals performing visual search tasks. LIP is located at the posterior parietal cortex and contributes to visual selection and gaze control. In a paper we published in 2014, we found that LIP neurons show both facilitative and suppressive effects on neuronal activity during visual selection [1]. This finding suggests that LIP neurons have facilitative and suppressive interactions to differentiate target information from the other information. In another paper we published in 2014, we found that LIP neurons showing task-related persistent activity to maintain visual information also reveal persistency in their task-unrelated, spontaneous activity [2] (see figure). This finding suggests that neurons involved in information maintenance have intrinsic properties for it. In another paper we published in 2014, we found that in the transition from visual selection to information maintenance, the pattern of LIP neurons involved in each function drastically changes at the level of individual neurons, although these neurons show sustained activity on average. This finding suggests that even in the cortical regions involved in both information selection and maintenance, different populations of neurons are involved in each of those two functions and change their signaling from one population to another in a switch-like fashion.

視覚世界には様々な情報が含まれており、かつその情報が刻一刻と変化します。人間や動物はそのような複雑な情報の中から適切に情報の選択を行い、かつ選択した情報を一時的に保持することで、それに続く適切な認知・行動を実現しています。そのような視覚情報の選択と保持に関わる神経機構を明らかにするために、私達のグループは視覚探索課題を遂行中の動物の、lateral intraparietal (LIP)野と呼ばれる皮質領野のニューロンから神経スパイク活動の計測を行いました。LIP野は後頭頂皮質に位置し、視覚情報の選択や視線の制御に関連するといわれる皮質領野です。2014年に私達が発表した論文では、視覚情報の選択を行っている際に、LIP野のニューロン活動で促進と抑制の2つの作用が見られ、選択対象の情報とそうでない情報を見分けるために、ニューロン間で促進性および抑制性の2つの相互作用が生じていることを示唆しました [1]。また2014年に発表した別の論文では、選択した視覚情報の保持を担う持続的な活動を示すニューロンは、課題と無関係な自発性の活動時にも持続性のある活動を示しており、情報保持を担うニューロンは本質的にそのための性質を有していることを示唆しました [2]（下図を参照）。さらに2014年に発表した別の論文にて、視覚情報の選択から保持へと移行する際に、平均的な活動に着目すると持続的な活動が観測されるが、個々のニューロンの活動に着目すると双方に寄与するニューロン群のパターンが劇的に変化することを示しました。これは、情報の選択と保持の双方に関わると考えられている脳領野においても、ミクロレベルでは異なるニューロン群が双方の機能に関わっており、かつそれら異なるニューロン群間の情報変遷がスイッチが切り替わるように行われることを示唆しています [3]。

[1] Nishida S, Shibata T, Ikeda K. Object-based selection modulates top-down attentional shifts. Frontiers in Human Neuroscience 8:90, 2014. https://doi.org/10.3389/fnhum.2014.00090

[2] Nishida S, Tanaka T, Shibata T, Ikeda K, Aso T, Ogawa T. Discharge-rate persistence of baseline activity during fixation reflects maintenance of memory-period activity in the macaque posterior parietal cortex. Cerebral Cortex 24(6):1671–1, 2014. https://doi.org/10.1093/cercor/bht031

[3] Nishida S, Tanaka T, Ogawa T. Transition of target-location signaling in activity of macaque lateral intraparietal neurons during delayed-response visual search. Journal of Neurophysiology 112(6):1516–1527, 2014. https://doi.org/10.1152/jn.00262.2014


消失した視覚刺激の位置情報を保持する必要がある遅延反応眼球運動課題において、刺激呈示前の自発性の発火活動時の活動維持性（発火率の変動しにくさ）と、情報保持に関わる遅延期間の持続的活動の強度の相関関係を分析した（左図）。双方の間には有意な相関があり（右図）、情報保持を担う持続的活動を示すニューロンは、活動を維持するための特性を本質的に有している可能性を示唆している。

Publications

Journal/Conference Papers

Domestic Journal Papers

Preprint Archives

* Correspondence    †Co-first

Presentations

Invited Talks

International Conference

Domestic Conference

Grants

Research Grants

Travel Grants

Patents

Committee Membership

Educational Activity

Scientific Materials in Print

Media

Web Resources