Projects

Latest Projects / 最近の研究

The recent research projects are selected as follows.
最近の研究について写真や動画で簡単に紹介しています。

( Publication List: Publications ページ ) ( Inami Jizai Body Project )

Motion blending

in avatar-mediated communication does not necessarily increase interpersonal attraction

We tested whether motion blending, which generates a partner's avatar from a weighted average of the participant's own and the partner's movements, increases interpersonal attraction in VR conversation. Pairs of unfamiliar participants talked in an immersive VR room while the partner's avatar reflected 0%, 25%, 50%, or 100% of the participant's own movements. Motion blending did not robustly increase social, physical, or task attraction, and most participants noticed the manipulation. These findings suggest that detectability, temporal dynamics, and individual differences such as perspective taking should be considered when designing behavioral interventions in social VR.

VR空間でのアバターを介したコミュニケーションにおいて、相手のアバターの動きに自分自身の動きを混ぜる「モーションブレンディング」（疑似的な模倣）が、相手への対人魅力を高めるかを調べました。初対面の2人がVRルームでアイデア出しの会話を行い、相手アバターに自分の動きを0%、25%、50%、100%の割合で混ぜました。その結果、モーションブレンディングは社会的・身体的・課題的魅力を明確には高めず、多くの参加者が操作に気づいていました。ソーシャルVRで行動的介入を設計する際には、気づかれやすさ、時間的変化、視点取得などの個人差を考慮する必要があることが示唆されました。

Published in Mimura, T., Katsumata, Y., Inoue, Y., and Kitazaki, M. (2026). Motion Blending in Avatar-Mediated Communication Does Not Necessarily Increase Interpersonal Attraction, Frontiers in Virtual Reality, 7: 1818260. https://doi.org/10.3389/frvir.2026.1818260

Image: Figure 1 of Mimura et al. (2026), Frontiers in Virtual Reality (CC BY 4.0)

Autonomous prosthetic limb

movement speed shapes embodiment, usability and robotic social attributes

To understand how autonomous robotic prostheses can be integrated into one's body image, we investigated how the movement speed of an autonomous prosthetic lower arm affects embodiment and user perception in VR. Participants embodied an avatar with a prosthetic left lower arm that moved autonomously at six different speeds. Sense of body ownership, sense of agency, and usability were highest for moderate speeds (movements lasting about 1 s) and lower for both faster and slower movements, while discomfort was highest at the fastest speed.

自律的に動くロボット義手を自分の身体として受け入れるためには、その動きの特性が身体化にどう影響するかを理解する必要があります。本研究では、VRで左前腕が自律的に動く義手をもつアバターを体験してもらい、6段階の運動速度を比較しました。その結果、身体所有感、行為主体感、使いやすさは中程度の速度（約1秒の動作）で最も高く、速すぎても遅すぎても低下しました。有能さの評価は中程度からやや速い速度で高く、最も速い条件では不快感が高くなりました。

Published in Hapuarachchi, H., Inoue, Y., Shigemasu, H., and Kitazaki, M. (2026). Movement speed of an autonomous prosthetic limb shapes embodiment, usability and robotic social attributes in virtual reality, Scientific Reports, 16: 7750. https://doi.org/10.1038/s41598-026-38977-8

Image: Fig. 1 of Hapuarachchi et al. (2026), Scientific Reports (CC BY 4.0)

Virtual walking in different postures

with foot vibrations

Virtual walking systems allow stationary users to experience walking through multimodal stimulation. Aiming to provide this experience to bedridden users, we investigated how posture (standing, sitting, or lying) and foot vibrations affect the virtual walking experience while observing a walking avatar from the first-person perspective. Foot vibrations synchronized with the avatar's steps improved the walking experience, body ownership, and sense of agency. Standing gave the best experience, while the difference between sitting and lying was small, suggesting that virtual walking in a lying position is less effective than standing but comparable to sitting.

身体を動かさずに歩行体験を得られるバーチャル歩行システムを、寝たきりの方でも利用できるようにすることを目指し、姿勢（立位・座位・臥位）と足裏振動が歩行体験に与える影響を調べました。一人称視点で歩くアバターを観察しながら、アバターの歩行に同期した足裏振動を与えると、歩行感覚や身体所有感、行為主体感が高まりました。立位で最も強い歩行体験が得られましたが、座位と臥位の差は小さく、臥位でも座位と同程度の体験が得られることが示されました。

Published in Nakamura, J., and Kitazaki, M. (2024). The effect of posture on virtual walking experience using foot vibrations, Scientific Reports, 14: 19366. https://doi.org/10.1038/s41598-024-70229-5

Image: Fig. 6 of Nakamura & Kitazaki (2024), Scientific Reports (CC BY 4.0)

Avatar shadow

enhances telepresence and virtual walking

We developed a system that provides a virtual walking experience to a seated person by real-time synthesis of a walking avatar and its shadow on a 360-degree video with vibrations to the feet. The shadow of the avatar induces an illusory presence of their body. In the future, it is expected to provide an immersive experience for any recorded medium with a virtual embodiment.

本研究では、360度の実写動画（8K解像度）に歩いているアバターとその影をリアルタイムに合成し、足裏への振動と組み合わせることにより、歩行体験が強化することを明らかにしました。また、アバターの影は、360度動画中には本来存在しない、自身の身体の存在を思い起こさせました。将来的には、実写で記録された過去の空間メディアへ、自身の身体感覚ごと没入できる体験が提供できると期待されます。

Published in Nakamura, J., Ikei, Y., and Kitazaki, M. (2023). Effects of self-avatar cast shadow and foot vibration on telepresence, virtual walking experience, and cybersickness from omnidirectional movie, i-Perception, 15(1). https://doi.org/10.1177/20416695241227857

Biomechanically impossible arm

can be embodied

The study investigated how synchronizing visual and motor experiences in Virtual Reality (VR) affects a person's sense of embodiment with avatars, even when the avatars have unnatural arm movements or biomechanically impossible arm movements. They found that temporal synchronization increased the feeling of embodiment for both natural and unnatural avatars, even when their movements did not match the user's expectations of a human body.

本研究では、バーチャルリアリティにおいて視覚と身体運動を同期させることが、アバターが不自然な腕の動き（生物力学的に不可能な腕の動き）をしている場合であっても、そのアバターを自己身体化できるかを調べた。その結果、自然なアバターでも不自然なアバターでも、時間的同期があれば、普通の人体の動きと一致しない場合でも、身体所有感が高まることがわかった。

Published in Hapuarachchi, H., Ishimoto, H., Sugimoto, M., Inami, M., and Kitazaki, M. (2023). Temporal visuomotor synchrony induces embodiment towards an avatar with biomechanically impossible arm movements, i-Perception doi: 10.1177/20416695231211699

Empathic embarrassment

can be felt towards robot

In a virtual-reality study, researchers have discovered that humans are capable of experiencing empathic embarrassment when witnessing robots go through embarrassing situations. The study utilized a combination of subjective ratings and physiological measurements to quantitatively assess the extent to which humans feel empathic embarrassment towards robots.

人間とロボットの複雑な相互作用を解明するためのバーチャルリアリティを使った研究で、ロボットの恥ずかしい状況を目撃したとき、人間は共感的恥ずかしさを感じることができることを発見しました。この研究では、主観的評価と生理学的測定を組み合わせて、人がロボットアバターに対して共感的恥ずかしさを感じる程度を定量的に評価しました。

Published in Hapuarachchi, H., Higashihata, K., Sugiura, M., Sato, A., Itakura, S., and Kitazaki, M. (2023). Empathic embarrassment towards non-human agents in virtual environments, Scientific Reports. 11:13914 doi: 10.1038/s41598-023-41042-3 [Video / 動画]

Shared avatar for hand imitation

Its subjective and behavioral evaluations

Virtual co-embodiment of a hand and fingers averaged by the teacher's and the participant's hands. While we have studied whole-body sharing by averaging or sharing the left and right halves of the body, this time we have averaged the hands and fingers of two people. In this paper, however, we can experience an avatar hand as an average of the recorded model hand and our own hand movements. Using this shared hand to imitate the model's sign is subjectively easier and behaviorally easier, especially with less movement latency. Note that we did not analyze the hand movements of the shared body avatar, but the movement data of the real own hand while using the shared body. We also examined the effect of the orientation of the teacher's hand. Subjectively, it is easier to have the same orientation as your own hand, but spatial accuracy is better when you can see the palm of the teacher's hand.

手の共有身体（合体）の研究です。これまで全身の合体を調べて、平均したり左右半身を分担したりしていましたが、今回は2人の手と指を平均しました。ただし、この論文では、記録されたお手本の手の動きと自分の手の動きを平均したものを自分のアバターとして体験しています。この共有身体の手を使ってお手本の手話を真似ると、主観的にやりやすく、行動的にも特に動きの遅延が少なくなりす。なお、分析したのは、共有身体アバターの手の動きではなく、共有身体を使っているときの本当の自分の手の動きデータです。お手本の手の向きの効果も調べていて、主観的には自分の手と同じ向きがやりやすいのですが、空間精度（指の角度の一致度）はお手本の手の平が見えている方が良いです。

Published in Katsumata, Y., Inoue, Y., Toriumi, S., Ishimoto, H., Hapuarachchi, H., and Kitazaki, M. (2023). Shared Avatar for Hand Movement Imitation: Subjective and Behavioral Analyses. IEEE Access, DOI: 10.1109/ACCESS.2023.3312179

Joint-avatar embodiment

by connection force feedback

Embodiment towards a joint-body limb controlled by another is increased by connection force feedback. Even if we cannot control them, or when we receive no tactile or proprioceptive feedback from them, limbs attached to our bodies can still provide indirect proprioceptive and haptic stimulations to the body parts they are attached to simply due to the physical connections. To investigate this issue, we developed a 'Joint Avatar' setup in which two individuals were given full control over the limbs in different sides (left and right) of an avatar during a reaching task. The backs of the two individuals were connected with a pair of solid braces through which they could exchange forces and match the upper body postures with one another. Our results suggest that even in total absence of control, connection induced upper body movements synchronized with the visible limb movements can positively affect the sense of embodiment towards partner-controlled or autonomous limbs.

四肢を制御できない場合、あるいは手足から触覚や固有受容感覚を得られない場合でも、身体に取り付けられた四肢は、その物理的な接続により、取り付けられている身体の部位に間接的に固有感覚や触覚の刺激を与えることが可能です。我々は2人の人が左右の半身を別々に制御することができる結合身体アバターを開発し、リーチングタスク実験を行いました。二人の背中は一対の固い装具で接続されており、この装具を通して力を交換しました。実験の結果は、自分が制御できない場合でも、目に見える四肢の動きと同期した接続による力触覚フィードバックによる上半身の動きが、パートナーが制御する四肢または自律的な四肢に対する身体感覚にポジティブな影響を与えることを示しました。

Published in Hapuarachchi, H., Hagiwara, T., Ganesh, G., and Kitazaki, M. (2023). Effect of connection induced upper body movements on embodiment towards a limb controlled by another during virtual co-embodiment. PLoS One, 18(1): e0278022. DOI: 10.1371/journal.pone.0278022 [Video / 動画]

Joint-avatar embodiment

with common or visible goals

Virtual co-embodiment of a joint body with left and right limbs controlled by two persons. What factors influence the embodiment felt towards parts of our bodies controlled by others? Using a new “joint avatar” whose left and right limbs are controlled by two people simultaneously, researchers have revealed that the visual information necessary to predict the partner’s intentions behind limb movements can significantly enhance the sense of embodiment towards partner-controlled limbs during virtual co-embodiment. This finding may contribute to enhancing the sense of embodiment towards autonomous prosthetic limbs.

バーチャルリアリティを用いて、2人のユーザーが1つのアバターの左右の半身を操作する結合身体アバターを開発しました。しかし、他者が操作する身体部位をどのようにしたら自己身体と感じられるのでしょうか？ 実験により、他者が操作する腕に対する身体性は、自分が制御する腕に比べて低いものの、他者の意図を予測する視覚情報があれば、他者が操作する腕に対する自己身体感を高めることができることを明らかにしました。将来的には、自律駆動する義肢に感じる違和感を減らす設計にも貢献することが期待できます。

Published in Hapuarachchi H., and Kitazaki, M. (2022). Knowing the intention behind limb movements of a partner increases embodiment towards the limb of joint avatar, Scientific Reports, DOI: 10.1038/s41598-022-15932-x [Video / 動画]

Virtual Walking in a 360 video

with ground-material perception

Virtual Walking with Omnidirectional Movies and Foot Vibrations. We have developed a virtual walking system for seated observers with 360° video and scene-congruent foot vibrations. The timing of foot vibrations was automatically calculated from the 360° video. They found that rhythmical scene-congruent vibrations improved the sensation of walking and the perception of ground materials. This system can convert various public and private 360° videos into realistic virtual walking experiences.

360°動画を用いて座っている観察者のためのバーチャル歩行システムを開発し、歩行感覚や地面の材質の知覚が，シーンに調和した振動によって強化されることを明らかにしました。本システムを用いると，様々な360度動画をリアルなバーチャル歩行体験に変換することができます。

Published in Nakamura, J., Matsuda, Y., Amemiya, T., Ikei, Y., and Kitazaki, M. (2021). Virtual Walking with Omnidirectional Movies and Foot Vibrations: Scene-congruent Vibrations Enhance Walking-related Sensations and Ground Material Perceptions. IEEE Access, DOI: 10.1109/ACCESS.2021.3136557 [Video / 動画]

Explicit Visual Perspective Taking

is facilitated by Humanoid Avatar

The effects of body direction and posture on taking the perspective of a humanoid avatar in a virtual environment. We investigated the effects of body direction and posture on whether employing a humanoid avatar as the viewpoint would facilitate an imagined perspective shift in a virtual environment, and which factor of the avatar is effective for the facilitation effect. The perfomamce was improved by the avatar in forward posture, not affected by occluding the head of the avatar, but deteriorated by impossible postures. These results suggest that explicit perspective taking is facilitated by embodiment towards humanoid avatars.

アバターの身体の向きや姿勢が明示的な視覚的視点取得にどのように影響するかを調べました。明示的な視覚的視点取得（ある対象をある方向からどう見えるかを答える）は，アバターがその対象を向いている場合に促進されたが，頭部が隠されていても成績に影響はありませんでした。しかし，頭部と身体が逆を向いているような不可能身体では成績が下がりました。したがって，人型アバターの身体性が視点取得に重要であることが示唆されました。

Published in Ueda S, Nagamachi K, Nakamura J, Sugimoto M, Inami M, Kitazaki M (2021) The effects of body direction and posture on taking the perspective of a humanoid avatar in a virtual environment. PLoS ONE 16(12): e0261063. https://doi.org/10.1371/journal.pone.0261063

Peripersonal space representations

exist with approaching sound, irrespective of the direction of approach

Peripersonal space in the front, rear, left, and right directions for audio-tactile multisensory integration. We investigated audio-tactile multisensory integration near the body using touch detection with task-irrelevant approaching and receding sounds in all directions: front, rear, left, and right. The tactile stimulus was detected faster near the body space than far from it when a sound approached from any direction. Thus, peripersonal representations exist with approaching sound, irrespective of direction.

身体近傍での聴覚と触覚の多感覚統合について，前後左右から接近あるいは後退する音を用いて調べました。触覚刺激は接近してくる音源が身体の近くにあるときに遠くにあるときよりも素早く検出され，その効果は前後左右全ての方向で見られました。したがって，身体近傍空間における多感覚促進処理は，接近音に対して方向に依存せず存在すると言えます。

Published in Matsuda, Y., Sugimoto, M., Inami, M., Kitazaki, M. (2021). Peripersonal space in the front, rear, left and right directions for audio-tactile multisensory integration. Scientific Reports, 11: 11303. https://doi.org/10.1038/s41598-021-90784-5

Virtual Walker

enhances walking illusion

Enhancing virtual walking sensation using self-avatar in first-person perspective and foot vibrations. We have developed a virtual walking system for seated observers and have revealed that walking self-avatars improve the illusory walking sensation by integrating foot-vibration simulating footsteps. The walking-avatar is presented in the first-person and mirrored perspectives, to induce a sense of body ownership. This system provides a virtual walking experience to people with walking disabilities.

座っている人にバーチャル歩行体験を提供するシステムを開発し，歩いているアバターと足裏への振動の組み合わせによって歩行感覚の錯覚を増強できることを示しました。歩いているアバターは一人称視点と鏡の中に見え，それを自己身体と感じることができました。将来的には，このシステムが歩行困難者にもバーチャルな歩行体験を提供するものとなることが期待されます。

Published in Matsuda, Y., Nakamura, J., Amemiya, T., Ikei, Y., Kitazaki, M., 2021. Enhancing virtual walking sensation using self-avatar in first-person perspective and foot vibrations, Frontiers in Virtual Reality, https://doi.org/10.3389/frvir.2021.654088 [Video / 動画]

Shared Body

concurrently controlled by two individuals

Individuals prioritize the reach straightness and hand jerk of a shared avatar over their own. Two participants were embodied within a shared avatar in virtual reality. Movements of the shared avatar were the average of the participants' movements. They were asked to reach a target via the shared body. In the results, avatar’s hand movements were straighter and less jerky than those of the participants. Thus, humans prioritize the movement of a shared body over their own movements. A shared body can be a new collaboration method in the future.

バーチャルリアリティ（VR）空間において、2人が1つのアバターを共有して共同作業を行うシステムを開発しました。この共有身体アバターの動きは、2人の参加者の動きを平均して生成しました。これを用いて、ランダムな位置に現れる物体に手を伸ばす動作を行うと、共有身体アバターの動きは、共有身体アバター操作者の動きや共有身体でない場合の参加者自身の動きよりも直線的で滑らかになることが分かりました。この理由は、操作者が、自分自身の動きよりも、共有身体の動きを無意識に最適化し、優先するためと考えられます。この知見は、VRやロボティクスを用いた身体の共有による新しい共同作業方式の提案と基礎設計に貢献することが期待されます。

Published in Hagiwara, T., Ganesh, G., Sugimoto, M., Inami, M., and Kitazaki, M. (2020). Individuals prioritize the reach straightness and hand jerk of a shared avatar over their own. iScience, doi: 10.1016/j.isci.2020.101732 [Video / 動画]

Scrambled Body

differentiates the body-part ownership from the whole body ownership

Differences between whole body and body part ownership were clarified using scrambled body stimulation in a virtual environment, wherein the observer’s hands and feet were presented in randomized spatial arrangements.

バーチャルリアリティ空間でのスクランブル身体刺激を用いて全身所有感と身体部位所有感の違いを明らかにしました。スクランブル身体刺激とは，観察者の手と足のみを提示し，それらの空間的配置をランダムにしたものです。全身を動かしながらスクランブル身体刺激を観察すると手と足に対する身体部位所有感は生じますが，全身所有感を感じることはできず，全身所有感には通常の身体と同様の空間的配置を持つ身体刺激が必要でした。この結果は，全身所有感の錯覚には空間的配置が重要であることを示唆します。また，人の身体的自己意識は，通常の人がもつ身体の空間的配置に影響を受けている可能性があります。

Published in Kondo, R., Tani, Y., Sugimoto, M., Inami, M., and Kitazaki, M. (2020). Scrambled body differentiates body part ownership from the full body illusion. Scientific Reports, 10, DOI: 10.1038/s41598-020-62121-9 [Video / 動画]

Cough Infection VR

Learning experience for preventing infection by cough

Users can interactively learn and experience infection by cough. VRを用いて，咳からどのように病原菌が感染するかを体験し，感染症の予防に貢献します。うつす・うつされる両方の体験が可能で高い教育効果が期待できます。咳の飛沫感染のみならず，接触感染・空気感染も体験できます。豊橋市健康政策課の企画に基づき，専門家の知識を得て作成しています。 [Video / 動画]

Empathy for Robots

Physiological Evidence with EEG

Humans can empathize with robots. We showed EEG responses are similar in human and robot painful pictures. 人はロボットにも他者に対するのと同様な共感を示します。痛みのある刺激に対して脳波を計測することで，それを示しました。

Published in Suzuki et al. (Scientific Reports 2015)

Virtual Walking

by Vision and Tactile sensation

Oscillating optic flow with rhythmical foot vibrations induces a virtual walking sensation. Virtual walking can be captured by a walking person in a remote location, or generated from a traslational motion images. 周期的に振動するオプティックフローに足裏振動を組み合わせることで，バーチャル歩行体験を実現します。遠隔地で実際に歩行する人の体験を追体験することもできますし，さまざまな移動映像から自動的に生成することも可能です。

Published in Kitazaki et al. (i-Perception 2019)

Invisible Body

by vision-motor synchronization

Virtual reality enables us to experience an ownership of invisible body by vision and action synchronization. バーチャルリアリティを用いて，自分の身体が透明になり，目の前の離れた位置にあるように感じさせることができます。頭部搭載型ディスプレイ（HMD）で目の前に提示した手袋と靴下が自分の運動と同期していると，しばらくするとそこに透明な自分の身体が感じられるようになります。

Published in Kondo et al. (Scientific Reports 2018) [Video / 動画]

Changing Postural Control

with Galvanic Vestibular and Visual Stimulations

Posture is controlled by vestibular and visual sensation processing. We showed that a long-term adaptation can modify weights of vision and vestibular senses to control posture. 視覚と前庭感覚が姿勢制御に使われています。視覚運動と電気前庭刺激（GVS）を組み合わせて長期順応することで，視覚と前庭感覚が姿勢制御に及ぼす貢献度を変えることが可能であることを示しました。

Published in Kitazaki and Kimura (Presence 2010)

Glossiness Perception

improved by object's motion and observer's motion

Perception of glossiness is improved when the object is moving and the observer is moving. 物体の光沢感は，それが運動しているときのみならず，観察者自身が運動しているときにも増すことを示しました。

Presented in Tani et al (PLoS One 2014)

Body-parts Remapping

Finger to Arm

As a trial of "body editing", we are trying to remap a finger of the right hand to the left arm. Participants feel the virtual arm as another arm. 身体編集の一例として，右手の親指を左腕に再投射できるかを調べています。指とバーチャルな腕が同期して運動すると，バーチャルな腕が自分の腕であるかのように感じられます。

Published in Kondo et al (Frontiers in Robotics and AI 2020) [Video / 動画]

Transparency Perception

improved by motion

Perception of a thick transparent object like glass is improved by its motion. ガラスのような厚みのある透明物体は，それが運動していると知覚される透明感が増すことを示しました。

Presented in Ueda et al (VSS2015)

Body Odyssey

A Cross-modal Edutainment

You can travel through the body to learn inner organs. 食物になって消化器官内部を匍匐前進で体験し，学習することができます。

Presented in Fujisawa et al (AH2017). 国際学生バーチャルリアリティコンテストIVRC2016決勝進出
Published in 藤澤ら (TVRSJ 日本バーチャルリアリティ学会論文誌 2019) [Video / 動画]

BCI Driving

Brain-Computer-Interface for steering a car by SSVEP

Driving simulator is controlled by human EEG (SSVEP). 定常視覚誘発電位によって転舵角を定量的に操作する脳機械インタフェースの実装です。

Published in 安藤ら (TVRSJ 日本バーチャルリアリティ学会論文誌 2010) [Video / 動画]

AR-SSVEP

Brain-Computer-Interface for Augmented-Reality by SSVEP

Gaze is detected by human EEG (SSVEP) in AR. AR環境での脳機械インタフェースの実装を目指して，実画像のコントラスト修飾からSSVEPを惹起させ，視線を推定するものです。

Published in 鎌谷ら (TVRSJ 日本バーチャルリアリティ学会論文誌 2013)

Driving Simulator

for psychophysics and cognitive sciences

This driving simulator has been developed for psychophysical experiments and cognitive science research. All programs were made originally in our lab. 研究室独自開発の心理・認知科学実験に最適化したドライビングシミュレータです。視野の遠近情報の認知特性の違い，視聴覚刺激による運転サポート効果，脳波を用いた脳機械インタフェースの研究等を行っています。

Published in 岸田ら(機械学会論文誌2008), Kishida et al. (SAE paper2009), Onimaru and Kitazaki (VR2010), 安藤ら（日本VR学会論文誌2010），鬼丸・北崎（基礎心研2013）