Videos & Media

Videos of Human-Robot Interaction (HRI): application of our language neural model.

Video Publications
  1. [NEW] X. Hinaut, J. Twiefel, M. Borghetti Soares, P. Barros, L. Mici, S. Wermter (2015) Humanoidly Speaking – How the Nao humanoid robot can learn the name of objects and interact with them through common speech. IJCAI 2015 (video competition link). Our video link
  • Software (to make the same experiment than in the video): Take a look at "Syntactic Reservoir Model" and "DOCKS" on the WTM team sofware webpage to download and try the source code.

Videos in the media


Here is a link to the video that was most cited in the media (2013): iCub understanding a complex sentence (that is even difficult for me to say)!
Media coverage:

*** French television news (JT de France 2):
If you cannot see the video please follow this link.

France 2 News: Humanoid robot iCub learns to understand and produce complex sentences through HRI (in French)


*** Language comprehension (via syntax learning):

(Description in French)
Le robot humanoïde iCub sur lequel l'équipe dirigée par Peter Ford Dominey de l'unité Inserm 846 (Institut pour les cellules souches et cerveau de Lyon) travaille depuis de nombreuses années est dorénavant capable de comprendre ce qu'on lui dit et d'anticiper la fin d'une phrase. Cette prouesse technologique a été rendue possible par la mise au point d'un « cerveau artificiel simplifié » qui reproduit certains types de connexions dites « récurrentes» observées dans le cerveau humain. Ce système de cerveau artificiel permet au robot d'apprendre, puis de comprendre des phrases nouvelles, avec une structure grammaticale nouvelle. Il peut faire le lien entre deux phrases et peut même prédire la fin de la phrase avant qu'elle ne survienne.
Ces travaux sont publiés par Xavier Hinaut et Peter F. Dominey dans la revue Plos One et dans la revue Frontiers in NeuroRobotics.



More videos


If you cannot see the video please follow this link.

Humanoid robot iCub learns to understand complex sentences through HRI



*** Language production (with an "inverse" model similar to the comprehension model):
If you cannot see the video please follow this link.

Humanoid robot iCub learns to say complex sentences through HRI



As you can see in these videos, Dominey's team in Lyon (where I did my PhD) is still using my work:
https://www.youtube.com/watch?v=7aeArAn7yLo
https://www.youtube.com/watch?v=7KyzIN5Yb0o


Comments