Отслеживание головы человека (демо)

 

Язык:[ English | Русский ]


Введение

Данное приложение позволяет:

  • Отслеживать голову человека-пользователя компьютера в трехмерном пространстве с шестью степенями свободы (3 степени свободы перемещения + 3 степени свободы вращения)
  • Выбрать одну из четырех моделей головы: Candide-3, цилиндр, эллипсоид или плоский прямоугольник
  • Использовать веб-камеру, видео файл или синтетически сгенерированное видео в качестве источника видео
  • Управлять курсором мыши на экране путем вращения головы (для устранения дрожания курсора используется фильтр Калмана);
  • Наблюдать, что происходит внутри с помощью вспомогательных окон (окно текстуры, шаблона, карты уверенности, входящего кадра).
  • Сохранять снэпшоты и записывать в видеофайл то, что получается на выходе программы
  • Сохранять в текстовый файл данные о положении головы и ее ориентации, времени обработки текущего кадра. Это может быть полезно, если нужно сравнить данную программу с другой

Например, смотрите ниже, как происходит обработка пары видеоклипов, публично доступных по ссылке http://www.cs.bu.edu/groups/ivc/HeadTracking.

jam1.avi


jam5.avi

Выбор источника видео

Вы можете выбрать один из трех источников видео:

  • Веб-камера (этот источник установлен по умолчанию)
  • Синтетически генерируемое видео
  • Видеофайл в формате AVI

Нажмите кнопку Play (Воспроизведение) на  панели Playback (Проигрывание), чтобы выбрать источник видео по умолчанию. Если Вы не имеете установленной веб-камеры, будет выбран синтетический источник видео.

Или откройте меню File (Файл) и выберите одно из следующего:

  • Файл -> Использовать веб-камеру
  • Файл -> Использовать синтетическое видео
  • Файл -> Использовать видео файл...

Проигрывание видео

Используйте File | Play (Файл -> Воспроизвести), чтобы воспроизвести последний выбранный источник видео. Используйте File | Pause (Файл -> Пауза), чтобы поставить воспроизведение на паузу. Тот же результат даст кнопка Play/Pause (Воспр./Пауза) на панели Playback (Проигрвывание).

Используйте File | Stop (Файл -> Стоп), чтобы остановить видео. Или используйте кнопку Stop (Стоп) на панели Playback (Проигрывание).

Создание снэпшотов и запись видео

Вы можете создавать снэпшоты (снимки текущего кадра) с помощью пункта меню File->Make a Snaphsot... (Файл-> Создать снэпшот...) или нажав на кнопку F6. При этом откроется окно сохранения файла, где вы сможете выбрать название файла для снэпшота (поддерживается формат JPG, PNG, BMP).

Используйте пункт меню (File->Record video...) Файл->Запись видео... для того чтобы включить запись выходного потока видео в файл AVI. Пункт меню File->Stop recording...(Файл->Остановить запись) отключит режим записи видео.

Включение режима отслеживания головы пользователя

Откройте меню Файл и выберите пункт меню Включить трекер головы, или нажмите комбинацию клавиш CTRL+F9. Это действие включит режим отслеживания головы. Когда данный режим включен, текущая позиция и ориентация модели головы пользователя отображается с помощью сетки (см. рисунок ниже). Когда Вы двигаете и вращаете головой, сетка повторяет ваши движения.

Чтобы отключить режим отслеживания головы, нажмите CTRL+F9 повторно.

Также Вы можете воспользоваться кнопкой Отслеживать голову (Track Head) на панели Воспроизведения (Playback toolbar) для включения/отключения режима трекинга.









Выбор модели головы

Поддерживаются четыре различных жестких модели головы/лица (см. рисунок ниже):

  • 3D цилиндр (используется по умолчанию)
  • 3D эллипсоид
  • 2D прямоугольник
  • модель Candide-3 (хотя данная модель разрабатывалась как нежесткая, ее деформации в данной программе невозможны)

Вы можете установить модель головы, открыв меню Настройки (Options) и выбрав один из пунктов меню в группе Модель головы (Head Tracking).













Управление курсором мыши

Вы можете попытаться использовать данную программу как средство управления экранным курсором мыши. Для этого откройте меню Файл и выберите пункт меню Управление курсором (Mouse Cursor Control). Либо нажмите комбинацию клавиш CTRL+F5. Чтобы отключить управление курсором, нажмите CTRL+F5 повторно.

В режиме управления курсором, экранный курсор мыши будет управляться информацией, полученной от трекера головы.

Таким образом, Вы можете управлять экранным курсором вращением своей головы.

Панель свойств курсора

Панель свойств курсора открывается, когда Вы в первый раз включаете режим управления курсором и позволяет задать различные настройки. Вы также можете открыть эту панель из меню Вид->Панели (View->Toolbars).

Панель имеет кнопку Включить (Enable), которая позволяет включить режим курсора.

  • Ползунок Чувствительность (Mouse Sensitivity) позволяет отрегулировать чувствительность курсора
  • Флажок 'Режим мыши' (Mouse Mode) задает либо режим абсолютного позиционирования курсора, когда положение курсора напрямую контролируется углами поворота головы; либо режим джойстика, когда приращение угла поворота головы приводит к приращению текущего положения курсора. Режим джойстика можно использовать совместно со стандартным устройством мыши, тогда как абсолютный режим заберет полный контроль над курсором мыши.
  • Флажок 'Включить отслеживание принудительно' (Force Enable Tracking) позволяет автоматически включать режим отслеживания головы, когда Вы включаете режим управления курсором. Это бывает необходимо, так как управление курсором невозможно без отслеживания головы.
  • Флажки 'Инвертировать горизонтально' и 'Инвертировать вертикально' пригодятся, когда необходимо инвертировать направление движения курсора по горизонтали или по вертикали.
  • Флажок 'Фильтр Калмана' (Kalman Filtering) позволяет включить сглаживание движения курсора.

Публикации  

Диссертации и авторефераты диссертаций

1. Кривцов О.А. Методы, алгоритмы и программная система трекинга головы человека на видеокадрах, основанные на геометрических текстурных моделях : автореферат диссертации на соискание ученой степени кандидата технических наук / О.А. Кривцов; Томский государственный университет систем управления и радиоэлектроники (ТУСУР); Национальный исследовательский Томский политехнический университет. -- Томск, 2010. -- 20 с.
Текст автореферата (PDF): Просмотр Загрузить

2. Кривцов О.А. Методы, алгоритмы и программная система трекинга головы человека на видеокадрах, основанные на геометрических текстурных моделях : диссертация на соискание ученой степени кандидата технических наук / О.А. Кривцов; Томский государственный университет систем управления и радиоэлектроники (ТУСУР); Национальный исследовательский Томский политехнический университет. -- Томск, 2010. -- 202 с.
Текст диссертации (PDF): Просмотр  Загрузить
Презентация (PDF): Просмотр  Загрузить

Статьи в журналах

1. Кривцов О.А Методы отслеживания головы человека на видеокадрах: классификация и выбор / О.А. Кривцов, А.М. Кориков // Журнал "Информационные технологии" -- М.: Изд-во "Новые технологии" -- 2010. -- №9 -- С. 13--19.
Текст статьи (PDF): Загрузить

2. Кривцов О.А. Инверсно-композиционный алгоритм регистрации изображений. Программная реализация алгоритма регистрации средствами языка C++ и библиотеки OpenCV / О.А. Кривцов, А.М. Кориков // RSDN Magazine. -- М.: Изд-во К-Пресс. -- ISSN 0234-6621 -- 2010. -- № 1 -- С. 59--72.
Просмотр: PDF- версия статьи на сайте E-Library
Просмотр: HTML-версия статьи на сайте RSDN

3. Кривцов О.А. Методы отслеживания головы человека на видеокадрах: состояние проблемы / О.А. Кривцов, А.М. Кориков // Журнал "Информационные технологии" -- М.: Изд-во "Новые технологии" -- 2010. -- №7 -- С. 2--9.
Текст статьи:  Загрузить Просмотр
Ссылка: Cодержание номера журнала "Информационные технологии", №7, 2010

4. Кривцов О.А. Моделирование головы человека для задачи отслеживания ее положения на видеокадрах // Доклады Томского государственного университета систем управления и радиоэлектроники. - Томск: Издательство ТУСУР. - 2009. - № 1(19), часть 1. - С.109-115.
Текст статьи (PDF):   Просмотр  Загрузить

5. Кривцов О.А. Отслеживание положения головы человека в пространстве на основе анализа видеокадров / О. Кривцов, А. Кориков // Доклады Томского государственного университета систем управления и радиоэлектроники. – Томск: Издательство ТУСУР. - 2008. – № 2(18), часть 2. – С. 32–39.
Текст статьи (PDF): Загрузить

Доклады на конференциях

2010

Кривцов О.А. Сравнительный анализ метода Ньютона и Левенберга-Марквардта для задачи регистрации изображений // Материалы докладов Всероссийской научно-технической конференции студентов, аспирантов и молодых ученых "Научная сессия ТУСУР-2010" -- Томск: Изд-во "В-Спектр", 2010. -- В пяти частях, Ч. 4. -- С. 231--234.
Тезисы доклада: KrivtsovO_nstusur2010_s17.1.pdf.
Презентация: KrivtsovO_nstusur2010_s17.1_presentation.pdf.
Сайт конференции: Научная сессия ТУСУР 2010 (г. Томск 4-7 мая 2010 г.)

Кривцов О.А. Методы трекинга головы человека на видео // Материалы докладов Всероссийской научно-технической конференции студентов, аспирантов и молодых ученых "Научная сессия ТУСУР-2010" -- Томск: Изд-во "В-Спектр", 2010. -- В пяти частях, Ч. 1. -- С. 149--152.
Читать тезисы доклада: KrivtsovO_nstusur2010_s3.pdf.
Смотреть презентацию: KrivtsovO_nstusur2010_s3_presentation.pdf.
Сайт конференции: Научная сессия ТУСУР 2010 (г. Томск 4-7 мая 2010 г.)

Krivtsov O. Applying Inverse-Compositional Image Registration Algorithm to Head Tracking with 6 DOF // Proceedings of the 16th International Scientific and Practical Conference of Students, Post-graduates and Young Scientists "Modern Technique and Technologies MTT'2010" April 12-16, 2010 Tomsk, Russia -- Tomsk: TPU Press -- ISBN 0-7803-8226-9 -- P. 91--93.
Читать текст статьи: KrivtsovO-MTT2010.pdf
Смотреть презентацию: KrivtsovO-MTT2010-presentation.pdf
Сайт конференции: СТТ-2010 (г. Томск 12-16 апреля 2010 г.)

Кривцов О.А. Разработка программной системы отслеживания головы пользователя компьютера на видеокадрах, полученных с веб-камеры, для управления курсором мыши / О.А. Кривцов, А.М. Кориков // Материалы докладов 6-й Международной научно-технической конференции "Электронные средства и системы управления", г. Томск, 13-16 октября 2010 г. -- Томск: В-Спектр 2010.
Текст доклада: Загрузить
Презентация: Загрузить
Сайт конференции: ЭССУ-2010 (13-16 октября 2010 г.)

Кориков А.М. Развитие систем человек-компьютер на основе методов трекинга головы человека. / А.М. Кориков, О.А. Кривцов // Материалы докладов 16-й Международной научно-технической конференции "Природные и интеллектуальные ресурсы Сибири (СИБРЕСУРС-16-2010)", Абакан, 4-6 октября 2010 г. -- Томск: САН ВШ; В-Спектр 2010. -- С. 14--18.
Читать тезисы доклада: Тезисы доклада
Сайт конференции: СИБРЕСУРС-2010 (4-6 октября 2010 г., Абакан, Россия)

Кориков А.М. Развитие систем человек-компьютер: от перфокарты и перфоленты: к интерфейсу мозг-компьютер / А.М. Кориков, О.А. Кривцов // Материалы докладов международной научной школы "Микроэлектронные информационно-управляющие системы и комплексы", Зеленоград, 26-30 октября 2010 г.
Текст доклада: Загрузить
Презентация: Загрузить
Сайт конференции: МИУС-2010 (26-30 октября 2010 г.)

2009

Кривцов О. Сравнительный анализ жестких моделей головы человека применительно к задаче отслеживания головы на видеокадрах / О. Кривцов, А. Кориков // Материалы докладов Всероссийской научно-технической конференции студентов, аспирантов и молодых ученых "Научная сессия ТУСУР-2009". - 2009. - Томск: Изд-во В-Спектр. - часть 4. - С. 218-221.
Читать текст статьи: krivtsovOA-nstusur09.pdf
Смотреть презентацию: krivtsov_nstusur09_presentation.pdf
Сайт конференции: НС ТУСУР-09 (г. Томск 12-15 мая 2009 г.)

Krivtsov O. An Analysis of Performance and Accuracy of a Video Head Tracking System / O. Krivtsov, A. Korikov // In Proceedings of 15th International Conference 'Modern Technique and Technologies', Russia, Tomsk, May 4-8, 2009, TPU Press, P. 113-115
Тезисы доклада: krivtsov_korikov_analysis_09.pdf
Презентация:  krivtsov_ctt09_presentation.pdf
Сайт конференции: CTT-09 (г. Томск, 4-8 мая 2009 г.)

Кривцов О. Отслеживание жестких объектов на видеокадрах с помощью текстурных моделей // Материалы докладов VII Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых "МОЛОДЕЖЬ И СОВРЕМЕННЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ". - 2009. - Томск: Изд-во СПБ Графикс. - ч.1- С. 149-150.
Тезисы доклада:  Текст доклада, PDF
Презентация:  Презентация, PDF
Сайт конференции: МСИТ-2009 (г. Томск, 25-27 февраля 2009 г.)

2008

Кривцов О. Управление курсором мыши путем отслеживания наклона головы пользователя // Материалы докладов молодежной пятой научно-практической конференции "Электронные средства и системы управления: итоги реализации программы развития электроники и IT-технологий в томской области". - 2008. - Томск:В-Спектр. - С. 190-195. 
Сайт конференции: ЭССУ-2008 (г. Томск, 29-30 сентября 2008 г.)
Текст доклада: KrivtsovOA-S1.pdf 
Презентация: presentation.pdf.

Демонстрационные видеоролики:

track!.avi

our_approach.avi

moving_cursor.avi


Авторы

Кривцов Олег Александрович, аспирант каф. автоматизированных систем управления Томского государственного университета систем управления и радиоэлектроники.

E-Mail: olegkrivtsov@mail.ru

Научный руководитель: 

Кориков Анатолий Михайлович, д.т.н., профессор, зав. кафедрой автоматизированных систем управления ТУСУРа. 

Условия использования

Авторским правом на данное программное обеспечение и на все относящиеся к нему файлы обладает О. А. Кривцов, 2008. Данное программное обеспечение распространяется только для целей персональной демонстрации. Данная программа, а также производные от нее работы, не могут быть использованы в коммерческих целях. Программа распространяется на условиях "КАК ЕСТЬ", ИСКЛЮЧАЯ ГАРАНТИИ ЛЮБОГО ВИДА, явные и подразумеваемые.

Загрузка

Прежде чем загрузить программу, пожалуйста, внимательно ознакомьтесь с условиями использования, приведенными выше.

Последняя версия программы (14 марта 2009 г.):

  HeadTrackingDemo_14032009.zip (Размер: 1.8 Мб; ОС: Windows XP).