FreeTrack - FreeTrack
 | |
 | |
| Стабильный выпуск | v2.2 / 7 октября 2008 г. |
|---|---|
| Операционная система | Майкрософт Виндоус |
| Тип | Оптическое отслеживание движения |
| Лицензия | Стандартная общественная лицензия GNU |
| Веб-сайт | www.free-track.net |
FreeTrack - это универсальное приложение для оптического отслеживания движения для Microsoft Windows , выпущенное под лицензией GNU General Public License , которое может использоваться с обычными недорогими камерами. Его основное внимание уделяется отслеживанию головы с использованием в виртуальной реальности , симуляции , видеоиграх , 3D-моделировании , автоматизированном проектировании и общих вычислениях без помощи рук для повышения доступности компьютера . Отслеживание можно сделать достаточно чувствительным, чтобы потребовались лишь небольшие движения головы, чтобы глаза пользователя никогда не отрывались от экрана.
Камера расположена для наблюдения за жесткой точечной моделью, которую носит пользователь, точки которой необходимо изолировать от фонового света с помощью физической и программной фильтрации. Движение отслеживается с шестью степенями свободы (6DOF): рыскание, тангаж, крен, влево / вправо, вверх / вниз и вперед / назад. Поддерживаются Windows-совместимые видеоустройства, такие как веб-камеры , а также специальная камера Nintendo Wii Remote, камера iPhone Truedepth с Eyeware Beam и камеры NaturalPoint ( TrackIR , SmartNav и OptiTrack).
FreeTrack может выводить данные отслеживания движения головы в программы напрямую, используя собственный открытый интерфейс, а также интерфейсы TrackIR , SimConnect и FSUIPC. Программы, поддерживающие эти интерфейсы, считаются совместимыми с FreeTrack . FreeTrack также может эмулировать мышь , клавиатуру и джойстик (через PPJoy), если программа не поддерживает прямой интерфейс.
FreeTrack написан на Delphi 7 и использует DirectShow и DirectX . Отслеживание головы достигается с помощью реализаций четырехточечного итеративного алгоритма оценки позы DeMenthon (POSIT) и трехточечного геометрического алгоритма Альтера .
Программное обеспечение
FreeTrack использует камеру для сбора в реальном времени информации о точечной модели, которую носит пользователь. В частности, координаты изображения точек модели, которые либо принимаются непосредственно с камеры, либо извлекаются из видеопотока. Эти координаты используются для оценки реальной позы головы, которая может быть преобразована пользователем несколькими способами для создания виртуальной позы. Одно из самых фундаментальных преобразований включает усиление вращения, так что требуются лишь небольшие движения головы. Наконец, виртуальная поза отправляется на выбор пользователя. Все это делается в фоновом режиме, а статус отслеживания отображается на панели задач .
Доступен предварительный просмотр в 3D, который показывает положение и ориентацию виртуальной головы для данной реальной позы головы и может просматриваться с разных точек зрения, включая вид от первого лица. Это значительно облегчает тестирование и упрощает эксперименты с различными настройками.
Каждая степень свободы (ось) имеет кривую отклика, которую можно изменить, чтобы изменить способ движения виртуальной головы для данного реального движения головы. Это обычно используется для создания центральной мертвой зоны, чтобы голова пользователя могла быть более расслабленной.
Кнопки клавиатуры, мыши и джойстика можно использовать для переключения настроек отслеживания, включая расположение виртуального центра (например, регулировку положения сиденья в автомобиле) и индивидуального переключения осей и выходов.
Для камер NaturalPoint FreeTrack может предоставить расширенные функции и уровень настройки, недоступные в официальном программном обеспечении.
Камера
| Камера | Разрешение сенсора | FPS | Датчик | Угол (°) | Выход | использование процессора | Субпиксельная точность | ИК- светодиоды | Прибл. цена (долл. США) |
|---|---|---|---|---|---|---|---|---|---|
| Идеальная веб-камера | 640 × 480 | ≥60 | монохромный | 42 | сильно сжатый | небольшой | Зависит от программного обеспечения | да | ? |
| OEM ИК- веб-камера | 640 × 480 | 30 | цвет | 42 | Сжатый JPEG | небольшой | Зависит от программного обеспечения | да | 5 долларов |
| Sony PlayStation EyeToy | 640 × 480 | 30 | цвет | 56 | Сжатый JPEG | небольшой | Зависит от программного обеспечения | Нет | 16 долларов США |
| Sony PlayStation 3 Eye | 640 × 480 | 187 @ 320x240 ( CLEye ), 125 @ 320x240 (Directshow), 75 @ 640x480 (DirectShow) | цвет | 75, 56 | JPEG сжатый, необработанный | небольшой | Зависит от программного обеспечения | Нет | 24 доллара США |
| Microsoft Xbox Live Vision | 640 × 480 | 60 при 320 × 240, 30 при 640 × 480 | цвет | ? | JPEG сжатый, необработанный | небольшой | Зависит от программного обеспечения | Нет | 14 долларов США |
| Пульт Nintendo Wii | 128 × 96 | 100 ( Bluetooth ), 250 ( I2C ) | цвет | 41 год | координаты точки | никто | 1/8 | Нет | 23 доллара США |
| NaturalPoint TrackIR 1 | 60k пикселей (например, 300 × 200) | 60 | монохромный | 33 | бинарный порог | минимальный | да | в отставке | |
| NaturalPoint TrackIR 2 | 60k пикселей (например, 300 × 200) | 100 | монохромный | 33 | бинарный порог | минимальный | да | в отставке | |
| NaturalPoint TrackIR 3 | 355 × 288 | 80 | монохромный | 33 | бинарный порог | минимальный | да | в отставке | |
| NaturalPoint TrackIR 3 Pro | 355x288 | 120 | монохромный | 33 | бинарный порог | минимальный | да | в отставке | |
| NaturalPoint TrackIR 4 Pro | 355 × 288 (с субдискретизацией 710 × 480) | 120 | монохромный | 46 | бинарный порог | минимальный | 1/20 | да | 99,95 долл. США |
| NaturalPoint TrackIR 5 | 640 × 480 | 120 | монохромный | 51,7 | градации серого | минимальный | 1/150 | да | 149,95 долл. США |
| NaturalPoint SmartNav 1/2 | 60k пикселей (например, 300 × 200) | 60 | монохромный | 33 | бинарный порог | минимальный | да | в отставке | |
| NaturalPoint SmartNav 3 | 355 × 288 | 120 | монохромный | 33 | бинарный порог | минимальный | 1/20 | да | в отставке |
| NaturalPoint SmartNav 4 | 640 × 480 (с субдискретизацией 1280 × 480) | 100 | монохромный | 41 год | градации серого | минимальный | 1/150 | да | От 400 до 500 долларов |
разрешение
В большинстве случаев достаточно разрешения 320 × 240, это позволяет получить гораздо более высокое субпиксельное разрешение , достаточное для точного управления курсором на мониторе с высоким разрешением. Разрешения 640 × 480 и выше имеют убывающую отдачу и соответствуют экспоненциальному увеличению использования ЦП при недостаточном сжатии до достижения компьютера. Более высокое разрешение становится более важным на большем расстоянии от камеры. В Wii используется сенсор с низким разрешением 128 × 96, который, как считают некоторые, производит неустойчивое отслеживание и может потребовать сглаживания для повышения стабильности за счет снижения отзывчивости.
Датчик
При том же разрешении монохромные датчики могут разрешать более мелкие детали намного лучше, чем цветные датчики, из-за отсутствия массива цветных фильтров .
Частота кадров
FreeTrack использует интерполяцию с видеоустройствами с низкой частотой кадров для улучшения плавности панорамирования. Однако скорость отклика в основном ограничена частотой кадров; веб-камера со скоростью 30 кадров / с имеет максимальную задержку отклика 33,3 миллисекунды по сравнению с 8,33 миллисекундами для камеры со скоростью 120 кадров / с. Чтобы представить это в перспективе, время реакции человека на визуальный стимул (рефлекс пальца) обычно составляет около 200 мс; 30 мс можно рассматривать как конкурентный пинг в онлайн-играх, основанных на рефлексах, а частота обновления ЖК-монитора обычно составляет 17 мс.
Более высокая отзывчивость дает большее ощущение контроля, но поскольку виртуальное движение головы усиливается, это также может привести к нереалистично быстрому ее движению. По этой причине некоторые программы ограничивают скорость движения головы, теряя часть скорости отклика камер с более высокой частотой кадров.
Угол
Более широкий угол обзора позволяет увеличить область отслеживания при нахождении в непосредственной близости от камеры. На больших расстояниях использование широкого угла нежелательно, большая часть кадра не используется и эффективное разрешение падает быстрее. Также можно увидеть больше периферийного света, который может мешать отслеживанию. Угол обзора можно уменьшить, используя цифровой зум за счет разрешения.
использование процессора
Nintendo Wii Remote эффективно не использует процессора, NaturalPoint камера использует небольшое количество, и общее видео устройство может использовать значительное количество, в зависимости от марки и настроек конкретных камер в использовании. PlayStation Eye, работающая с тем же разрешением и частотой кадров, что и TrackIR 4, будет очень требовательна к одноядерному процессору. Однако современные многоядерные процессоры решают эту проблему. Разрешение и частоту кадров всегда можно уменьшить для экономии ресурсов ЦП.
Фильтры
FreeTrack требует, чтобы точки слежения были изолированы от всех других источников света; Лучше всего это делать с помощью инфракрасных светодиодов и фильтра, блокирующего видимый свет, перед камерой. Фотопленка или магнитный носитель информации внутри дискет могут использоваться в качестве недорогих фильтров видимого света. Дальнейшую фильтрацию можно выполнить в программном обеспечении, настроив экспозицию и порог.
Все видеоустройства, такие как веб-камеры, имеют встроенный фильтр, блокирующий инфракрасное излучение, который можно снять для повышения чувствительности к инфракрасному свету, что обеспечивает лучшую изоляцию точек и возможность отслеживания на обратное отражение. Обычно это простая и обратимая процедура для большинства веб-камер.
Камеры Wii Remotes и NaturalPoint предназначены для отслеживания инфракрасных точек, поэтому в них уже есть фильтры, блокирующие видимый свет.
Точечная модель
Конфигурации модели
- Единая точка: единственная точка слежения, например, прикрепленная к бейсболке или проволоке, идущей вперед от головы. Этого легко добиться с помощью небольшого источника света, например фонарика . В отличие от других конфигураций, это ограничено двумя степенями свободы (рыскание и тангаж) и может быть более чувствительным к поступлению, чем вращению.
- Трехточечный зажим: асимметричное треугольное расположение наконечников, которые можно прикрепить к наушникам и расположить сбоку от головы.
- Трехточечная кепка: симметричное треугольное расположение точек, обычно прикрепленных к краю бейсболки.
- Четырехточечная кепка: симметричное некомпланарное расположение точек, также прикрепленных к ободу бейсболки.
Модели можно изготавливать своими руками при минимальных затратах с использованием готовых электронных компонентов. Комплекты компонентов и полностью построенные модели также доступны для покупки у некоторых членов сообщества FreeTrack.
Активные точки
В модели активной точки используются видимые или инфракрасные светодиоды (5 мм или больше) для представления точек слежения с питанием от батареи, трансформатора (штекерный блок) или USB . Электрическая схема очень проста и может быть изготовлена кем-то с небольшим опытом или без опыта работы с электроникой.
Обычные светодиоды, такие как те, что используются в пультах дистанционного управления , имеют узкий, сильно сфокусированный луч, который не подходит для оптического отслеживания движения. Их можно легко превратить в широкоугольные светодиоды, приплюснув кончики линз. В качестве альтернативы, широкоугольные светодиоды можно приобрести в специализированных магазинах электроники, например, инфракрасные светодиоды Siemens / Osram SFH485P с половинным углом 40 градусов.
Светоотражающие точки
Световозвращающий материал может использоваться для представления точек слежения за счет освещения источником инфракрасного света. Эта конфигурация не требует подключения к пользователю проводов или батарей, но она более восприимчива к помехам из-за фонового освещения. В большинстве случаев внутренний инфракрасный блокирующий фильтр веб-камеры необходимо удалить, чтобы повысить чувствительность настолько, чтобы можно было видеть инфракрасный свет, отраженный точками слежения.
FreeTrack интерфейс
FreeTrack имеет простой интерфейс, который может свободно использоваться сторонними программами, такими как Eyeware Beam, для доступа к данным отслеживания 6DOF, как к реальным необработанным измерениям, так и к виртуальным. Он не зависит от оборудования, поэтому не зависит от конкретной марки или версии оборудования и может использоваться без ограничений. ARMA 2 от Bohemia Interactive - первая игра, поддерживающая интерфейс FreeTrack, а GP Bikes - первая игра с эксклюзивной поддержкой.
TrackIR интерфейс
FreeTrack совместим с незашифрованной версией интерфейса TrackIR отслеживания головы NaturalPoint, который широко поддерживается в играх-симуляторах. NaturalPoint поставляет разработчикам игр зашифрованную версию интерфейса для более популярных игр с конца 2008 года, они могут быть определены как требующие программного обеспечения TrackIR версии 4.1.036 или выше и несовместимы с FreeTrack. Разработчики первой затронутой игры, DCS: Black Shark , попытались выпустить свой собственный интерфейс отслеживания головы, но вскоре отменили его по запросу NaturalPoint. Совместимость с FreeTrack по-прежнему возможна с помощью TrackIRFixer, чтобы удалить требование шифрования в играх.
TIRViews.dll - это файл библиотеки с динамической компоновкой, распространяемый с программным обеспечением TrackIR, который обеспечивает индивидуальную поддержку небольшого количества в основном старых игр с использованием специальных интерфейсов или хаков памяти для облегчения управления просмотром. Хотя это нарушение лицензионного соглашения с программным обеспечением TrackIR , его можно использовать с FreeTrack.
SDK интерфейса TrackIR от NaturalPoint доступен только в рамках подписанного лицензионного соглашения и покрывается соглашением о неразглашении , поэтому, хотя FreeTrack является бесплатным программным обеспечением , компонент интерфейса TrackIR должен иметь закрытый исходный код .
Смотрите также
использованная литература
внешние ссылки
- Официальный сайт FreeTrack
- Академическая страница Дэниела ДеМентона - статьи и примеры алгоритма POSIT
- Канал FreeTrack на YouTube