Уже некоторое время исследователи MIT и нескольких других университетов изучают методы использования частот в диапазонах WiFi, чтобы видеть сквозь стены с помощью формы радиолокации низкого энергопотребления. Основная идея состоит в отслеживании и обработке отражений этих сигналов от тел людей.
Недавно исследователи MIT пошли дальше, объединив результаты радара с машинным обучением в проекте, который они называют RF-Pose. Результат — возможность воссоздавать и отслеживать полную информацию о позах человека через стены. Аннотация к их работе гласит:
Это статья демонстрирует точную оценку позы человека через стены и окклюзии. Мы используем тот факт, что беспроводные сигналы в диапазонах WiFi проходят сквозь стены и отражаются от тела человека. Мы вводим подход глубокой нейронной сети, который распознаёт такие радиосигналы и оценивает 2D позы. Поскольку люди не могут аннотировать радиосигналы, мы используем передовую модель компьютерного зрения для обеспечения кросс-модального надзора.
Конкретно, во время обучения система использует синхронизированные беспроводные и визуальные входы, извлекает информацию о позе из визуального потока и использует её для руководства процессом обучения. После обучения сеть использует только беспроводной сигнал для оценки позы. Мы показываем, что, когда тестируется на видимых сценах, радиосигнализированная система почти так же точна, как система на основе зрения, которая использовалась для её обучения. Однако, в отличие от оценки поз на основе зрения, радиосигнализированная система может оценивать 2D-позы через стены, даже если она никогда не обучалась на подобных сценариях.
Надежда состоит в том, что эта технология однажды сможет заменить камеру-подобное компьютерное зрение. Это будет неинвазивный метод для таких приложений, как игры, мониторинг пожилых людей на предмет падений, захват движений во время киносъемок без необходимости костюмов и, конечно, для сбора данных о перемещениях людей.
Об этом не говорится в статье, но, вероятно, они используют какой-то SDR, например USRP, для приема сигналов. Возможно, что более низкоразрешающая система может быть создана недорого с HackRF и некоторым программным обеспечением пассивного радара.
Источник:
