ТЕХНОЛОГИИ РЕКОНСТРУКЦИИ ОБЪЕМНЫХ ДИНАМИЧЕСКИХ СЦЕН ПО ПРОСТРАНСТВЕННО-ВРЕМЕННЫМ ПРОЕКЦИЯМ
С.А. Животиков
Фонд перспективных исследований, Москва, Российская Федерация
Оглавление
2. Цели и задачи перспективного проекта ФПИ
3. Базовые методы и алгоритмы в составе технологии 4D реконструкции
4. Тестирование технологии и сбор данных.
Аннотация
В данном сообщении анализируется возможность создания технологии пространственно-временной (4D) реконструкции динамической сцены по множеству её 2D проекций для повышения качества, удобства и интеллектуализации информационного обеспечения специалистов при проведении боевых действий, антитеррористических, поисково-спасательных мероприятий и др.
Актуальность создания подобной технологии обусловлена существующей необходимостью автоматизации процесса интеллектуальной обработки и анализа большого количества фото- и видеоизображений, генерируемых участниками или очевидцами различных значимых событий. Получаемые изображения в общем случае характеризуются существенной разнородностью в части качества, масштаба, условий съемки и др. Тем не менее, все они относятся к одному пространственно-временному контексту и являются семантически связными, что позволяет установить хронологию происходивших в заданном районе местности событий и их распределение во времени.
Представленный материал содержит описание требований, предъявляемых к технологии, базовых методов и алгоритмов, лежащих в её основе. Также отдельно отмечается важность задач сбора и разметки данных для настройки и тестирования технологии, разработки методики оценки и критериев качества, подтверждающих её эффективность.
В заключении отмечены инициативы ФПИ по данному направлению исследований, а также описан зарубежный опыт, подтверждающий актуальность разработки подобной технологии.
Будучи созданной, технология пространственно-временной реконструкции динамической сцены позволит повысить эффективность решения широкого спектра задач обороны страны и безопасности государства.
Ключевые слова: интеллектуализация информационного обеспечения, пространственно-временная реконструкция, хронология сцены, распределение событий.
Для сокращения времени принятия решений и повышения эффективности выполнения поставленных задач при проведении боевых действий, антитеррористических, поисково-спасательных и специальных мероприятий качество информационного обеспечения соответствующих структур и подразделений должно непрерывно расти. В частности, для достижения наилучшего результата особое значение имеет представление информации в виде, максимально полном и удобном для последующего анализа.
На сегодняшний день в виду широкого распространения устройств с возможностью фото- и видеосъемки значимые события зачастую сопровождаются потоком изображений, генерируемых участниками или очевидцами данных событий. Источником данных может быть боец с нашлемной камерой, робототехнический комплекс с системой технического зрения или же в общем случае любой человек с мобильным телефоном. Для анализа большого числа снимков сегодня требуется существенное количество ручного труда квалифицированных специалистов, прежде всего из-за необходимости помимо экспертной работы выполнять рутинные операции по просмотру, отбору и первичной обработке сформированной коллекции изображений. В условиях быстрой динамики событий и ограниченного времени на принятие решений, оператор может допустить критические ошибки, способные привести к нежелательным результатам. Снизить вероятность или избежать подобного исхода позволит повышение качества, удобства и интеллектуализации информационного обеспечения специалистов при решении поставленных задач.
Для достижения указанной цели Фонд перспективных исследований рассматривает возможность реализации научно-технического проекта по созданию технологии реконструкции объемных динамических сцен по пространственно-временным проекциям, позволяющей восстанавливать ход событий, происходивших в заданном районе местности в определенный промежуток времени. В качестве примеров, подтверждающих актуальность данного проекта, можно привести трагический пожар в Одессе 02.05.14 г., массовые беспорядки и погромы в ЮАО г.Москвы 13.10.13 г. и др. Не нарушая общности, справедливо отметить, что фотоматериалы с мест событий характеризуются существенными отличиями в части времени и места съемки, размера и масштаба, качества и др. Вместе с тем, они являются взаимоувязанными в рамках окружающего контекста, относятся к одному промежутку времени и отражают причинно-следственную хронологию событий. Необходимость восстановления динамического портрета подобных событий определяет требования к разрабатываемой технологии, в т.ч.:
1. Высокая точность построенной 3D сцены и достоверность распределения событий во времени (большая стоимость ошибок I рода).
2. Высокая степень автоматизации процесса реконструкции сцены – участие оператора должно быть минимизировано.
3. Удобство представления и интерактивность сцены при взаимодействии с оператором, в т.ч. эффект присутствия в произвольной точке сцены в произвольный момент времени.
Также отдельные задачи могут требовать решения в реальном масштабе времени (on-line) или же допускать отложенную (off-line) реконструкцию сцены. Таким образом, сценарии использования технологии определят методы и алгоритмы, лежащие в её основе и, как следствие, наложат ограничения на результат.
Ниже приведен неисчерпывающий перечень базовых методов и алгоритмов, реализация которых позволит обеспечить запланированный функционал технологии.
1. Методы и алгоритмы высокоточной реконструкции объемной геометрии сцены по множеству 2D проекций, комплексирующие существующие подходы к восстановлению формы поверхности сцены в зависимости от характеристик входных данных (Shape from X, X = {motion, stereo, shading, zoom ...}[1]).
2. Методы и алгоритмы обнаружения объектов и людей, в т.ч. их реидентификации.
3. Методы и алгоритмы визуального трекирования движущихся объектов.
4. Методы и алгоритмы распознавания действий и намерений людей (в т.ч. тактики противника на поле боя).
5. Методы и алгоритмы гео- и топопривязки сцены, в т.ч. с использованием мета-данных (данные геоспутников, ИНС и т.д.).
6. Методы и алгоритмы реконструкции природных и техногенных процессов, хронологии событий, причинно-следственных связей.
7. Методы и алгоритмы построения формальных семантически связных описаний сцены – контекстных онтологий в терминах объектов и отношений между ними.
Научные задачи по созданию перечисленных выше методов и алгоритмов являются в той или иной степени открытыми[2,3], однако, существуют и конкретные реализации описанных технологий в виде прикладного ПО[4,5].
Отдельно стоит отметить задачи сбора и разметки тестовых данных, разработки методики и сценариев тестирования технологии, а также задачу определения критериев качества, характеризующих её эффективность. Данные для обучения и тестирования технологии, соответствующие происходившим ранее значимым общественным событиям, могут быть получены из популярных социальных и медийных веб-ресурсов. В таком случае эталоном будет служить реальная хроника событий, и технология может быть проверена ретроспективно. Недостатком такого подхода является потенциально малый объем обучающей выборки, который, впрочем, может быть устранен посредством автоматической генерации достаточного количества синтетических примеров с помощью специального имитационного программного обеспечения. В случае отработки разрабатываемой технологии для боевых или специальных сценариев подход, предполагающий моделирование, может оказаться единственно применимым для получения обучающей выборки.
К тематике пространственно-временной (4D) реконструкции динамических сцен проявляют интерес и за рубежом. Так, Управление перспективных оборонных исследований министерства обороны США DARPA выполняет комплекс программ и проектов по разработке технологий и систем высокоточной реконструкции районов и объектов городской застройки (в т.ч., методов и алгоритмов распознавания объектов городской среды, установления связей между ними, аннотирования и пространственной локализации элементов сцены) с целью повышения ситуационной осведомленности военнослужащих при выполнении боевых действий в черте города [6-8].
23 сентября в Фонде перспективных исследований состоялся научно-технический семинар, посвященный обсуждению предлагаемой к реализации технологии. В ходе мероприятия участники изложили экспертное видение проекта, дали оценку его реализуемости, рассказали о существующем заделе, отечественном и мировом уровнях в области интеллектуальной обработки и анализа изображений. Также в формате круглого стола велось обсуждение комплекса задач, решение которых необходимо для успешной реализации технологии пространственно-временной реконструкции динамических сцен. По результатам семинара было принято решение о необходимости уточнения прикладных сценариев применения и требований к целевой технологии. После соответствующего уточнения облика проекта, Фондом запланирован сбор предложений по его реализации от заинтересованного научного сообщества. В случае старта проекта будет создана отдельная исследовательская лаборатория, в состав которой войдут коллективы, предложившие лучшие способы решения сформулированных выше задач. По итогам проекта должны быть достигнуты качественно новые, прорывные результаты, которые позволят использовать данную технологию в интересах решения широкого спектра задач обороны страны и безопасности государства.
1. http://www.cvg.ethz.ch/teaching/2012spring/3dphoto/Slides/3dphoto12_shapeFromX.pdf
2. http://www.cvpapers.com/eccv2014.html
3. http://www.cvpapers.com/iccv2013.html
4. http://www.cs.cornell.edu/~snavely/bundler/
7. http://www.cs.unc.edu/Research/urbanscape/
8. http://graphics.stanford.edu/~pmerrell/Pollefeys_UrbanReconstruction07.pdf
THE TECHNOLOGY OF TIME-SPATIAL DYNAMIC SCENE RECONSTRUCTION FROM MULTIPLE IMAGES
S.A.Zhivotikov
Advanced Research Foundation, Moscow, Russia
Abstract
This article is focused on intelligent technology of time-spatial (4D) dynamic scene reconstruction from a range of multiple plane (2D) images. It`s implementation will have a strong impact on information representation quality and will significantly improve situational awareness while combat, anti-terror and search&rescue operations.
Nowadays each significant event goes with a collection of photo and video materials made by its participants and viewers. The appropriateness of specified technology is confirmed by necessity of intelligent image processing and analysis automation facilitation. In general, obtained images substantially differ in quality, scale, shooting conditions, etc. Nevertheless, all of them refer to the same time-spatial context and are semantically related thus giving an opportunity to define events chronology and their time distribution.
This article provides technology requirements specification as well as description of its basic methods and algorithms. The importance of such tasks as data generation and markup for technology training and testing, evaluation methodology and quality criteria development is specifically mentioned in the abstract.
Finally, Advanced Research Foundation initiatives in defined research field are pointed out as well as international experience is described.
The technology of time-spatial dynamic scene reconstruction will significantly improve the efficiency of solving a wide range of national defense and state security problems.
Keywords: information representation quality improvement, time-spatial reconstruction, scene chronology, events distribution
1. http://www.cvg.ethz.ch/teaching/2012spring/3dphoto/Slides/3dphoto12_shapeFromX.pdf
2. http://www.cvpapers.com/eccv2014.html
3. http://www.cvpapers.com/iccv2013.html
4. http://www.cs.cornell.edu/~snavely/bundler/
7. http://www.cs.unc.edu/Research/urbanscape/
8. http://graphics.stanford.edu/~pmerrell/Pollefeys_UrbanReconstruction07.pdf