Автоматизированная система анализа аэроснимков при мониторинге пожарной обстановки
Automated system for analyzing aerial photographs during monitoring a fire situation
- 1 Академия Государственной противопожарной службы МЧС России
Представлено исследование нейросетевой модели анализатора аэроснимков, полученных с квадракоптера при мониторинге пожарной обстановки автономной территориальной единицы. Для реализации модели предложено классифицировать сегменты снимков, полученных из видеопотока, размеры которых меняются в зависимости от обнаруженной зоны интереса.
The paper presents a study of a neural network model of an analyzer of aerial photographs obtained from a quadrocopter while monitoring the fire situation of an autonomous territorial unit. To implement the model, it is proposed to classify segments of images obtained from a video stream, the sizes of which vary depending on the detected area of interest.
Определение дислокации пожаров с помощью компьютерного зрения с достаточной точностью и оперативностью является трудной задачей [1]. Принято, что в качестве дескрипторов для определения координат источника возгорания используется температурная карта, полученная посредством тепловизора или инфракрасной камеры. Однако на инфракрасных камерах пожарами будут выглядеть места с высокой температурой воздуха, а некоторые участки поверхности будут приняты за источники тепла только из-за особенностей отражения света. К тому же такие камеры существенно дороже. Поэтому при использовании в мониторинге пожарной обстановки дронов, входящих в автоматизированную систему мониторинга пожарной обстановки, на их борту для поиска очага пожара целесообразно устанавливать RGB-камеры, который используются для съёмки всего района, а фотографии затем анализируются посредством автономных интеллектуальных агентов (АИА), построенных на основе моделей машинного обучения [2, 3].
Для анализа RGB-изображений в настоящее время широко используются свёрточные нейронные сети (СНС) различной архитектуры. Однако у них имеются два существенных недостатка, которые препятствуют их использованию в автоматизированной системе оценки пожарной обстановки. Первый недостаток связан с большим потоком видеоданных, поступающих с видеокамер дрона на СНС в процессе мониторинга. Это обстоятельство не позволяет удовлетворить требования по оперативности анализа снимков. Второй недостаток СНС связан с тем, что СНС классифицирует снимок в целом, тогда как на пульт лица, принимающего решение (ЛПР), необходимо передать координату возгорания, то есть классификация снимка должна осуществляться сегментарно, что снижает преимущества СНС при решении этой задачи.
За основу построения классификатора пожарной обстановки взят метод классификации RGB-видеоданных, поступающих от видеокамеры дрона, основанный на понятии каскадного окна [4]. Сущность метода классификации, используемого в этой системе, состоит в том, что каждый снимок пошагово разбивается на квадратные сегменты уменьшающегося размера, которые последовательно сканируются по правилу строчной развёртки. Решения по принадлежности сегмента к одному из классов пожароопасности – "пламя", "дым", "чисто" – принимается классификатором по дескрипторам, полученным по результатам анализа соответствующего сегмента снимка.
Таким образом, если имеет место крупный пожар, то выбор крупных сегментов вначале сканирования обеспечивает оперативность принятия решения в системе в целом. Такой подход к классификации также может обеспечить двухступенчатую классификацию, когда на более крупном масштабе выбирается область интереса (ROI), а затем эта область сканируется на более мелком масштабе [3].
На выходах классификатора, построенного по предлагаемому методу, будет представлено не само искомое изображение в бинарной форме, а только класс пожароопасности соответствующего сегмента. При этом классификаторы выделяемых сегментов построены не на методах попиксельной классификации, а по методу сегментарной классификации таким образом, что все пиксели изображения, попавшие в выделенный сегмент, по результатам анализа которого формируются дескрипторы, относятся к одному классу.
Процедура формирования сегментов снимка заключается в том, что растровое изображение декомпозируется на некоторое количество уровней. Каждый уровень содержит множество потомков – изображений. Изображение верхнего уровня является "материнским" изображением для множества изображений-потомков нижнего уровня, как и изображение нижнего уровня является "материнским" для изображений следующего (нижнего по отношению к этому изображению) уровня [5].
Для того, чтобы отобразить классы опасности на исходном (не сегментированном) снимке, сегменты кодируются. Каждый сегмент на определённом уровне разбивается на четыре сегмента. Сегменты имеют одинаковые размеры. Каждый сегмент, в зависимости от решения ЛПР, которое определяется спецификой объекта мониторинга и уровнем пожароопасности, классифицируется либо на два класса: "ROI" и "не ROI", либо на три вышеупомянутых класса, характеризующих конкретный класс пожароопасности обстановки в сегменте снимка. Если принимается решение, что этот сегмет "ROI", то он переводится на следующий уровень с последующим делением на четыре одинаковых сегмента, а если классифицируется как "не ROI", то осуществляется переход на классификацию следующего сегмента [5].
Каждый сегмент в полученной иерархии кодируется соответствующим числом, которое описывает его статус в этой иерархии, то есть его отношение к сегментам предшествующего (вышестоящего) уровня. Для каждого уровня декомпозиции формируется свой АИА. Агрегирование их решений осуществляет "сильный" классификатор.
Структурная схема классификатора, построенного по такому принципу, представлена на рис. 1. Блок формирования сегментов делит снимок на квадратные сегменты и осуществляет их расщепление на три RGB-изображения, которые поступают на блоки формирования дескрипторов. Векторы дескрипторов подаются на соответствующие входы классификаторов, которые в этой архитектуре выступают как "слабые" классификаторы. "Сильный" классификатор, выполненный по схеме многослойного персептрона, осуществляет агрегацию их решений.
Рис. 1. Структурная схема классификации видеоданных
Снимки формировались из различных источников по видеопотокам, поступающих с дронов. Для формирования базы данных снимков для формирования обучающих и контрольных выборок из каждого ролика извлекалось множество кадров, что позволяет быстро получить большой и качественный DataSet. Снимки сегментировались в полуавтоматическом режиме. Затем выделенные сегменты маркировались в ручном режиме. Таким образом, была получена база данных для формирования обучающих выборок на три класса сегментов.
Обучающие выборки включают множество дескрипторов с соответствующим маркером класса. Если в системе используются динамические сегменты, принцип формирования которых изложен [5], то обучающие выборки формируются для каждого размера сегмента, так как размер вектора дескрипторов и значения его компонент зависят от его размера. В этом случае "слабые" и "сильные" классификаторы настраиваются для каждого размера сегмента. Таким образом, оптимизация оперативности принятия решений в системе требует дополнительных усилий по настройке классификаторов и увеличивает как объём обучающих выборок, так и количество классификаторов.
Апробация системы показала её высокую помехоустойчивость к погодным аномалиям. Маршруты патрулирования дронов согласуются с метеосводками и дроны направляются в "красные зоны". Это районы, в которых температура воздуха, направление и сила ветра, влажность и атмосферное давление повышают вероятность возникновения пожаров. Система определяет на снимках области, в которых высоки вероятности огня и дыма. Красная рамка или подсветка на аэроснимке с дрона определяет границы возгорания с вероятностью 67 %. Решение, есть ли на самом деле в этой координате огонь или дым, принимается ЛПР по результатам анализа потока видеоданных, обработанных системой.
Литература
1. Кореневский Н.А., Филист С.А., Красковский А.Б. и др. Теория проектирования нечетких сетевых экспертных систем для управления медико-экологической безопасностью // Научные ведомости Белгородского государственного университета. Серия: История. Политология. Экономика. Информатика. 2009. № 9-1 (64). Том 11. С.146-151.
2. Филист С.А., Дюдин М.В., Зуев И.В. и др. Автоматические классификаторы сложно структурируемых изображений на основе мультиметодных технологий многокритериального выбора // Вопросы радиоэлектроники. Серия: Системы и средства отображения информации и управления спецтехникой (СОИУ). 2015. Вып. 1. С. 130-140.
3. Gundar S.V., Danilov M.M., Denisov A.N., Klyauzov A.Ju. Algorithm of calculation of boundary conditions of fires suppression with the use of aircraft // Матер. 24-й междунар. науч.-техн. конф. "Системы безопасности – 2015". М.: Академия ГПС МЧС России, 2015. С. 186-188.
4. Филист С.А., Дабагов А.Р., Томакова Р.А. и др. Многослойные морфологические операторы для сегментации сложноструктурируемых растровых полутоновых изображений // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика, медицинское приборостроение. 2019. Т. 9, № 3. С. 44-63.
5. Цокурова И.Г., Денисов А.Н., Самойленко С.А., Остапчук М.Л. Применение беспилотных летательных аппаратов типа квадрокоптер "DJI INSPIRE 1V 2.0" при поиске людей на местности // Наука, техника и образование. 2018. № 11 (52). С. 43-46. DOI: 10.20861/2312-8267-2018-52-00