Применение нейросетевых технологий для парсинга информационных источников с целью повышения эффективности управления в чрезвычайных ситуациях
NEURAL NETWORK TECHNOLOGIES FOR SUPPORTING MANAGEMENT DECISIONS IN CRISIS SITUATIONS
- 1 ФГКУ "Ногинский ордена Жукова спасательный центр"
В предлагаемой работе рассматривается разработка высокоэффективной модели для классификации текстов описывающих чрезвычайные ситуации с последующим отнесением её к одной из выделенных категорий. Ключевым компонентом классификатора выступает нейросетевая модель для обработки естественного языка BERT с дополнительным слоем для выделения значимых признаков, обучаемая на предварительно собранных и обработанных текстах. Помимо этого разработан пользовательский интерфейс, позволяющий подключать произвольные информационные источники от телеграмм-каналов до новостных сайтов и, при наличии информации об адресах ЧС, подтягивать геоинформационные данные – карты, географические координаты с последующим, при необходимости статистическим анализом.
The proposed work considers the development of a highly effective model for the classification of texts describing emergency situations, with the subsequent assignment to one of the selected categories. The key component of the classifier is the neural network model for natural language processing BERT with an additional layer for the selection of significant features, trained on pre-collected and processed texts. In addition, a user interface has been developed that allows you to connect arbitrary information sources, from Telegram channels to news websites, and, if you have information about emergency addresses, you can pull in geoinformation data, such as maps and geographic coordinates, and then perform statistical analysis if necessary.
Наименование и код специальности 1.2.2 Математическое моделирование, численные методы и комплексы программ.
НЕЙРОСЕТЕВЫЕ ТЕХНОЛОГИИ ПОДДЕРЖКИ ПРИНЯТИЯ УПРАВЛЕНЧЕСКИХ РЕШЕНИЙ В КРИЗИСНЫХ СИТУАЦИЯХ
Аннотация
В предлагаемой работе рассматривается разработка высокоэффективной модели для классификации текстов описывающих чрезвычайные ситуации с последующим отнесением её к одной из выделенных категорий. Ключевым компонентом классификатора выступает нейросетевая модель для обработки естественного языка BERT с дополнительным слоем для выделения значимых признаков, обучаемая на предварительно собранных и обработанных текстах. Помимо этого разработан пользовательский интерфейс, позволяющий подключать произвольные информационные источники от телеграмм-каналов до новостных сайтов и, при наличии информации об адресах ЧС, подтягивать геоинформационные данные – карты, географические координаты с последующим, при необходимости статистическим анализом.
Ключевые слова
Нейронная сеть, классификатор текстов, чрезвычайная ситуация, поддержка управления.
Основная часть
Разработка интеллектуальной системы, способной анализировать поступающую информацию, связывать её с существующими прецедентами и выдавать комплекс рекомендаций освобождает лицо принимающее решение от множества технических задач, значительно повышая скорость и качество реагирования при ликвидации последствий чрезвычайных ситуаций. Предлагаемый подход основывается на создании нейросетевой модели для обработки естественного языка и классификатора текстовых данных о черезвычайных ситуациях с последующим автоматическим сбором дополнительных данных, прецедентов и сопутствующей информации о произошедшей ситуации.
Входной поток системы включает в себя максимально полное и детализированное описание черезвычайной ситуации — будь то пожар, подтопление, ДТП или гуманитарная помощь. Нейронная сеть обучается на большом количестве примеров, классифицируя отдельные тексты, относя их к одной из семи тем событий[1–4].
Для каждого классифицированного прецедента дополнительно автоматически подключаются базы данных с возможными решениями, максимально подходящим выявленным событиям. Данные базы включают в себя три раздела: нормативные акты и стандарты; исторические прецеденты с подробной информацией о принятых мерах по борьбе с последствиями и ошибках в ликвидации; а также стандартизированные управленческие решения — расчёты сил и средств, рассылки, форматы приказов и распоряжений, обеспечивающие оперативное и скоординированное управление. На рисунке 1 представлена схема предлагаемого решения.

Рис.1. Схема поддержки принятия решений на основе нейросетевоой обработки текстов.
Для дообучения классифицирующего слоя BERT был собран датасет, состоящий из семи типов чрезвычайных ситуаций. Данные формировались на основе материалов, собранных из открытых источников новостей с использованием автоматизированного парсера. Для классификации текстов, для датасета обучения, применялся специализированный словарь, включающий 129 ключевых терминов, на основании которых определялась тематика публикации и присваивалась соответствующая метка. В общей сложности было проанализировано более 150 000 текстов, описывающих различные события. Перед присвоением метки тексты лемматизировались. Информация о данных хранящихся в ней представленна в таблице 1.
Табл.1 Данные для обучения и вспомогательные данные для различных типов ЧС
Тип ЧС | Данные для обучения (строк) | |
1 | Угрозы БПЛА | 793 |
2 | Пожары | 1126 |
3 | Наводнение | 181 |
4 | Землетрясение | 37 |
5 | Взрывы газа | 517 |
6 | ДТП | 2785 |
7 | Доставка гуманитарных грузов | 728 |
Для обучения нейросетевого классификатора на основе архитектуры BERT исходные тексты предварительно были очищены от шумовых элементов (специальных символов, стоп-слов, повторяющихся пробелов) и разбиты на абзацы длиной от 1 до 10 строк, содержащих от 5 до 50 слов. Для каждого типа чрезвычайной ситуации использовалось не менее 50 таких абзацев, что обеспечивало сбалансированность обучающей выборки.
Число эпох обучения варьировалось в диапазоне от 10 до 100. В качестве функции классификации применялась softmax, а в роли меры ошибки использовалась кросс-энтропия. Оптимизация параметров модели осуществлялась с помощью метода стохастического градиентного спуска.
Эксперимент показал, что при использовании предобученой нейронной сети на большом корпусе русского языка и дообучения одного слоя на дополнительных очищеных данных для классификации семи категорий, ошибка классификации уменьшается на 70% относительно ошибки классификации модели без предобученного слоя. Дополнительный слой обеспечивает высокую точность предсказания классов чрезвычайных ситуаций на тестовых данных — в диапазоне от 0.98 до 0.99.
Выводы
1. Разработана нейросетевая модель классификации чрезвычайных ситуаций на основе их текстовых описаний, реализованная в виде нейросетевой модели BERT, включающей обученую часть на большом массиве текстов и дополнительный дообученый слой классифицирующий семь категорий. Обучение модели проводилось на предварительно лемматизированных текстах, упорядоченных по частоте встречаемости слов из общего словаря корпуса. Для эффективного обучения используется словарь, охватывающий не менее 80% всего лексического запаса корпуса.
2. В качестве входных данных для обучения нейросети подаются характеристики слов, обработанные с помощью модуля предобработки текста, что позволяет выделить наиболее значимые признаки текста. Надёжность классификации одного из семи типов чрезвычайных ситуаций достигает диапазона 0.9–0.95.
3. К результатам классификации автоматически прикрепляются нормативные документы, разделённые на две категории — федеральные и отраслевые, а также приказы и прецеденты соответствующего типа. Это значительно ускоряет процесс принятия управленческих решений и повышает их обоснованность [5].
Литература
1. Олисеенко В. Д., Абрамов М. В. Эмбеддинги языковой модели ruBERT в задаче многоклассовой классификации постов пользователей в социальной сети // Сборник докладов XXV Международной конференции по мягким вычислениям и измерениям (SCM-2022). – СПб: Изд-во СПбГЭТУ «ЛЭТИ», 2022. – С. 45–48. – ISBN 978-5-7629-3037-6.
2. Авдеенко А.М., Мельниченко А.С., Хабибулин Р.Ш. Введение в теорию интеллектуального анализа данных. – М.: Академия ГПС МЧС России, 2018. – 143 с.
3. Wolf, T. et al. (2020). Transformers: State-of-the-Art Natural Language Processing. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP 2020). [PDF: https://arxiv.org/abs/1910.03771].
4. Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT 2019. [PDF: https://arxiv.org/abs/1810.04805].
5. Приказ МЧС России от 28 декабря 2022 г. № 1333 "Об утверждении Порядка организации деятельности профессиональных аварийно-спасательных формирований МЧС России, выполняющих поисково-спасательные работы"