XV международная научно-практическая конференция молодых учёных и специалистов «ПРОБЛЕМЫ ТЕХНОСФЕРНОЙ БЕЗОПАСНОСТИ – 2026»·Применение современных информационных технологий, искусственного интеллекта в вопросах обеспечения техносферной безопасности УДК 34.096

Техносферная безопасность: риски внедрения генеративного искусственного интеллекта

Technosphere Safety: Risks of Implementing Generative Artificial Intelligence

  1. 1 Академия Государственной противопожарной службы
  2. 2 Академия ГПС МЧС Росиии
15 марта 2026 4 просмотров 12 мин чтения
Аннотация

Аннотация. Статья посвящена анализу рисков, связанных с внедрением технологий генеративного искусственного интеллекта (ИИ) в деятельность МЧС России в области техносферной безопасности. Отмечается, что успех внедрения ИИ будет зависеть не только от качества выстроенных алгоритмов, но и от надёжности киберзащиты, профессионализма сотрудников и доверия к технологиям.

#техносферная безопасность#генеративный искусственный интеллект#пожарная безопасность
Abstract

Abstract. The article is devoted to the analysis of risks associated with the introduction of generative artificial intelligence (AI) technologies in the activities of the Russian Ministry of Emergency Situations in the field of technosphere safety. It is noted that the success of AI implementation will depend not only on the quality of the algorithms, but also on the reliability of cyber protection, the professionalism of employees, and the trust in technology.

#technosphere safety#generative artificial intelligence#fire safety
Полный текст2201 слов

Согласно п. 174 Национальной стратегии развития искусственного интеллекта на период до 2030 г. (утв. Указом Президента РФ от 10.10.2019 г. № 490) в 2022 - 2023 годах в мире произошел новый скачок в развитии технологий искусственного интеллекта благодаря совершенствованию больших генеративных моделей в области языка, изображений (включая видеоизображения) и звука. Это способствует тому, что на сегодняшний день модели искусственного интеллекта способы по запросу за очень короткие сроки создавать изображения на любую тему. При этом создаются угрозы распространения запрещенной информации, нарушения авторских прав и генерации ошибочных сведений.

Федеральный проект «Искусственный интеллект» является частью национальной программы «Цифровая экономика» и направлен на цифровую трансформацию федеральных органов исполнительной власти с помощью искусственного интеллекта. Искусственный интеллект используется прежде всего для поддержки принятия управленческих решений. Но, поскольку такие решения должны быть обоснованы, окончательное решение должно оставаться за человеком.

Нужно отметить, что МЧС России активно внедряет такие технологии в область техносферной безопасности для решения задач, связанных с предотвращением и ликвидацией последствий аварий, катастроф и чрезвычайных происшествий. Центральным элементом техногенных инцидентов часто становятся пожары, вызывая масштабные разрушения инфраструктуры, ставя под угрозу жизнь людей и причиняя значительный экологический ущерб.

С октября 2025 г. МЧС России запустило пилотный проект по внедрению технологий искусственного интеллекта в систему предупреждения и реагирования на чрезвычайные ситуации, например, для определения пожаров в лесных массивах, нестабильности грунта, утечки токсичных газов на производстве и т.п. С помощью таких технологий данные с камер наблюдения, дронов, метеоспутников, сейсмостанций, соцсетей обрабатываются в режиме реального времени, и заблаговременно строится достаточно точный прогноз относительно наступления природных и техногенных угроз. Это позволяет своевременно реагировать на такие обстоятельства, минимизировать людские и материальные потери.

Решая задачи в области техносферной безопасности, в том числе в сфере пожарной безопасности, МЧС России выполняет не только функции реагирования на чрезвычайные ситуации, но и проводит аналитическую работу по выявлению причин пожаров, разработке профилактических мер и взаимодействию с другими государственными структурами. Одним из перспективных направлений является использование технологий искусственного интеллекта для автоматизации обработки обращений граждан. Применение систем анализа естественного языка позволяет ускорить классификацию обращений, выявление типовых проблем и формирование ответов на часто задаваемые вопросы. Например, дополнительно на официальных ресурсах МЧС России внедряются чат-боты и цифровые сервисы, позволяющие гражданам получать консультации по вопросам пожарной, экологической и промышленной безопасности и направлять сообщения о происшествиях. Подобные решения позволяют ускорить обмен информацией между населением и государственными структурами, оперативно выявить проблемные регионы и потенциальные угрозы.

Особый интерес представляет проект по применению технологий искусственного интеллекта для автоматизации расследования пожаров, реализованный Академией Государственной противопожарной службы МЧС России на базе платформы Yandex.Cloud совместно с Центром технологий для общества Яндекса [1]. В рамках данного проекта инспектор МЧС фотографирует место происшествия и отправляет изображение через специального бота. Далее изображение автоматически анализируется системой компьютерного зрения, которая определяет возможный очаг возгорания, характер повреждений и расположение объектов на месте происшествия. На основе полученных данных система формирует предварительный текстовый протокол осмотра, который затем проверяется и корректируется специалистом. Использование подобных технологий позволяет значительно ускорить подготовку документации. По оценкам разработчиков, формирование текстового описания происшествия может занимать всего несколько секунд вместо 40–60 минут, которые обычно требуются для ручного составления отчёта. Это дает возможность инспекторам оперативно переходить к аналитической части работы, уделяя больше внимания установлению причин пожара и сбору свидетельских показаний. Кроме того, автоматизация процесса позволяет снизить вероятность пропуска важных деталей, связанных с человеческим фактором.

Интересным представляется и зарубежный опыт применения искусственного интеллекта в сфере пожарной безопасности. Так, международный проект FireSat предполагает использование сети спутников с тепловыми сенсорами для раннего обнаружения лесных пожаров [2]. Алгоритмы искусственного интеллекта анализируют тепловые аномалии на поверхности Земли и позволяют оперативно выявлять очаги возгорания на больших территориях в Калифорнии, Британской Колумбии и Австралии. В других странах тоже можно увидеть активное применение систем искусственного интеллекта. Например, в Казахстане, где огромные территории ежегодно подвергаются лесным пожарам, в последние годы активно внедряется система раннего обнаружения пожаров. Она основана на использовании камер видеонаблюдения с дальностью действия до 30 километров, оптических датчиков и алгоритмов анализа данных, которые позволяют фиксировать малейшие изменения в ландшафте и появление дыма. В Германии разработаны технологии, с помощью которых возможно определить изменения температуры и газов, связанных с тлением, что способствует раннему обнаружению пожаров даже в отдалённых местах. В Китае автоматизированные системы помогают службам заранее подготовиться к возможному возникновению лесных пожаров, эффективно распределив ресурсы и приняв необходимые меры. Специфика данных систем в том, что они используют ИИ для анализа климатических данных, направлении ветра и других факторов [3].

Помимо государственных органов ИИ активно внедряют и российские компании, которые активно адаптируют такие технологии к суровым климатическим условиям и на крупных промышленных объектах. Например, уже существуют пожарные извещатели, способные работать при температуре от -50°C, тестируются симуляторы эвакуации, которые учитывают панику, возраст и физические особенности людей, разрабатываются системы для нефтегазовой отрасли, способные анализировать данные с газовых сенсоров и вибродатчиков, предотвращая взрывы [4].

Таким образом, очевидные преимущества использования искусственного интеллекта в техносферной безопасности очевидны. Вместе с тем существуют и значительные риски, о которых говорится в т.ч. и в Стратегии развития искусственного интеллекта до 2023 г. В частности, модели, обученные на профильных данных, иногда допускают грубые ошибки, неверно интерпретируя факты. В контексте техносферной безопасности такие ошибки недопустимы, потому что некорректные инструкции по эвакуации, неверный расчёт сечения трубопровода или рекомендации по установке противопожарного оборудования могут привести к человеческим жертвам или серьёзному ущербу. Поэтому все тексты и рекомендации, предложенные ИИ, должны проходить обязательную проверку профильным экспертом на соответствие нормативам и фактической ситуации. ИИ должен использоваться лишь в качестве «пилота» или генератора черновых фрагментов, а не как окончательная инстанция принятия решения.

Также моделям ИИ угрожают целенаправленные кибератаки. В частности, злоумышленники могут применять инъекции промптов, например, конструкция «игнорируй все предыдущие инструкции» заставляет модель выйти за рамки заложенных правил и раскрыть скрытую информацию. Аналогично, атаки уклонения (например, с использованием невидимых символов в тексте) вводят модель в заблуждение. Ещё более опасны атаки отравления данных, так при дообучении модели в её тренировочный набор могут быть внесены специально искажённые записи (троянские примеры), которые в будущем заставят систему ошибаться на определённых входах. В совокупности такие атаки могут привести к тому, что модель либо выдаст некорректный ответ в критической ситуации, либо пропустит важную деталь из-за «зашумлённого» обучения [5].

Ещё одним риском является то, что генеративные модели способны непреднамеренно раскрывать конфиденциальную информацию. Например, атаки по инверсии модели позволяют злоумышленнику по открытым ответам ИИ восстановить сведения об обучающих данных. Ответы модели на конкретный запрос могут неправомерно разглашать служебные инструкции или сведения, не предназначенные для широкой публики.

Существуют и правовые риски при использовании технологий ИИ, связанные в т.ч. с вопросами привлечения к юридической ответственности виновных лиц. Это происходит из-за отсутствия чёткого законодательного регулирования цифровых технологий и неопределённости их правового статуса, Так, например, не известно, кого привлекать к ответственности за распространение недостоверной и неточной информации, созданной при помощи ИИ. Неосведомлённость пользователей о применении ИИ и возможное недоверие к автоматическим ответам лишь усугубляют проблемы информирования населения, в т.ч. в области техносферной и пожарной безопасности.

Представляется, что для нейтрализации перечисленных рисков необходим комплекс организационных и технических мер. В первую очередь, важно формализовать процедуру использования ИИ при работе с обращениями, например, заранее выделять классы запросов, которые могут обрабатываться с помощью ИИ (типовые справочные вопросы), и фиксировать степень участия модели в подготовке ответа. В любом случае итоговый текст должен формироваться под контролем специалиста. Можно предложить следующую схему работы: сначала эксперт формулирует исходный запрос и при необходимости уточняет дополнительные данные, затем генеративная модель ИИ создаёт предварительный черновой ответ, после чего эксперт тщательно проверяет сгенерированный текст, вносит правки и дополняет результаты, обеспечивая полное соответствие нормативам и фактической ситуации. Такой подход (эксперт – ИИ – эксперт) минимизирует число случайных ошибок, сочетая скорость генерации ИИ с контролем специалиста.

Помимо организационных процедур, необходимы усиленные технические меры безопасности. Рекомендуется использовать отечественные сертифицированные модели ИИ в изолированной вычислительной среде с ограниченным доступом. Следует проводить аудит входных данных и обучающих корпусов, фильтровать несанкционированный контент и подозрительные вставки до подачи данных в модель. Необходимо внедрять механизмы обнаружения аномалий и регулярно тестировать модели на устойчивость к инъекциям и «отравленным» данным. Для защиты персональных данных все обращения граждан перед передачей в систему ИИ должны анонимизироваться (удаляться ФИО, адреса, телефоны, паспортные данные и пр.) в соответствии с требованиями Федерального закона «О персональных данных» от 27.07.2006 № 152- ФЗ. Логирование всех операций модели и ведение подробных журналов помогут выявлять и анализировать инциденты.

Наконец, важно организовать обучение сотрудников и продумать интерфейс взаимодействия с ИИ. Сотрудники МЧС России должны понимать принципы работы модели и её ограничения, чтобы грамотно формулировать запросы и критически оценивать ответы. Регулярные тренинги и инструкции операторов по «гигиене промпта», разработка прозрачных регламентов, назначение ответственных за проверку результатов работы лиц помогут снизить ошибки, возникающие при использовании технологий ИИ.

Проведённый анализ позволяет сделать вывод о том, что внедрение генеративного искусственного интеллекта в деятельность МЧС России обладает значительным потенциалом для повышения эффективности обработки обращений граждан и расследования происшествий. Однако использование подобных технологий требует тщательной проработки вопросов безопасности, правового регулирования и организационной подготовки сотрудников, так как подобные модели должны научиться устойчиво реагировать на риски. Успешное внедрение генеративного искусственного интеллекта зависит не только от качественно прописанного алгоритма, но и от точности прогнозов, от надежных механизмов киберзащиты, компетенции специалистов, доверия к таким технологиям, готовности и способности оперативно действовать по аналоговым протоколам при цифровых сбоях. Пока же оптимальным подходом является использование искусственного интеллекта в качестве вспомогательного инструмента, при котором окончательные решения должны приниматься специалистами, которые в случае негативного развития событий будут нести юридическую ответственность.

Тем не менее можно надеяться на то, что в случае разработки единых стандартов применения ИИ, обеспечения многоуровневого контроля и постоянного совершенствования алгоритмов подобные технологии смогут существенно повысить оперативность и качество работы государственных органов, в т.ч. МЧС России, в сфере техносферной безопасности. Важно понимать, что только баланс интересов между генеративным ИИ и человеком позволит определить, будет ли генеративный ИИ помощником в решении тех или иных вопросов либо источником новых угроз.

Литература

  1. Яндекс. Новости. Нейросеть Яндекса поможет спасателям МЧС быстрее расследовать пожары и предотвращать их в будущем. - 27.11.2025. // URL: https://yandex.ru/company/news/27-11-2025-01 (дата обращения: 07.03.2026).
  2. Спутники и искусственный интеллект революционизируют систему обнаружения лесных пожаров в проекте FireSat, который теперь используется в Калифорнии, Британской Колумбии и Австралии. – 25.09.2025 г. // URL: https://ctif.org/ru/news/sputniki-i-iskusstvennyy-intellekt-revolyucioniziruyut-sistemu-obnaruzheniya-lesnykh-pozharov (дата обращения: 11.03.2026).
  3. Технологии против огня: как работает система раннего обнаружения пожаров в Казахстане. – 28.02.2025 // URL: https://rus.azattyq-ruhy.kz/avtory/82487-tekhnologii-protiv-ognia-kak-rabotaet-sistema-rannego-obnaruzheniia-pozharov-v-kazakhstane (дата обращения: 13.03.2006).
  4. Жидков Д.А. Применение искусственного интеллекта в системах обнаружения и предотвращения пожаров // VC.RU. – URL: https://vc.ru/ai/1940264-iskusstvennyj-intellekt-v-sistemah-obnaruzheniya-i-predotvrasheniya-pozharej (дата обращения: 13.03.2026).
  5. Котенко И. В., Саенко И. Б., Лаута О. С., Васильев Н. А., Садовников В. Е. Атаки и методы защиты в системах машинного обучения: анализ современных исследований // Вопросы кибербезопасности. 2024. № 1(59). С. 24-37.
Есть что обсудить?
Оставьте комментарий — автор и читатели увидят его в обсуждении.