Использование нейронных сетей для семантического анализа текста
Using neural networks for semantic text analysis
- 1 АГПС МЧС России
- 2 ФГБОУ ВО Академия государственной противопожарной службы МЧС России
Рассмотрены возможности искусственных нейронных сетей, способы их применения и методы обучения. Представлен процесс создания и обучения модели искусственной нейронной сети для проведения семантического анализа текстовых файлов. Сделан вывод о целесообразности применения нейронных сетей для решения аналитических задач.
It considers the possibilities of artificial neural networks, methods of their application and teaching methods. The process of creation and training of artificial neural network model for semantic analysis of text files is presented. The conclusion about expediency of application of neural networks for the solution of analytical problems is made.
Технологии искусственного интеллекта для проведения семантического анализа текстовых файлов активно используются уже несколько лет. Одним из самых значимых примеров в данной области может являться контекстная реклама в браузерах. Поисковые системы анализируют запросы пользователя и историю интернет-серфинга, и, на основании полученных результатов выдают информацию, которая могла бы быть полезной. Семантический анализ, а так же анализ изображений, ключевых слов и голосовых команд реализуются при помощи обученных нейронных сетей.
Применение искусственных нейронных сетей в данной области обусловлено, прежде всего, тем, что это неупорядоченный алгоритм с чёткой последовательностью действий. При должном обучении нейронная сеть самостоятельно производит анализ входных данных и выдаёт пользователю наиболее подходящий результат.
Обучение
нейронных сетей осуществляется при
помощи различных методов машинного
обучения, таких как метод обратного
распространения ошибки (применяется
для глубинного обучения), метод опорных
векторов, метод ближайших соседей и
т.п. Обучение может быть как глубинным
– с последующим обучением каждого
отдельного слоя или же "поблочно",
когда каждый последующий слой обучается
отдельно от предыдущего
и является
массивом исходных данных для последующего,
так и простым, когда обучается сеть в
целом [1].
На основании изложенного было принято решение разработать модуль оптимизации работы рецензента в программном комплексе управления конференциями с применением технологий искусственного интеллекта. Это необходимо ввиду того, что многие пользователи направляют свои публикации в секции, не соответствующие тематике публикации, в результате чего публикации не проходят рецензирование ввиду того, что не соответствуют заявленной тематике.
Для
реализации модуля оптимизации, на основе
семантического анализа была применена
модель искусственной нейронной сети,
обученной методом опорных векторов
[2]. Данный метод был выбран ввиду того,
что необходимо чёткое разграничение
выходных данных по заданным параметрам,
что плохо реализуемо при применении
иных методов машинного обучения. Наивный
байесовский классификатор также показал
себя
как не самая надёжная система
для реализации поставленной задачи,
так как при его использовании на
выходе получался значительный процент
ошибок.
Реализация
модуля оптимизации осуществлялась в
несколько этапов. Изначально был построен
массив исходных данных для обучения
искусственной нейронной сети. Для
создания такого массива необходимо,
прежде всего, убрать из всех слов
окончания. Это делается для того, чтобы
слова, употребляемые в разных формах,
не считывались сетью как разные. Удаление
окончаний слов осуществлялось при
помощи функции стемминга. Для обучения
сети использовались слова из названий
секций конференции и аннотации публикации
пользователя. В результате был получен
массив исходных данных с начальными
формами используемых слов, каждому из
которых был присвоен номер. Полученный
массив данных показан
на рис. 1.
Рис. 1. исходный массив данных
После
того, как был сформирован массив данных
для обучения, необходимо было вычислить
вхождение каждого слова массива данных,
то есть построить матрицу встречающихся
значений. Это необходимо
для того,
чтобы обучить искусственную нейронную
сеть распознавать встречающиеся значения
и классифицировать их в соответствии
со значениями исходного массива. Пример
полученной матрицы встречающихся
значений для каждой секции представлен
на рис. 2.
Рис. 2. пример матрицы встречающихся значений
Таким образом, имея массив исходных данных и матрицу встречающихся значений, можно было приступить к обучению искусственной нейронной сети. Во время обучения происходит перевод исходных векторов в пространство более высокой размерности с последующим поиском разделяющей гиперплоскости (рис. 3).
x2
x1
Рис. 3. Пример разделения пространства гиперплоскостями
Таким образом, созданная нейросеть сравнивает массив исходных данных с матрицей встречающихся значений и распределяет в гиперплоскость наиболее подходящей по семантике секции.
После окончания обучения сети, были проведены тестирования [3], результаты которых были переданы экспертам для определения процента ошибок. Экспертная оценка показала, что обучение нейросети прошло успешно, процент верной выборки составил 70 %. Погрешность обусловлена схожим названием секций, а также узкой специализацией конференции.
Таким
образом, можно сделать вывод о том, что
разработанная
модель искусственной
нейронной сети является эффективным
средством поддержки принятия решений
для рецензентов. Модель интегрируется
в систему, и, когда публикация попадает
на рецензирование, рецензент
видит
секцию, заявленную пользователем, а
также секцию, рекомендуемую системой
на основе проведённого анализа аннотации
и названия публикации. Это поможет
существенно облегчить и ускорить процесс
рецензирования, а также уменьшить
количество ошибок в выборе необходимой
секции.
Литература
1. Горбачевская Е.Н. Классификация нейронных сетей // Вестник ВУиТ. 2012. № 2 (19). https://cyberleninka.ru/article/n/klassifikatsiya-neyronnyh-setey.
2. Гальберштам Н.М., Баскин И.И., Палюлин
В.А., Зефиров Н.С. Нейронные сети как
метод поиска зависимостей структура —
свойство органических соединений
//
Успехи химии. 2003. Т. 72, № 7. С. 706-727.
3. Степанов П.П.
Искусственные нейронные сети // Молодой
ученый. 2017. № 4.
С. 185-187.
https://moluch.ru/archive/138/38781/