Автоматическая сегментация морфем для русского языка: Может ли алгоритм заменить экспертов?

Введение: Было предложено множество алгоритмов для задачи автоматической сегментации морфем русских слов. Однако из-за различий в формулировке задачи и используемых наборах данных сравнение их качества остается сложной задачей. Неясно, являются ли ошибки в моделях следствием неэффективности самих алгоритмов или результатом неточностей и несоответствий в словарях морфем. Таким образом, остается открытым вопрос, можно ли использовать какой-либо алгоритм для автоматического расширения существующих словарей морфем.



Цель: Сравнить различные существующие алгоритмы сегментации морфем для русского языка и проанализировать их применимость для автоматического дополнения существующих словарей морфем.



Результаты: В данном исследовании мы сравнили несколько современных алгоритмов машинного обучения, используя три набора данных, основанных на различных парадигмах сегментации. Было проведено два эксперимента, каждый из которых включал пятикратную перекрестную проверку. В первом эксперименте мы случайным образом разделили набор данных на пять подмножеств. Во втором эксперименте все слова с одним корнем были сгруппированы в одно подмножество, при этом слова с несколькими корнями были исключены. В ходе перекрестной проверки модели обучались на четырех подмножествах и тестировались на оставшемся. В обоих экспериментах алгоритмы, основанные на ансамблях сверточных нейронных сетей, неизменно демонстрировали наивысшую производительность. Однако мы наблюдали значительное снижение точности при тестировании на словах, содержащих неизвестные корни. Также было обнаружено, что на случайно выбранном наборе слов производительность этих алгоритмов была сопоставима с результатами экспертов-людей.



Вывод: Наши результаты показывают, что, хотя автоматические методы в среднем достигли качества, близкого к экспертному уровню, отсутствие семантического анализа делает невозможным их использование для автоматического расширения словаря без участия экспертов. Проведенное исследование выявило ключевые проблемы, требующие дальнейшего изучения: низкая производительность на неизвестных корнях и аббревиатурах. В то же время, если в тестовом наборе данных предполагается небольшое количество неизвестных корней, рекомендуется использовать ансамбль сверточных нейронных сетей. Полученные результаты могут быть применены при разработке морфемно-ориентированных токенизаторов и систем анализа сложности текстов.

автоматическая сегментация морфем, морфология русского языка, расширение словаря, морфологический анализ, обработка естественного языка, производительность экспертного уровня, сверточные нейронные сети