Мультиязычность в языковом моделировании: задачи,данные и возможности для типологических ресурсов

Последние достижения в области машинного обучения значительно улучшили возможности больших языковых моделей (Large Language Models, LLM), в том числе способности машинного перевода и машинного чтения. Тем не менее большинство языков мира остаются не покрытыми основными ресурсами, необходимыми для построения качественных речевых технологий и языковых моделей: корпусами текстов, аннотированными датасетами, достаточным количеством записей звучащей речи. Такие языки — языки с ограниченными письменными ресурсами — называют малоресурсными. В настоящей статье мы представляем обзор современного состояния мультиязычности и поддержки малоресурсных языков в языковых моделях, а также проводим оценку способностей текущих моделей извлекать и классифицировать информацию из зачастую единственно доступного источника знаний для малоресурсных языков —дескриптивных грамматик. Мы предлагаем подход на основе метода дополненной генерации (Retrieval-Augmented Generation, RAG), позволяющий использовать такие описания для последующих задач, таких как машинный перевод. Наши тесты охватывают грамматические описания 248 языков из 142 языковых семей, фокусируясь на типологических характеристиках баз данных WALS [1] и Grambank [2]. Предлагаемый в работе подход обеспечивает первую комплексную оценку способности языковых моделей точно интерпретировать и извлекать лингвистические признаки в контексте, создавая критически важный ресурс для масштабирования технологий на малоресурсные языки. Код и данные доступны публично: https://github.com/al-the-eigenvalue/RAG-on-grammars.