Разноуровневая обработка естественного языка для интеллектуального поиска и анализа текстов

Обложка

Цитировать

Полный текст

Аннотация

В работе рассматривается проблема применения методов разноуровневой обработки естественного языка в решении различных задач интеллектуального поиска и анализа текстов. Показано, в каких задачах и как используется лингвистическая информацию о структуре текста и предложений, получаемая в результате син- таксического, семантического и дискурсивного анализа текстов. Представлены результаты разработки методов разноуровневой обработки русского языка и их применение в задачах семантического и вопросно-ответного поиска, извлечения информации из текстов, классификации текстов и психолингвистического анализа текстов.

Полный текст

Доступ закрыт

Об авторах

Иван Валентинович Смирнов

Федеральный исследовательский центр «Информатика и управление» Российской академии наук

Автор, ответственный за переписку.
Email: ivs@isa.ru

Кандидат физико-математических наук, доцент. Заведующий отделом «Интеллектуальный анализ информации»

Россия, Москва

Список литературы

  1. Kamath U., Liu J., Whitaker J. Deep learning for NLP and speech recognition. – Cham, Switzerland: Springer. 2019. Т. 84.
  2. Glavaš G., Vulić I. Is supervised syntactic parsing beneficial for language understanding tasks? an empirical investigation //Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume. 2021. Р. 3090-3104.
  3. Sachan D. S. et al. Do syntax trees help pre-trained transformers extract information? //arXiv preprint arXiv:2008.09084. 2020.
  4. Mohebbi M., Razavi S. N., Balafar M. A. Computing semantic similarity of texts based on deep graph learning with ability to use semantic role label information//Scientific reports. – 2022. Т. 12. №. 1. Р. 1-11.
  5. Yang J. et al. Measuring the short text similarity based on semantic and syntactic information //Future Generation Computer Systems. 2021. Т. 114. Р. 169-180.
  6. Tymoshenko K., Moschitti A. Assessing the impact of syntactic and semantic structures for answer passages reranking //Proceedings of the 24th ACM International on Conference on Information and Knowledge Management. 2015. Р. 1451-1460.
  7. Galitsky B. A., De La Rosa J. L., Dobrocsi G. Inferring the semantic properties of sentences by mining syntactic parse trees //Data & Knowledge Engineering. 2012. Т. 81. Р. 21-45.
  8. Galitsky B. Machine learning of syntactic parse trees for search and classification of text //Engineering Applications of Artificial Intelligence. 2013. Т. 26. №. 3. Р. 1072-1091.
  9. Reddy S. et al. Universal semantic parsing //arXiv preprint arXiv:1702.03196. 2017.
  10. Galitsky B., Ilvovsky D. Chatbot with a discourse structure-driven dialogue management //Proceedings of the Software Demonstrations of the 15th Conference of the European Chapter of the Association for Computational Linguistics. 2017. Р. 87-90.
  11. Hou S., Zhang S., Fei C. Rhetorical structure theory: A comprehensive review of theory, parsing methods and applications //Expert Systems with Applications. 2020. V.157. P. 113421.
  12. Vargas F. et al. Rhetorical structure approach for online deception detection: A survey //Proceedings of the Thirteenth Language Resources and Evaluation Conference. 2022. Р. 5906-5915.
  13. Green N. L. Representation of argumentation in text with rhetorical structure theory //Argumentation. 2010. Т. 24. №. 2. Р. 181-196.
  14. Small S. G., Medsker L. Review of information extraction technologies and applications //Neural computing and applications. 2014. Т. 25. №. 3. Р. 533-548.
  15. Xiang W., Wang B. A survey of event extraction from text//IEEE Access. 2019. Т. 7. Р. 173111-173137.
  16. Adnan K., Akbar R. An analytical study of information extraction from unstructured and multidimensional big data //Journal of Big Data. 2019. Т. 6. №. 1. Р. 1-38.
  17. Zadgaonkar A. V., Agrawal A. J. An overview of information extraction techniques for legal document analysis and processing //International Journal of Electrical & Computer Engineering (2088-8708). 2021. Т. 11. №. 6.
  18. Tian Y. et al. Improving biomedical named entity recognition with syntactic information //BMC bioinformatics. 2020. Т. 21. №. 1. Р. 1-17.
  19. Chinsha T. C., Joseph S. A syntactic approach for aspect based opinion mining //Proceedings of the 2015 IEEE 9th International Conference on Semantic Computing (IEEE ICSC 2015). IEEE. 2015. Р. 24-31.
  20. Rahimi Z., Noferesti S., Shamsfard M. Applying data mining and machine learning techniques for sentiment shifter identification //Language Resources and Evaluation. 2019. Т. 53. №. 2. Р. 279-302.
  21. Feldman D. G., Vorontsov K. V., Sadekova T. R. Combining facts, semantic roles and sentiment lexicon in a generative model for opinion mining //Computational Linguistics and Intellectual Technologies. 2020. Р. 283-298.
  22. Mohammad S., Zhu X., Martin J. Semantic role labeling of emotions in tweets //Proceedings of the 5th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis. 2014. Р. 32-41.
  23. Campagnano C., Conia S., Navigli R. SRL4E–Semantic Role Labeling for Emotions: A Unified Evaluation Framework //Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2022. Р. 4586-4601.
  24. Xu K. et al. Exploiting rich syntactic information for semantic parsing with graph-to-sequence model //arXiv preprint arXiv:1808.07624. 2018.
  25. Осипов Г.С., Смирнов И.В., Тихомиров И.А. Реляционно-ситуационный метод поиска и анализа текстов и его приложения // Искусственный интеллект и принятие решений. 2008. №2. С. 3-10.
  26. Смирнов И.В., Шелманов А.О., Кузнецова Е.С., Храмоин И.В. Семантико-синтаксический анализ естественных языков. Часть II. Метод семантико-синтаксического анализа текстов // Искусственный интеллект и принятие решений. 2014. №1. С. 11-24.
  27. Shelmanov A. O., Smirnov I. V., Methods for Semantic Role Labeling of Russian Texts // Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference "Dialogue" - 2014. Issue 13 (20). 2014. Р. 580-592.
  28. Larionov D., Shelmanov A., Chistova E., Smirnov I. Semantic role labeling with pretrained language models for known and unknown predicates // Proceedings of International Conference on Recent Advances of Natural Language Processing. 2019. Р. 619-628.
  29. Mann W. C., Thompson S. A. Rhetorical structure theory: Toward a functional theory of text organization //Text-Interdisciplinary Journal for the Study of Discourse. 1988. Т. 8. №. 3. Р. 243-281.
  30. Chistova E., Shelmanov A., Pisarevskaya D., Kobozeva M., Isakov V., Panchenko A., Toldova S., Smirnov I. RST Discourse Parser for Russian: an Experimental Study of Deep Learning Models //International Conference on Analysis of Images, Social Networks and Texts. – Lecture Notes in Computer Science, vol 12602, Springer, Cham. 2021. Р. 105-119.
  31. Осипов Г.С. Приобретение знаний интеллектуальными системами: Основы теории и технологии. М.: Наука, Физматлит. 1997.
  32. Тихомиров И.А, Смирнов И.В. Интеграция лингвистических и статистических методов поиска в поисковой машине Exactus // Труды международной конференции «Диалог» -2008. М.: Издательский центр РГГУ. 2008. С. 485-491.
  33. Смирнов И.В., Соченков И.В., Муравьев В.В., Тихомиров И. А. Результаты и перспективы поискового алгоритма Exactus // Труды российского семинара по оценке методов информационного поиска РОМИП'2007-2008. Санкт-Петербург. НУ ЦСИ. 2008. С. 66-76.
  34. Шелманов А.О., Каменская М.И., Ананьева И.В., Смирнов И.В. Семантико-синтаксический анализ текстов в задачах вопросно-ответного поиска и извлечения определений // Искусственный интеллект и принятие решений. 2016. № 4. C. 47–61.
  35. Шелманов А.О., Девяткин Д.А., Исаков В.А., Смирнов И.В. Открытое извлечение информации из текстов. Часть II. Извлечение семантических отношений с помощью машинного обучения без учителя // Искусственный интеллект и принятие решений. 2019. № 2. С. 39–49.
  36. Чистова Е. В., Ларионов Д. С., Шелманов А. О., Латыпова Е. А., Смирнов И. В. Открытое извлечение информации из текстов. Часть III. Система вопросно-ответного поиска //Искусственный интеллект и принятие решений. 2021. №. 4. С. 35-49.
  37. Кузнецова Ю.М., Осипов Г.С., Чудова Н.В., Швец А.В. Автоматическое установление соответствия статей требованиям к научным публикациям. Труды ИСА РАН. 2012. Т. 62. Вып. 3. С. 132-138.
  38. Chistova E. and Smirnov I. Discourse-aware text classification for argument mining // Computational Linguistics and Intellectual Technologies. Papers from the Annual International Conference "Dialogue" - 2022. 2022. Р. 93-105.
  39. Ениколопов С. Н., Кузнецова Ю. М., Осипов Г. С., Смирнов И. В., Чудова Н. В. Метод реляционно-ситуационного анализа текста в психологических исследованиях // Психология. Журнал Высшей школы экономики. 2021. Т. 18. №4. С. 748–769.
  40. Ениколопов С.Н., Медведева Т.И., Воронцова О.Ю., Чудова Н.В., Кузнецова Ю.М., Пенкина М.Ю., Минин А.Н., Станкевич М.А., Смирнов И.В., Любавская А.А. Лингвистические характеристики текстов психически больных и здоровых людей // Психологические исследования. 2018. Том 11, № 61. С.1.
  41. Smirnov I., Stankevich M., Kuznetsova Y., Suvorova M., Larionov D., Nikitina E., Savelov M., Grigoriev O. TITANIS: A Tool for Intelligent Text Analysis in Social Media // In: Kovalev S.M., Kuznetsov S.O., Panov A.I. (eds) Artificial Intelligence. RCAI 2021. Lecture Notes in Computer Science, Springer, Cham, vol 12948. Р. 232-247.
  42. Осипов Г.С., Смирнов И.В. Семантический анализ научных текстов и их больших массивов // Системы высокой доступности. М.: Радиотехника. 2016. №1. С.41-44.
  43. Кузнецова Ю. М., Смирнов И. В., Станкевич М. А., Чудова Н. В. (2019). Создание инструмента автоматического анализа текста в интересах социо-гуманитарных исследований. Часть 2. Машина РСА и опыт ее использования //Искусственный интеллект и принятие решений. 2019. №. 3. С. 40-51.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

Согласие на обработку персональных данных

 

Используя сайт https://journals.rcsi.science, я (далее – «Пользователь» или «Субъект персональных данных») даю согласие на обработку персональных данных на этом сайте (текст Согласия) и на обработку персональных данных с помощью сервиса «Яндекс.Метрика» (текст Согласия).