Метод автоматического конструирования учебных упражнений для электронных обучающих систем

Обложка

Цитировать

Полный текст

Аннотация

В статье предлагается метод конструирования учебных упражнений по запросам преподавателя с балансировкой по изучаемым концептам и уровням сложности заданий. Метод основан на ранжировании учебных заданий по их соответствию запросу с учётом предыдущих заданий в упражнении и чередовании заданий и целей обучения в сериях заданий. Используя банк заданий, были определены ключевые характеристики генерируемых заданий. Результаты экспериментов показали соответствие метода выдвигаемым требованиям; удаление любой из частей метода приводило к ухудшению генерируемых заданий. Предлагаемый метод значительно уменьшает трудозатраты преподавателей при использовании больших банков учебных заданий.

Полный текст

Доступ закрыт

Об авторах

Олег Александрович Сычёв

Волгоградский государственный технический университет

Автор, ответственный за переписку.
Email: oasychev@gmail.com

Кандидат технических наук, доцент, доцент

Россия, Волгоград

Михаил Евгеньевич Денисов

Волгоградский государственный технический университет

Email: denisov@vstu.ru

Аспирант

Россия, Волгоград

Список литературы

  1. Nafea S., Maglaras L., Iewe F., Smith R., Janicke H. Personalized Students’ Profile Based On Ontology and Rulebased Reasoning // EAI Endorsed Transactions on e-Learning, 2016. V. 3, No 12.
  2. Расахацкая Е.В. Повышение эффективности разработки банков тестовых заданий путем применения специализированных интерфейсов // Молодежь XXI века: образование, наука, инновации. Материалы IX Всероссийской студенческой научно-практической конференции с международным участием. Под ред. Т.А. Василенко. Новосибирск: Издательство НГПУ, 2020. С. 197–198.
  3. Manh P.D., Minh N.T., Hung P.D. Detecting Duplicate Multiple Choice Questions in the Large Question Bank // Computational Collective Intelligence. ICCCI 2023. Ed. by Nguyen N.T. et al. Lecture Notes in Computer Science, 14162. Cham: Springer, 2023. P. 217–230.
  4. Andujar C. Procedural Generation of STEM Quizzes. // Electronic resource. URL: https://arxiv.org/abs/2009.03868 (accessed 05.11.2023).
  5. Болотникова Е.С., Гаврилова Т.А., Горовой В.А. Об одном методе оценки онтологий // Известия Российской академии наук. Теория и системы управления. 2011. № 3. С. 98–110.
  6. Рыбина Г.В. Обучающие интегрированные экспертные системы: некоторые итоги и перспективы // Искусственный интеллект и принятие решений. 2008. № 1. С. 22–46.
  7. Narayanan S. Kommuri V.S., Subramanian S., Bijlani, K. Question bank calibration using unsupervised learning of assessment performance metrics // 2017 International Conference on Advances in Computing, Communications and Informatics (ICACCI). New York, NY, USA: IEEE, 2017. P. 19–25.
  8. Кузнецов А.С., Балашова И.Ю. Математическая модель информационной системы калибровки банка тестовых заданий // Экономика и управление народным хозяйством. Сборник статей X Международной научно-практической конференции. Под ред. Б.Н. Герасимова. Пенза: Автономная некоммерческая научно-образовательная организация «Приволжский Дом знаний», 2017. С. 78–82.
  9. Savic G, Segedinac M., Sladic G., Gostojic S., Konjovic Z. A machine-readable description of generic instructional strategies in e-courses // Computer Applications in Engineering Education. 2016. V. 24, No 5. P. 665–675.
  10. Kiesler N., Pfülb B. Higher Education Programming Competencies: A Novel Dataset // Artificial Neural Networks and Machine Learning – ICANN 2023. Ed. by Iliadis L. et al. Lecture Notes in Computer Science, 14261. Cham: Springer, 2023. P. 319–330.
  11. Savić, G., Segedinac, M., Milenković, D., Hrin, T., Segedinac, M. A model-driven approach to e-course management // Australasian Journal of Educational Technology. 2018. V. 34. No 1. P. 14–29.
  12. Manickam I., Lan A.S., Baraniuk R.G. Contextual multiarmed bandit algorithms for personalized learning action selection // 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). New York, NY, USA: IEEE, 2017. P. 6344–6348.
  13. Sande J.C.G. Calculated questions and e-cheating: A case study // Education Applications & Developments Advances in Education and Educational Trends Series. Ed. by M. Carmo. Advances in Education and Educational Trends. Lisbon: inScience Press, 2015. P. 91–99.
  14. Leo J., Kurdi G., Matentzoglu N., Parsia B., Sattler U., Forge S., Donato G., Dowling W. Ontology-Based Generation of Medical, Multi-term MCQs // International Journal of Artificial Intelligence in Education. 2019. V. 29, No 2. P. 145–188.
  15. Sychev O., Penskoy N., Prokudin A. Generating Expression Evaluation Learning Problems from Existing Program Code // 2022 International Conference on Advanced Learning Technologies (ICALT). New York, NY, USA: IEEE, 2022. P. 183–187.
  16. Yildirim M. A genetic algorithm for generating test from a question bank // Computer Applications in Engineering Education. 2010. V. 18, No 2. P. 298–305.
  17. Павлова Е.А., Воробьева М.С., Соловей Ю.В., Тян А.Д., Курочкин В.Ю. Выявление неинформативных вопросов в тестовых заданиях // Информатизация образования и методика электронного обучения: цифровые технологии в образовании. Материалы VI Международной научной конференции в трех частях. Т.1. Красноярск: Издательство КГПУ им. В.П. Астафьева, 2022. С. 337–340.
  18. Высоцкий Л.Г. К вопросу автоматической генерации тестовых заданий // Инновации в науке, образовании и бизнесе. Труды XI международной научной конференции. Т. 2. Калининград: Издательство КГТУ, 2013. С.59–60.
  19. Caceffo R., Wolfman S., Booth K., Azevedo R. Developing a Computer Science Concept Inventory for Introductory Programming // Proceedings of the 47th ACM Technical Symposium on Computing Science Education. New York, NY, USA: Association for Computing Machinery, 2016. P. 364–369.
  20. Emerson P. The original Borda count and partial voting // Social Choice and Welfare. 2013. V. 40. No 2. P. 353–358.
  21. Sychev O., Anikin A., Penskoy N., Denisov M., Prokudin CompPrehension Model-Based Intelligent Tutoring System on Comprehension Level // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2021. V. 12677. P. 52–59.
  22. Sychev O., Prokudin A., Denisov M. Generation of Code Tracing Problems from Open-Source Code // SIGCSE 2023 Proceedings of the 54th ACM Technical Symposium on Computer Science Education. V. 1. No 1. New York, NY, USA: Association for Computing Machinery, 2023. P. 875–881.
  23. Soni P. QBCrowd: A Crowdsourced Question Bank for Exam Paper Generation // International Journal for Research in Applied Science and Engineering Technology. 2022. V. 10. No 11. P. 149–152.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Рис. 1. Концептуальная схема поиска в банке заданий

Скачать (10KB)
Метаданные
3. Рис. 2. Влияние изменения целевой сложности на сложность заданий: «полный» метод

Скачать (41KB)
Метаданные
4. Рис. 3. Относительная нормированная частота встречаемости концепта (rnf): «наивный» метод (приемлемыми считаются минимальные значения не ниже 1)

Скачать (10KB)
Метаданные
5. Рис. 4. Относительная нормированная частота встречаемости концепта (rnf): «полный» метод (приемлемыми считаются минимальные значения не ниже 1)

Скачать (9KB)
Метаданные

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».