Method of Automatic Constructing Training Exercises for Electronic Tutoring Systems

封面

如何引用文章

全文:

详细

The paper proposes a method of constructing training exercises by teacher requests, which balances the studies concepts and levels of task complexity. The method is based on ranking training tasks according to their relevance to the request, taking into account previous tasks in the exercise and alternating tasks and studies objectives in task a series. Using the task bank, the key characteristics of the generated tasks were identified. The experimental results showed that the method met the requirements; removing any part of the method led to a deterioration in the generated tasks. The proposed method significantly reduces the labor costs of teachers when using large banks of training tasks.

全文:

受限制的访问

作者简介

Oleg Sychеv

Volgograd State Technical University

编辑信件的主要联系方式.
Email: oasychev@gmail.com

Candidate of technical sciences, docent, assistant professor

俄罗斯联邦, Volgograd

Mikhail Denisov

Volgograd State Technical University

Email: denisov@vstu.ru

Postgraduate student

俄罗斯联邦, Volgograd

参考

  1. Nafea S., Maglaras L., Iewe F., Smith R., Janicke H. Personalized Students’ Profile Based On Ontology and Rulebased Reasoning // EAI Endorsed Transactions on e-Learning, 2016. V. 3, No 12.
  2. Rasahatckaia E.V. Povyshenie effektivnosti razrabotki bankov testovykh zadanii putem primeneniia spetcializirovannykh interfeisov [Improving the efficiency of the development of test task banks by using specialized interfaces] // Molodezh XXI veka: obrazovanie, nauka, innovatcii. Materialy IX Vserossii`skoi studencheskoi nauchnoprakticheskoi konferentcii s mezhdunarodnym uchastiem [Youth of the XXI century: education, science, innovation. Proceedings of the IX All-Russian Student Scientific and Practical Conference with international participation]. Ed. by T.A. Vasilenko. Novosibirsk: Izdatel’stvo NSPU [Publishing House of Novosibirsk State Pedagogical University], 2020. P. 197–198.
  3. Manh P.D., Minh N.T., Hung P.D. Detecting Duplicate Multiple Choice Questions in the Large Question Bank // Computational Collective Intelligence. ICCCI 2023. Ed. by Nguyen N.T. et al. Lecture Notes in Computer Science, 14162. Cham: Springer, 2023. P. 217–230.
  4. Andujar C. Procedural Generation of STEM Quizzes. // Electronic resource. URL: https://arxiv.org/abs/2009.03868 (accessed 05.11.2023).
  5. Bolotnikova E.S., Gavrilova T.A., Gorovoy V.A. Ob odnom metode otsenki ontologiy [On one method for evaluating ontologies] // Izvestiya Rossiyskoy akademii nauk. Teoriya i sistemy upravleniya.[News of the Russian Academy of Sciences. Theory and control systems]. 2011. No. 3. P. 98–110.
  6. Rybina G.V. Obuchaiushchie integrirovannye ekspertnye sistemy: nekotorye itogi i perspektivy [Integrated training expert systems: some results and prospects] // Iskusstvenniy intellekt i prinyatie resheniy [Artificial Intelligence and Decision Making]. 2008. No 1. P. 22–46.
  7. Narayanan S. Kommuri V.S., Subramanian S., Bijlani, K. Question bank calibration using unsupervised learning of assessment performance metrics // 2017 International Conference on Advances in Computing, Communications and Informatics (ICACCI). New York, NY, USA: IEEE, 2017. P. 19–25.
  8. Kuznetsov A.S., Balashova I.Yu. Matematicheskaia model informatcionnoi sistemy kalibrovki banka testovykh zadanii [Mathematical model of the information system for calibration of the bank of test tasks] // Ekonomika i upravlenie narodnym hoziaistvom. Sbornik statei X Mezhdunarodnoi nauchno-prakticheskoi konferentcii [Economics and management of the national economy. Proceedings of the X International Scientific and Practical Conference]. Ed. by B.N. Gerasimov. Penza: Avtonomnaya nekommercheskaya nauchno-obrazovatelnaya organizatciya «Privolzhskiy Dom znaniy» [Autonomous nonprofit scientific and educational organization «Volga House of Knowledge»], 2017. P. 78–82.
  9. Savic G, Segedinac M., Sladic G., Gostojic S., Konjovic Z. A machine-readable description of generic instructional strategies in e-courses // Computer Applications in Engineering Education. 2016. V. 24, No 5. P. 665–675.
  10. Kiesler N., Pfülb B. Higher Education Programming Competencies: A Novel Dataset // Artificial Neural Networks and Machine Learning – ICANN 2023. Ed. by Iliadis L. et al. Lecture Notes in Computer Science, 14261. Cham: Springer, 2023. P. 319–330.
  11. Savić, G., Segedinac, M., Milenković, D., Hrin, T., Segedinac, M. A model-driven approach to e-course management // Australasian Journal of Educational Technology. 2018. V. 34. No 1. P. 14–29.
  12. Manickam I., Lan A.S., Baraniuk R.G. Contextual multiarmed bandit algorithms for personalized learning action selection // 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). New York, NY, USA: IEEE, 2017. P. 6344–6348.
  13. Sande J.C.G. Calculated questions and e-cheating: A case study // Education Applications & Developments Advances in Education and Educational Trends Series. Ed. by M. Carmo. Advances in Education and Educational Trends. Lisbon: inScience Press, 2015. P. 91–99.
  14. Leo J., Kurdi G., Matentzoglu N., Parsia B., Sattler U., Forge S., Donato G., Dowling W. Ontology-Based Generation of Medical, Multi-term MCQs // International Journal of Artificial Intelligence in Education. 2019. V. 29, No 2. P. 145–188.
  15. Sychev O., Penskoy N., Prokudin A. Generating Expression Evaluation Learning Problems from Existing Program Code // 2022 International Conference on Advanced Learning Technologies (ICALT). New York, NY, USA: IEEE, 2022. P. 183–187.
  16. Yildirim M. A genetic algorithm for generating test from a question bank // Computer Applications in Engineering Education. 2010. V. 18, No 2. P. 298–305.
  17. Pavlova E.A., Vorobieva M.S., Solovej Yu.V., Tyan A.D., Kurochkin V.Yu. Vyiavlenie neinformativnykh voprosov v testovykh zadaniiakh [Identification of Non-Informative Questions in Tests] // Informatizatciia obrazovaniia i metodika elektronnogo obucheniia: tcifrovye tekhnologii v obrazovanii. Materialy VI Mezhdunarodnoi nauchnoi konferentcii v trekh chastiakh. T. 1 [Informatization of education and e-learning methods: digital technologies in education. Proceedings of VI International Scientific Conference in three parts V. 1]. Krasnoyarsk: Izdatel’stvo KGPU im. V.P. Astaf`eva [Publishing House of Krasnoyarsk State Pedagogical University named after V.P.Astafiev], 2022. P. 337–340.
  18. Vysotskiy L.G. K voprosu avtomaticheskoi generatcii testovykh zadanii [On the issue of automatic generation of test tasks] // Innovatcii v nauke, obrazovanii i biznese. Trudy XI mezhdunarodnoi nauchnoi konferentcii T. 2 [Innovations in science, education and business. Proceedings of XI International Scientific Conference V. 2]. Kaliningrad: Izdatel`stvo KGTU [Publishing House of Kaliningrad State Technical University]. 2013. P. 59-60.
  19. Caceffo R., Wolfman S., Booth K., Azevedo R. Developing a Computer Science Concept Inventory for Introductory Programming // Proceedings of the 47th ACM Technical Symposium on Computing Science Education. New York, NY, USA: Association for Computing Machinery, 2016. P. 364–369.
  20. Emerson P. The original Borda count and partial voting // Social Choice and Welfare. 2013. V. 40. No 2. P. 353–358.
  21. Sychev O., Anikin A., Penskoy N., Denisov M., Prokudin CompPrehension Model-Based Intelligent Tutoring System on Comprehension Level // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2021. V. 12677. P. 52–59
  22. Sychev O., Prokudin A., Denisov M. Generation of Code Tracing Problems from Open-Source Code // SIGCSE 2023 Proceedings of the 54th ACM Technical Symposium on Computer Science Education. V. 1. No 1. New York, NY, USA: Association for Computing Machinery, 2023. P. 875–881.
  23. Soni P. QBCrowd: A Crowdsourced Question Bank for Exam Paper Generation // International Journal for Research in Applied Science and Engineering Technology. 2022. V. 10. No 11. P. 149–152.

补充文件

附件文件
动作
1. JATS XML
下载
2. Fig. 1. Conceptual scheme of search in the task bank

下载 (10KB)
索引源数据
3. Fig. 2. The effect of changing the target complexity on the complexity of tasks: the "complete" method

下载 (41KB)
索引源数据
4. Fig. 3. Relative normalized frequency of occurrence of the concept (rnf): The "naive" method (minimum values of at least 1 are considered acceptable)

下载 (10KB)
索引源数据
5. Fig. 4. Relative normalized frequency of occurrence of the concept (rnf): the "complete" method (minimum values of at least 1 are considered acceptable)

下载 (9KB)
索引源数据

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».