Построение модели онлайн-обучения с помощью видео по распознаванию танцев, основанного на глубоком обучении

Обложка

Цитировать

Полный текст

Аннотация

Распознавание движений при прыжках с помощью видео является значительным вкладом, поскольку оно значительно влияет на интеллектуальные приложения и будет широко применяться в жизни. Этот метод может быть использован для обучения будущих танцоров с использованием инновационных технологий. Сложные позы будут повторяться и совершенствоваться с течением времени, что снизит нагрузку на инструктора при многократном выполнении. Танцоров также можно воссоздать, удалив элементы из их изображений. Распознавать движения танцоров, проверять и корректировать их позы, и еще одним важным аспектом является то, что наша модель может извлекать когнитивные функции для эффективной оценки и классификации, а глубокое обучение в настоящее время является одним из лучших способов сделать это для возможностей коротких видеороликов. Кроме того, при оценке качества видеозаписи выступления точность выполнения каждого танцевального шага является сложной проблемой, когда глаза судей не могут на 100% сфокусироваться на танце на сцене. Более того, танцы на видео сегодня представляют большой интерес для ученых, поскольку технологии все больше развиваются и становятся полезными для замены людей. Основываясь на реальных условиях и потребностях Вьетнама. В этой статье мы предлагаем метод, заменяющий ручную оценку, и наш подход используется для оценки танца с помощью коротких видеороликов. Кроме того, мы проводим танцевальный анализ с помощью коротких видеороликов, применяя таким образом такие методы, как глубокое обучение, для оценки и сбора данных, на основе которых можно делать точные выводы. Эксперименты показывают, что наша оценка является относительно точной, когда рассчитываются значения точности и F1-балла. Точность составляет более 92,38% и 91,18% F1-балла соответственно. Это демонстрирует, что наш метод хорошо и точно работает при анализе оценки танца.

Об авторах

Н. В Хунг

Восточноазиатский технологический университет

Автор, ответственный за переписку.
Email: hungnv@eaut.edu.vn
Ки Фу - Ки Ань -

Т. К Лои

Восточноазиатский технологический университет

Email: thangquangloi21@gmail.com
Суан Лонг, Йен Бинь -

Н. Х Бинь

Восточноазиатский технологический университет

Email: binhnh@eaut.edu.vn
Чиен Тханг - Тхи Тран Суан Май, Тьыонгми -

Н. Т Нга

Восточноазиатский технологический университет

Email: ngantt@eaut.edu.vn
Та Тхань Оай, Тханьчи -

Т. Т Хыонг

Ханойский университет науки и технологий

Email: huong.truongthu@hust.edu.vn
улица Дай Ко Вьет 1

Д. Л Луу

Университет науки и техники

Email: ldlich@dut.udn.vn
улица Нгуен Луонг Банга 54

Список литературы

  1. Zhai X. Dance movement recognition based on feature expression and attribute mining. Complexity. 2021. vol. 2021. pp. 1–12.
  2. Krishna V.B. Ballroom dance movement recognition using a smart watch. arXiv preprint. 2020. arXiv:2008.10122.
  3. Sun Y., Chen J. Human movement recognition in dancesport video images based on chaotic system equations. Advances in Mathematical Physics. 2021. vol. 2021. pp. 1–12.
  4. Zhang J., Sun J., Wang J., Yue X.-G. Visual object tracking based on residual network and cascaded correlation filters. Journal of ambient intelligence and humanized computing. 2021. vol. 12. pp. 8427–8440.
  5. Zhou Q., Wang J., Wu P., Qi Y. Application development of dance pose recognition based on embedded artificial intelligence equipment. Journal of Physics: Conference Series. 2021. vol. 1757(1). no. 012011.
  6. Nguyen H., Dao T.N., Pham N.S., Dang T.L., Nguyen T.D., Truong T.H. An accurate viewport estimation method for 360 video streaming using deep learning. EAI Endorsed Transactions on Industrial Networks and Intelligent Systems. 2022. vol. 9. no. 4. doi: 10.4108/eetinis.v9i4.2218.
  7. Wang S., Li J., Cao T., Wang H., Tu P., Li Y. Dance emotion recognition based on laban motion analysis using convolutional neural network and long short-term memory. IEEE Access. 2020. vol. 8. pp. 124928–124938.
  8. Ding Y., Zhang Z., Zhao X., Cai Y., Li S., Deng B., Cai W. Self-supervised locality preserving low-pass graph convolutional embedding for large-scale hyperspectral image clustering. IEEE Transactions on Geoscience and Remote Sensing. 2022. vol. 60. pp. 1–16.
  9. Hung N., Loi T., Huong N., Hang T.T., Huong T. Aafndl – an accurate fake information recognition model using deep learning for the vietnamese language. Informatics and Automation. 2023. vol. 22. no. 4. pp. 795–825.
  10. Hao S., Zhou Y., Guo Y. A brief survey on semantic segmentation with deep learning. Neurocomputing. 2020. vol. 406. pp. 302–321.
  11. Cai W., Song Y., Duan H., Xia Z., Wei Z. Multi-feature fusion-guided multiscale bidirectional attention networks for logistics pallet segmentation. Computer Modeling in Engineering and Sciences. 2022. vol. 131. no. 3. pp. 1539–1555.
  12. Zhao M., Chang C.H., Xie W., Xie Z., Hu J. Cloud shape classification system based on multi-channel cnn and improved fdm. IEEE Access. 2020. vol. 8. pp. 44111–44124.
  13. Bakalos N., Rallis I., Doulamis N., Doulamis A., Protopapadakis E., Voulodimos A. Choreographic pose identification using convolutional neural networks. 11th International Conference on Virtual Worlds and Games for Serious Applications (VS-Games). IEEE, 2019. pp. 1–7.
  14. Rani C.J., Devarakonda N. An effectual classical dance pose estimation and classification system employing convolution neural network–long shortterm memory (CNN-LSTM) network for video sequences. Microprocessors and Microsystems. 2022. vol. 95. no. 104651.
  15. Yang Y., Yu D., Yang C. Video transaction algorithm considering fisco alliance chain and improved trusted computing. PeerJ Computer Science. 2021. vol. 7. no. e594.
  16. Hu K., Jin J., Zheng F., Weng L., Ding Y. Overview of behavior recognition based on deep learning. Artificial Intelligence Review. 2023. vol. 56. no. 3. pp. 1833–1865.
  17. Matsuyama H., Aoki S., Yonezawa T., Hiroi K., Kaji K., Kawaguchi N. Deep learning for ballroom dance recognition: A temporal and trajectory-aware classification model with three-dimensional pose estimation and wearable sensing. IEEE Sensors Journal. 2021. vol. 21. no. 22. pp. 25437–25448.
  18. Ng L.H.X., Tan J.Y.H., Tan D.J.H., Lee R.K.-W. Will you dance to the challenge? predicting user participation of TikTok challenges. Proceedings of the IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining. 2021. pp. 356–360.
  19. He H., Luo Q. Online teaching mode of college sports dance course under the background of internet plus. International Conference on Information Technology and Contemporary Sports (TCS). 2021. pp. 160–164.
  20. Zhu X. Research on the application of digital media technology in sports dance teaching. International Conference on Education, Information Management and Service Science (EIMSS). 2021. pp. 22–26.
  21. Hu Z. Research on the application of virtual reality technology in the teaching of sports dance in colleges and universities. 2nd International Conference on Artificial Intelligence and Education (ICAIE). 2021. pp. 414–418.
  22. Kritsis K., Gkiokas A., Pikrakis A., Katsouros V. Danceconv: Dance motion generation with convolutional networks. IEEE Access. 2022. vol. 10. pp. 44982–45000.
  23. Chen Y., Li X. Research on the application of flipped classroom model in college sports dance teaching. International Conference on Information Technology and Contemporary Sports (TCS). 2021. pp. 508–511.
  24. Li Y., Xu K. Online sports dance body contour extraction and training algorithm based on dsp chip intelligent high-definition camera image processing. 7th International Conference on Communication and Electronics Systems (ICCES). 2022. pp. 908–911.
  25. Kaur M., Mohta A. A review of deep learning with recurrent neural network. International Conference on Smart Systems and Inventive Technology (ICSSIT). 2019. pp. 460–465.
  26. Rallis I., Voulodimos A., Bakalos N., Protopapadakis E., Doulamis N., Doulamis A. Machine learning for intangible cultural heritage: a review of techniques on dance analysis. Visual Computing for Cultural Heritage. 2020. pp. 103–119.
  27. Biswal A. Recurrent neural network (RNN) tutorial: Types, examples, LSTM and more. Simplilearn. Com. Retrieved. 2022. Available at: https://www.simplilearn.com/tutorials/deep-learning-tutorial/rnn (accessed: 05.10.2023).
  28. Zargar S. Introduction to sequence learning models: RNN, LSTM, GRU. Department of Mechanical and Aerospace Engineering, North Carolina State University. 2021. doi: 10.13140/RG.2.2.36370.99522.
  29. Zhang W., Li H., Tang L., Gu X., Wang L., Wang L. Displacement prediction of jiuxianping landslide using gated recurrent unit (gru) networks. Acta Geotechnica. 2022. vol. 17. no. 4. pp. 1367–1382.
  30. Li W., Wei Y., An D., Jiao Y., Wei Q. LSTM-TCN: Dissolved oxygen prediction in aquaculture, based on combined model of long short-term memory network and temporal convolutional network. Environmental Science and Pollution Research. 2022. vol. 29. no. 26. pp. 39545–39556.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».