On the question of the specifics of the formulation and use of the Turing test for the ChatGPT

Cover Page

Cite item

Full Text

Abstract

The subject of the research in this article are the features and regularities of the functioning of systems based on ChatGPT technologies, the knowledge of which makes it possible to formulate appropriate modifications of the Turing test, as well as the features and regularities of the formulation and use of the Turing test for systems based on ChatGPT technologies. The purpose of the study is to identify the features and patterns of functioning of systems based on the technologies of ChatGPT, as well as the features and patterns of formulation and use of the Turing test for systems based on the technologies of Chat GPT. As research methods, the method of social experiment was used, when during the study of a system based on Chat GPT technologies, certain questions were asked, answers were received, the analysis of which allowed us to conclude about the features of the "thinking" of systems based on ChatGPT technologies. In the course of the study, the following was found. Unlike human thinking, which is based on certain facts, the "thinking" of systems based on ChatGPT technologies, in some cases is not based on facts that take place in reality, often the user is given deliberately false information about facts and circumstances that take place in reality. In contrast to human thinking, which is usually systemic in nature, the "thinking" of systems based on ChatGPT technologies is disorderly and fragmentary. Systems based on ChatGPT technologies cannot admit their mistakes, and attempts to force systems based on ChatGPT technologies to critically comprehend their answers lead to a malfunction of these systems. The article also provides a Turing test developed by the author for ChatGPT, which made it possible to identify the features of the "thinking" of systems based on ChatGPT technologies.

References

  1. Алексеев А. Ю. Компьютерные средства комплексного теста Тьюринга // Искусственный интеллект в решении актуальных социальных и экономических проблем XXI века: сборник статей по материалам Восьмой всероссийской научно-практической конференции с международным участием, Пермь, 25–26 октября 2022 года. – Пермь: Пермский государственный национальный исследовательский университет, 2022. – С. 23-28.
  2. Горбачева А. Г. Тест Тьюринга: диагностика человеческого в интерфейсе человек-машина // Человек.RU. – 2015. г. – 10. – С. 99-106.
  3. Данилина, Е. В. Селюкова Г. П. Алан Тьюринг и искусственный интелект // Актуальные вопросы науки и хозяйства: новые вызовы и решения: Сборник материалов LIV Студенческой научно-практической конференции, посвящённой 75-летию Победы в Великой Отечественной войне, Тюмень, 19–20 марта 2020 года. Тюмень: Государственный аграрный университет Северного Зауралья, 2020. – Т. Часть 2. – С. 42-345.
  4. Ефимов А. Р. Посттьюринговая методология: разрушение стены на пути к общему искусственному интеллекту // Интеллект. Инновации. Инвестиции. – 2020 г. – 2. – С. 74-80.
  5. Ефимова С. А. Развитие искусственного интеллекта // Цифровая наука. 2020 г. 6. С. 49-58.
  6. Жадан. А Как я написал диплом с помощью ChatGPT и оказался в центре спора о нейросетях в образовании // https://journal-tinkoff-ru. 22 февраль 2023 г. 9 Октябрь 2023 г. https://journal-tinkoff-ru.turbopages.org/journal.tinkoff.ru/s/neuro-diploma/?parent_reqid=1696780968504726-1216878690899660191200206-production-app-host-sas-turbo-27&recommendation=true.
  7. Малютин Н. К. "Имитация жизни": искусственный интеллект и перспективы человеческого // Формирование гуманитарной среды в вузе: инновационные образовательные технологии. Компетентностный подход. 2018 г. Т. 1. С. 191-196.
  8. Овчинникова Г. В Семантическая асимметрия французских юридических терминов и «Ложные друзья» переводчика // Вестник МПА ВПА (сборник научных трудов). 2023 г. 3. С. 206-208.
  9. Сальников, И. С. Сальников Р.С. Роботооператоры и тест Тьюринга [Дневник] // Системы и средства искусственного интеллекта. 2013 г. Т. 1. С. 181-184.
  10. Ставровский И. К. Может ли машина мыслить: не-бихевиористский подход [Конференция] // Философия в XXI веке: социально-философские проблемы современной науки и техники : Материалы I Международной научно-практической конференции, Москва, Зеленоград-Красноярск, 12 мая 2023 года. – Красноярск: Красноярский государственный аграрный университет, 2023. С. 119-122.
  11. Сурков А. В. Искусственный интеллект и сознание: состояние исследований и перспективы // Практическая философия: состояние и перспективы : Сборник материалов III научной конференции, Симферополь, 17–18 мая 2020 года / ред. О.А. Габриелян.-Симферополь: Общество с ограниченной ответственностью «Издательство Типография «Ариал», 2020. С. 135-137.
  12. Флоренсов А. Н. Применение критерия Тьюринга для исследования динамики искусственного интеллекта [Дневник] // Омский научный вестник. 2018 г. 1: Т. 157. С. 91-94.
  13. Alan Turing «Computing Machinery and Intelligence // Mind. 1950 г. no. 236 : Т. vol. LIX. P. 433-460.
  14. Ausat, A. M. A., Massang, B., Efendi, M., Nofirman, N., & Riady, Y. Can chat GPT replace the role of the teacher in the classroom: A fundamental analysis. // Journal on Education.-2023 г. P. 16100-16106.
  15. Baskara FX Risang. The Promises and Pitfalls of Using Chat GPT for Self-Determined Learning in Higher Education: An Argumentative Review // Prosiding Seminar Nasional Fakultas Tarbiyah dan Ilmu Keguruan IAIM Sinja. 2023 г. Т. Т. 2. P. 95-101.
  16. Bhattacharya, K., Bhattacharya, A. S., Bhattacharya, N., Yagnik, V. D., Garg, P., Kumar, S ChatGPT in surgical practice – a New Kid on the Block // Indian Journal of Surgery. 2023. г. 4. P. 1-25.
  17. Elkins K., Chun J. Can GPT-3 pass a writer’s Turing test? // Journal of Cultural Analytics. 2020 г. 2: Т. 5.-P. 1-16.
  18. Huallpa J. J. Exploring the ethical considerations of using Chat GPT in university education. // Periodicals of Engineering and Natural Sciences. 2023 г. 4: Т. 11. P. 105-115.
  19. Kenneth J. Arrow Social Choice and Individual Values-Yale: Yale University Press, 1963.
  20. Khan, A., Khan, S., Zia-Ul-Islam, S., Khan, M Communication Skills of a Teacher and Its Role in the Development of the Students' Academic Success // Journal of Education and Practice..-2017 г. 1: Т. 8. P. 18-21.
  21. Lelepary, H. L., Rachmawati, R., Zani, B. N., & Maharjan, K. GPT Chat: Opportunities and Challenges in the Learning Process of Arabic Language in Higher Education. // JILTECH: Journal International of Lingua & Technology. 2023 г. 1: Т. 2. P. 11-23.
  22. Lund B. D., Wang T. Chatting about ChatGPT: how may AI and GPT impact academia and libraries? // Library Hi Tech News. 2023. г. 3: Т. 40. P. 26-29.
  23. Maboloc. C. R. Chat GPT: the need for an ethical framework to regulate its use in education // Journal of Public Health. 2023 г. P. fdad125.
  24. Nov, Oded, Nina Singh, and Devin Mann. Putting ChatGPT’s Medical Advice to the (Turing) Test: Survey Study [Дневник] // JMIR Medical Education..-2023 г. 1: Т. Т. 9. P. 39-46.
  25. Saariluoma P., Karvonen A Theory languages in designing artificial intelligence [Дневник] // AI & SOCIETY. 2023 г. P. 1-10.
  26. Tajik E., Tajik F. A. A comprehensive Examination of the potential application of Chat GPT in Higher Education Institutions // TechRxiv. Preprint. 2023 г. P. 1-10.
  27. Wang. Y. On abstract intelligence: Toward a unifying theory of natural, artificial, machinable, and computational intelligence // International Journal of Software Science and Computational Intelligence (IJSSCI). 2009 г. 1: Т. 1.-P. 1-17.
  28. Yu. H Reflection on whether Chat GPT should be banned by academia from the perspective of education and teaching] // Frontiers in Psychology. 2023 г. Т. 14. P. 1-12.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных

 

Используя сайт https://journals.rcsi.science, я (далее – «Пользователь» или «Субъект персональных данных») даю согласие на обработку персональных данных на этом сайте (текст Согласия) и на обработку персональных данных с помощью сервиса «Яндекс.Метрика» (текст Согласия).