Математическое моделирование с учётом ограничений и исследование оптимальной конфигурации оптической стереосистемы, состоящей из двух плоских зеркал и видеокамеры

Обложка

Цитировать

Полный текст

Аннотация

Статья продолжает серию исследований, посвященных математическому моделированию и оптимизации конфигурации оптической стереосистемы, состоящей из видеокамеры и двух плоских зеркал. В предыдущей работе мы разработали модель, которая учитывает различные ограничения на конфигурацию подобной системы: величина стереобазы, размеры зеркал, общие габариты оптической системы, отсутствие двойного отражения световых лучей, недопущение ситуации, когда видеокамера отражается в зеркалах. Выполнена постановка задачи условной оптимизации, в качестве целевой функции выбран периметр прямоугольника, ограничивающий оптическую систему.В рамках данной работы мы добавили в модель набор ограничений, которые задают конфигурацию рабочей зоны, она образована пересечением полей зрения двух виртуальных камер. Соответствующие изменения были внесены в программу для численного решения задачи условной оптимизации с использованием пакета SciPy. Продемонстрированы примеры решения задачи для различных исходных данных. Полученные результаты расширяют теорию компьютерного зрения и могут быть использованы в создании и исследовании систем компьютерного зрения для робототехнических комплексов и систем неразрушающего контроля.

Об авторах

Дмитрий Николаевич Степанов

Институт программных систем им. А. К. Айламазяна РАН

Email: mitek1989@mail.ru

Игорь Петрович Тищенко

Институт программных систем им. А. К. Айламазяна РАН

Email: igor.p.tishchenko@gmail.com
к.т.н., и.о. директора ИПС им. А.К. Айламазяна РАН. Область научных интересов: распознавание образов, параллельное программирование, искусственные нейронные сети, беспилотные летательные аппараты

Список литературы

  1. Durand-Texte T., Melon M., Simonetto E., Durand S., Moulet M.-H.. “3D vision method applied to measure the vibrations of non-flat items with a two-mirror adapter”, Journal of Physics Conference Series, 1149:1 (2018), 012008.
  2. Gorevoy A. V., Machikhin A. S.. “Optimal calibration of a prism-based videoendoscopic system for precise 3D measurements”, Computer Optics, 41:4 (2017), pp. 535–544.
  3. Zhou F., Chen Y., Zhou M., Li X.. “Effect of catadioptric component postposition on lens focal length and imaging surface in a mirror binocular system”, Sensors, 19:23 (2019), 5309.
  4. Степанов Д. Н., Смирнов А. В.. «Исследование процесса калибровки и оптических характеристик стереонасадки 3Dberry», Программные системы: теория и приложения, 9:3(38) (2018), с. 11–28.
  5. Степанов Д. Н.. «Математические модели получения стереоизображений с двухзеркальных катадиоптрических систем с учетом дисторсии объективов», Компьютерная оптика, 43:1 (2019), с. 105–114.
  6. Степанов Д. Н., Тищенко И. П.. «Математическое моделирование и исследование оптимальной конфигурации оптической стереосистемы, состоящей из двух плоских зеркал», Программные системы: теория и приложения, 62:3(62) (2024), с. 23–52.
  7. Gluckman J., Nayar S. K.. “Rectified catadioptric stereo sensors”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 24:2 (2002), pp. 224–236.
  8. Clark A. F., Chan S. W.. “Single-camera computational stereo using a rotating mirror”, Proceedings of the British Machine Vision Conference. 2 (13-16 September 1994, University of York, York, UK), ed. Hancock E. R., BMVA Press, 1994, ISBN 952-1898-1-X, pp. 761–770.
  9. Nakao T., Kashitani A.. “Panoramic camera using a mirror rotation mechanism and a fast image mosaicing”, Proceedings 2001 International Conference on Image Processing. 2 (07-10 October 2001, Thessaloniki, Greece), IEEE, 2001, ISBN 0-7803-6725-1, pp. 1045–1048.
  10. Hu S., Dong H., Shimasaki K., Jiang M., Senoo T., Ishii I.. “Omnidirectional panoramic video system with frame-by-frame ultrafast viewpoint control”, IEEE Robotics and Automation Letters, 7:2 (2022), pp. 4086–4093.
  11. Baker S., Nayar S. K.. “A theory of single-viewpoint catadioptric image formation”, International Journal of Computer Vision, 35:2 (1999), pp. 175–196.
  12. Pachidis T., Lygouras J.. “A pseudo stereo vision system as a sensor for real time path control of a robot”, Proceedings of the 19th IEEE Instrumentation and Measurement Technology Conference. 2, IMTC 2002 (21-23 May 2002, Anchorage, AK, USA), IEEE, 2002, ISBN 0-7803-7218-2, pp. 1589–1594.
  13. Vernon D.. “An optical device for computation of binocular stereo disparity with a single static camera”, Opto-Ireland 2002: Optical Metrology, Imaging, and Machine Vision (5-6 September 2002, Galway, Ireland), Proc. SPIE, vol. 4877, 2003, pp. 38–46.
  14. Chai X., Zhou F., Chen X.. “Epipolar constraint of single camera mirror binocular stereo vision systems”, Optical Engineering, 56:8 (2017), 084103, 8 pp.
  15. Zhou F., Chai X., Chen X., Song Y.. “Omnidirectional stereo vision sensor based on single camera and catoptric system”, Applied Optics, 55:25 (2016), pp. 6813–6820.
  16. Liu Y., Zhou F., Guo Z., Tan H., Zhang W.. “Design and optimization of a quad-directional stereo vision sensor with wide field of view based on single camera”, Measurement, 203:7 (2022), 111915.
  17. Wang R., Li X., Zhang Y.. “Analysis and optimization of the stereo-system with a four-mirror adapter”, Journal of the European Optical Society Rapid Publications, 3 (2008), 08033, 7 pp.
  18. Yu L., Pan B.. “Structure parameter analysis and uncertainty evaluation for single-camera stereo-digital image correlation with a four-mirror adapter”, Applied Optics, 55:25 (2016), pp. 6936–6946.
  19. Luo H., Yu L., Pan B.. “Design and validation of a demand-oriented single-camera stereo-DIC system with a four-mirror adapter”, Measurement, 186:5 (2021), pp. 110083.
  20. López-Alba E., Felipe-Sesé L., Schmeer S., D{'i}az F. A.. “Optical low-cost and portable arrangement for full field 3D displacement measurement using a single camera”, Measurement Science and Technology, 27:11 (2016), 115901.
  21. Yu Z., Ma K., Wang Z., Wu J., Wang T., Zhuge J.. “Surface modeling method for aircraft engine blades by using speckle patterns based on the virtual stereo vision system”, Optics Communications, 411 (2018), pp. 33–39.
  22. Bartol K., Bojanić D., Petković T., Pribanić T.. “Catadioptric stereo on a smartphone”, 2021 12th International Symposium on Image and Signal Processing and Analysis, ISPA 2021 (13-15 September 2021, Zagreb, Croatia), IEEE, 2021, ISBN 1-66542-639-X, pp. 189–194.
  23. Aggarwal R., Vohra A., Namboodiri A. M.. “Panoramic stereo videos with a single camera”, 2016 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2016 (27-30 June 2016, Las Vegas, NV, USA), IEEE, 2016, ISBN 978-1-4673-8850-4, pp. 3755–3763.
  24. Zhu L., Wang W., Liu Y., Lai S., Li J.. “A virtual reality video stitching system based on mirror pyramids”, 2017 International Conference on Virtual Reality and Visualization, ICVRV 2017 (21-22 October 2017, Zhengzhou, China), IEEE, 2017, ISBN 978-1-5386-2636-8, pp. 288–293.
  25. Zhong F, Quan C.. “A single color camera stereo vision system”, IEEE Sensors Journal, 18:4 (2018), pp. 1474–1482.
  26. Nene S. A., Nayar S .K.. “Stereo with mirrors”, Sixth International Conference on Computer Vision (07 January 1998, Bombay, India), IEEE, 2002, ISBN 81-7319-221-9, pp. 1087–1094.
  27. Goshtasby A., Gruver W. A.. “Design of a single-lens stereo camera system”, Pattern Recognition, 26:6 (1993), pp. 923–937.
  28. Gluckman J., Nayar S. K.. “Planar catadioptric stereo: geometry and calibration”, Proceedings IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 1 (23-25 June 1999, Fort Collins, CO, USA), IEEE, 1999, ISBN 0-7695-0149-4, pp. 22–28.
  29. Gluckman J., Nayar S. K.. “Catadioptric stereo using planar mirrors”, International Journal of Computer Vision, 44:1 (2001), pp. 65–79.
  30. Endres F., Sprunk C., Kümmerle R., Burgard W.. “A catadioptric extension for RGB-D cameras”, 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems (14-18 September 2014, Chicago, IL, USA), IEEE, 2014, ISBN 9781479969357, pp. 466–471.
  31. Mariottini G. L., Scheggi S., Morbidi F., Prattichizzo D.. “Catadioptric stereo with planar mirrors: multiple-view geometry and camera localization”, Visual Servoing via Advanced Numerical Methods, Lecture Notes in Control and Information Sciences, vol. 401, eds. Chesi G., Hashimoto K., Springer, London, 2010, ISBN 978-1-84996-088-5, pp. 3–21.
  32. Takahashi K., Nobuhara S.. “Structure of multiple mirror system from kaleidoscopic projections of single 3D point”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 44:9 (2022), pp. 5602–5617.
  33. Zhao Y., Chen Y., Yang L.. “Calibration of double-plane-mirror catadioptric camera based on coaxial parallel circles”, Journal of Sensors, 2022:12 (2022), 7145400, 15 pp.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать


Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution 4.0 International License.

Согласие на обработку персональных данных

 

Используя сайт https://journals.rcsi.science, я (далее – «Пользователь» или «Субъект персональных данных») даю согласие на обработку персональных данных на этом сайте (текст Согласия) и на обработку персональных данных с помощью сервиса «Яндекс.Метрика» (текст Согласия).