Bayesian model for feature representation fusion in person re-identification

Cover Page

Cite item

Full Text

Abstract

This paper addresses the problem of person re-identification in surveillance systems based on the analysis and integration of heterogeneous descriptive features. Unlike traditional approaches relying on a single biometric modality, a general-purpose probabilistic method is proposed to combine features derived from various sources. The method is based on Bayesian inference and models each feature as a random variable following a multivariate normal distribution. Parameters of the distributions are estimated from the training data. Decision making is performed by maximizing the posterior probability of identity given the available evidence. To extract features, transformer-based architectures with attention mechanisms are used, ensuring robustness to visual noise and viewpoint variation. The proposed model is compared with classical approaches based on linear combination of feature vectors. Experiments conducted on an open re-identification dataset demonstrate that the Bayesian scheme improves recognition accuracy and remains effective in cases of partial information loss. Moreover, the method provides a quantitative confidence score associated with each decision, making it particularly suitable for deployment in safety-critical environments such as automated video surveillance and access control systems.

About the authors

Konstantin Dmitrievich Rusakov

V.A. Trapeznikov Institute of Control Sciences of RAS

Email: rusakov@ipu.ru
Moscow

References

  1. АМИРГАЛИЕВА З., САДЫКОВА А., КЕНШИМОВ К. Раз-работка модифицированного алгоритма Виолы – Джонсадля распознавания лиц // Известия НАН РК. Серия физико-математическая. – 2022. – №4. – С. 258–267.
  2. ИГНАТЬЕВА С.А., БОГУШ Р.П. Алгоритм реидентифи-кации людей по изображениям систем видеонаблюденияс использованием нейросетевого составного дескриптора //Системный анализ и прикладная информатика. – 2024. –№1 – C. 54–65.
  3. КОСУЛИН К.Э., КАРПОВ А.А. Методы аудиовизуальногораспознавания людей в масках // Научно-технический вест-ник информационных технологий, механики и оптики. –2022. – Т. 22, № 3. – С. 415–432.
  4. МУБИНОВА Э.С. Эволюция технологий распознавания лици их влияние на общественное воприятие безопасности //Вестник науки. – 2024. – №9(78). – C. 168–171.
  5. САВЧЕНКО А.В. Метод максимально правдоподобных рас-согласований в задаче распознавания изображений на ос-нове глубоких нейронных сетей // Компьютерная оптика. –2017. – №41(5). – С. 819–828.
  6. СОКОЛОВА А.Д., САВЧЕНКО А.В., НИКОЛЕНКО С.И.Поиск редких данных в задаче распознавания лиц на изоб-ражениях // Компьютерная оптика. – 2022. – №46(2). –C. 318–327.
  7. ТЕЛЕНЬКОВ А. Система распознавания силуэтов при-меняется МВД в пяти регионах РФ // ТАСС (ЦИПР). –24.06.2021.
  8. ХАЧУМОВ М.В., НГУЕН Т.З. Распознавание лиц по фото-графиям на основе инвариантных моментов // Современ-ные проблемы науки и образования. – 2015. – №2 – C. 10.
  9. САВЧУК В.П. Байесовские методы статистического оце-нивания: надежность технических объектов. – М.: Наука,Гл. ред. физ.-мат. лит., 1989.
  10. DENG J., GUO J., XUE N. et al. ArcFace: Additive AngularMargin Loss for Deep Face Recognition // Proc. CVPR. –2019. – P. 4690–4699.
  11. HERMANS A., BEYER L., LEIBE B. In Defense of the TripletLoss for Person Re-Identification // arXiv preprint. – 2017. –arXiv:1703.07737.
  12. IRFAN B., GARCIA ORTIZ M., LYUBOVA N. et al. Multi-modal Open World User Identification // ACM Trans. Human-Robot Interaction. – 2022. – Vol. 11(1). – P. 1–50.
  13. KOO J.H., CHO S.W., BAEK N.R. et al. CNN-basedmultimodal human recognition in surveillance environments //Sensors. – 2018. – Vol. 18(9). – P. 3040.
  14. LIAO Z., DI D., HAO J. et al. MMM-GCN: Multi-Level Multi-Modal Graph Convolution Network for Video-Based PersonIdentification // LNCS. – 2023. – Vol. 13834. – P. 3–15.
  15. LI W., ZHAO R., XIAO T. et al. DeepReID: Deep FilterPairing Neural Network for Person Re-identification // Proc.CVPR. – 2014. – P. 152–159.
  16. LI W., ZHU X., GONG S. Harmonious Attention Network forPerson Re-Identification // Proc. CVPR. –2018.–P.2285–2294.
  17. SCHROFF F., KALENICHENKO D., PHILBIN J. FaceNet:A unified embedding for face recognition and clustering // Proc.CVPR. – 2015. – P. 815–823.
  18. SHOUKRY N., ABD EL GHANY M.A., SALEM M.A.-M. Multi-Modal Long-Term Person Re-Identification UsingPhysical Soft Bio-Metrics and Body Figure // AppliedSciences. – 2022. – Vol. 12(6). – P. 2835.
  19. VEZZANI R., BALTIERI D., CUCCHIARA R. People re-identification in surveillance and forensics: A survey // ACMComputing Surveys. – 2013. – Vol. 46(2). – P. 1–37.
  20. ZHANG M., LIU R., ABE N. Face Helps Person Re-Identification: Multi-modality Person Re-ID Based on Vision-Language Models // Proc. IJCB. – 2024.
  21. CHEN S., LIU Y., GAO X. et al. MobileFaceNets: EfficientCNNs for Accurate Real-Time Face Verification on MobileDevices // arXiv preprint. – 2018. – arXiv:1804.07573.
  22. DOSOVITSKIY A. et al. An image is worth 16х16 words:Transformers for image recognition at scale // arXiv preprint. –2020. – arXiv:2010.11929.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download


Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

Согласие на обработку персональных данных

 

Используя сайт https://journals.rcsi.science, я (далее – «Пользователь» или «Субъект персональных данных») даю согласие на обработку персональных данных на этом сайте (текст Согласия) и на обработку персональных данных с помощью сервиса «Яндекс.Метрика» (текст Согласия).