Noise removal from images using the proposed three-term conjugate gradient algorithm

封面

如何引用文章

全文:

详细

Conjugate gradient algorithms represent an important class of unconstrained optimization algorithms with strong local and global convergence properties and simple memory requirements. These algorithms have advantages that place them between the steep regression method and Newton’s algorithm because they require calculating the first derivatives only and do not require calculating and storing the second derivatives that Newton’s algorithm needs. They are also faster than the steep descent algorithm, meaning that they have overcome the slow convergence of this algorithm, and it does not need to calculate the Hessian matrix or any of its approximations, so it is widely used in optimization applications. This study proposes a novel method for image restoration by fusing the convex combination method with the hybrid (CG) method to create a hybrid three-term (CG) algorithm. Combining the features of both the Fletcher and Revees (FR) conjugate parameter and the hybrid Fletcher and Revees (FR), we get the search direction conjugate parameter. The search direction is the result of concatenating the gradient direction, the previous search direction, and the gradient from the previous iteration. We have shown that the new algorithm possesses the properties of global convergence and descent when using an inexact search line, relying on the standard Wolfe conditions, and using some assumptions. To guarantee the effectiveness of the suggested algorithm and processing image restoration problems. The numerical results of the new algorithm show high efficiency and accuracy in image restoration and speed of convergence when used in image restoration problems compared to Fletcher and Revees (FR) and three-term Fletcher and Revees (TTFR).

作者简介

Hisham Khudhur

Mosul University

编辑信件的主要联系方式.
Email: hisham892020@uomosul.edu.iq

Isam Halil

University of Kirkuk

Email: isam.h.halil@uokirkuk.edu.iq

参考

  1. S. Aji, A. B. Abubakar, A. I. Kiri, A. Ishaku, “A spectral conjugate gradient-like method for convex constrained nonlinear monotone equations and signal recovery”, Nonlinear Convex Analysis and Optimization, 1:1 (2022), 1–23.
  2. Z. Aminifard, S. Babaie-Kafaki, “Dai–Liao extensions of a descent hybrid nonlinear conjugate gradient method with application in signal processing”, Numerical Algorithms, 89:3 (2022), 1369–1387.
  3. S. Babaie-Kafaki, N. Mirhoseini, Z. Aminifard, “A descent extension of a modified Polak–Ribièr–Polyak method with application in image restoration problem”, Optimization Letters, 17:2 (2023), 351–367.
  4. Y. H. Dai, “New conjugacy conditions and related nonlinear conjugate gradient methods”, Applied Mathematics and Optimization, 43:1 (2001), 87–101.
  5. Z. Dai, H. Zhu, X. Zhang, “Dynamic spillover effects and portfolio strategies between crude oil, gold and Chinese stock markets related to new energy vehicle”, Energy Economics, 109 (2022), 105959.
  6. M. A. Elhamid, H. M. Khudhur, “A globally convergent of two conjugate gradient methods with application to image restoration problems”, Numerical Algebra, Control and Optimization, 2024.
  7. R. Fletcher, “Function minimization by conjugate gradients”, The Computer Journal, 7:2 (1964), 149–154.
  8. R. Fletcher, Practical methods of optimization, v. 1, Unconstrained optimization, Wiley, Chichester, UK, 1980. https://books.google.iq/books?id=igc8AQAAMAAJ
  9. W. W. Hager, H. Zhang, “A survey of nonlinear conjugate gradient methods”, Pacific Journal of Optimization, 2:1 (2006), 35–58. http://www.math.lsu.edu/~hozhang/papers/cgsurvey.pdf
  10. B. A. Hassan, H. A. Alashoor, “On image restoration problems using new conjugate gradient methods”, Indonesian Journal of Electrical Engineering and Computer Science, 29:3 (2023), 1438–1445.
  11. B. A. Hassan, H. Sadiq, “Efficient new conjugate gradient methods for removing impulse noise images”, European Journal of Pure and Applied Mathematics, 15:4 (2022), 2011–2021.
  12. A. Hassan Ibrahim, P. Kumam, B. A. Hassan, A. Bala Abubakar, J. Abubakar, “A derivative-free three-term Hestenes–Stiefel type method for constrained nonlinear equations and image restoration”, International Journal of Computer Mathematics, 99:5 (2021), 1041–1065.
  13. M. R. Hestenes, E. Stiefel, “Methods of conjugate gradients for solving linear systems”, Journal of Research of the National Bureau of Standards, 49:6 (1952), 409–436.
  14. Y. Ismail Ibrahim, H. Mohammed Khudhur, “Modified three-term conjugate gradient algorithm and its applications in image restoration”, Indonesian Journal of Electrical Engineering and Computer Science, 28:3 (2022), 1510–1517.
  15. X. Jiang, W. Liao, J. Yin, J. Jian, “A new family of hybrid three-term conjugate gradient methods with applications in image restoration”, Numerical Algorithms, 91:1 (2022), 161–191.
  16. X. Jiang, H. Yang, J. Yin, W. Liao, “A three-term conjugate gradient algorithm with restart procedure to solve image restoration problems”, Journal of Computational and Applied Mathematics, 424 (2023), 115020.
  17. H. M. Khudhur, A. A. M. Fawze, “An improved conjugate gradient method for solving unconstrained optimisation and image restoration problems”, International Journal of Mathematical Modelling and Numerical Optimisation, 13:3 (2023), 313–325.
  18. H. M. Khudhur, B. A. Hassan, S. Aji, “Superior formula for gradient impulse noise reduction from images”, International Journal of Applied and Computational Mathematics, 10:1 (2024), 4.
  19. H. M. Khudhur, H. H. Mohammed, “A new three-term conjugate gradient method for unconstrained optimisation and its applications in image restoration”, International Journal of Mathematics in Operational Research, 28:2 (2024), 253–273.
  20. Y. Laylani, B. A. Hassan, H. M. Khudhur, “A new class of optimization methods based on coefficient conjugate gradient”, European Journal of Pure and Applied Mathematics, 15:4 (2022), 1908–1916.
  21. Y. Laylani, H. M. Khudhur, E. M. Nori, K. K. Abbo, “A hybridization of the Hestenes–Stiefel and Dai–Yuan conjugate gradient methods”, European Journal of Pure and Applied Mathematics, 16:2 (2023), 1059–1067.
  22. G. Li, C. Tang, Z. Wei, “New conjugacy condition and related new conjugate gradient methods for unconstrained optimization”, Journal of Computational and Applied Mathematics, 202:2 (2007), 523–539.
  23. J. K. Liu, Y. X. Zhao, X. L. Wu, “Some three-term conjugate gradient methods with the new direction structure”, Applied Numerical Mathematics, 150 (2020), 433–443.
  24. Y. Liu, C. Storey, “Efficient generalized conjugate gradient algorithms. Part 1: Theory”, Journal of Optimization Theory and Applications, 69:1 (1991), 129–137.
  25. Y. Narushima, H. Yabe, J. A. Ford, “A three-term conjugate gradient method with sufficient descent property for unconstrained optimization”, SIAM Journal on Optimization, 21:1 (2011), 212–230.
  26. E. Polak, G. Ribière, “Note sur la convergence de méthodes de directions conjuguées”, Revue Française d’informatique et de Recherche Opérationnelle. Série Rouge, 3:16 (1969), 35–43.
  27. M. J. D. Powell, “A survey of numerical methods for unconstrained optimization”, SIAM Review, 12:1 (1970), 79–97.
  28. B. Sellami, Y. Laskri, R. Benzine, “A new two-parameter family of nonlinear conjugate gradient methods”, Optimization, 64:4 (2015), 993–1009.
  29. C. Souli, R. Ziadi, A. Bencherif-Madani, H. M. Khudhur, “A hybrid CG algorithm for nonlinear unconstrained optimization with application in image restoration”, Journal of Mathematical Modeling, 12:2 (2024), 301–317.
  30. X. Wang, Y. Tian, L. Pang, “A class of three-term derivative-free methods for large-scale nonlinear monotone system of equations and applications to image restoration problems”, Journal of Applied Mathematics and Computing, 69:1 (2023), 1269–1296.
  31. G. Yuan, T. Li, W. Hu, “A conjugate gradient algorithm for large-scale nonlinear equations and image restoration problems”, Applied Numerical Mathematics, 147 (2020), 129–141.
  32. L. Zhang, W. Zhou, D. Li, “Global convergence of a modified Fletcher–Reeves conjugate gradient method with Armijo-type line search”, Numerische Mathematik, 104:4 (2006), 561–572.
  33. L. Zhang, W. Zhou, D. Li, “Some descent three-term conjugate gradient methods and their global convergence”, Optimization Methods and Software, 22:4 (2007), 697–711.
  34. L. Zhang, W. Zhou, D. H. Li, “A descent modified Polak–Ribièr–Polyak conjugate gradient method and its global convergence”, IMA Journal of Numerical Analysis, 26:4 (2006), 629–640.
  35. G. Zoutendijk, “Nonlinear programming, computational methods”, Integer and Nonlinear Programming, North-Holland, Amsterdam, 1970, 37–86.

补充文件

附件文件
动作
1. JATS XML

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».