Neuromorphic decoding of sample image representations by the boundary-consistent interpolation method

Толық мәтін

ВВЕДЕНИЕ

Последние десятилетия из-за стремительного развития сети Интернет, многочисленных его сервисов и разработок в области искусственного интеллекта объем информации повышается экспоненциально. Вследствие такого роста также расширился арсенал механизмов по использованию этих данных. Однако вместе с этим появилось огромное число специфических проблем, связанных преимущественно с хранением, обработкой и передачей огромных объемов данных как между корпорациями, так и между людьми, что получило название проблема Больших данных.

Наиболее четко проблемы с Большими данными проявляются в отношении аудиовизуального контента, который является наиболее востребованным в сети Интернет – изображения в соцсетях, аудиоматериалы на сайтах электронных книг, видеоролики в видеохостингах и т. п. Согласно статистике, полученной за 2023 г., было сделано около 1.81 трлн цифровых изображений, что составляет около 5 млрд изображений в день. Стоит отметить, что большая часть этих изображений была создана с использованием мобильных устройств. Благодаря развитию CMOS-камер и увеличению памяти смартфонов среднестатистический пользователь за 2023 г. создал и сохранил на своих устройствах порядка 3000 фотографий и видео. В свою очередь, развитие социальных сетей и мессенджеров привело к увеличению объемов обмена данными до уровня в 6.9 млрд изображений ежедневно [1].

Поскольку вопросы хранения данных в настоящее время достаточно эффективно решаются на основе достижений микроэлектроники, все большее внимание уделяется задаче эффективной их передачи между пользователями (устройствами). В данном вопросе в сравнении с прочими видами данных, видеоданные являются наиболее проблемными, поскольку подразумевают передачу большого объема информации по каналам, имеющим принципиально ограниченную пропускную способность. Данная проблема давно известна под названием эффект «бутылочного горлышка», когда отдельный элемент информационной системы ограничивает ее производительность в целом. Ограничение производительности приводит к увеличению времени передачи информации, что влечет дискомфорт пользователям системы. Отметим, что проблема была актуальной задолго до появления Больших данных и, по сути, стала основным стимулом при создании современной теории информации К. Шенноном и его коллегами. Следует отметить связанную с проблемой «бутылочного горлышка» теорию скорости–погрешности (rate–distortion theory) [2]. К сожалению, на практике результаты этой теории дают только потенциально возможные характеристики производительности систем обмена информацией вместо реально достижимых.

К настоящему времени большинство способов решения отмеченной проблемы найдено на путях сжатия (возможно с потерями) данных. В частности, разработано огромное множество методов компрессии изображений, среди которых можно упомянуть арифметическое сжатие, метод Хаффмана, широко используемый JPEG (Joint Photographic Experts Group) и др., оперирующие пиксельным представлением изображения. Однако стоит отметить, что существуют и другие оптимальные практические решения проблемы пропускной способности информационных систем. Речь идет о нейросенсорных системах, представленных в первую очередь зрительной системой высших позвоночных животных и человека. Если сравнить эти системы с имеющимися искусственными, то можно выделить, что число рецепторов сетчатки глаза достигает порядка 10⁸, что аналогично количеству “байт” изображения, а число аксонов зрительного нерва, или емкости канала передачи информации, – около 10⁶ [3], что указывает на стократную степень сжатия входных данных, полученных с сетчатки глаза, без заметных визуальных дефектов. Детальное обсуждение ряда вопросов по данной теме было представлено в работе [4], где приведены также многочисленные ссылки на материалы по теме.

Цель данной работы – анализ данных, полученных в области адаптации инспирированных механизмами зрительного восприятия процедур нейронного кодирования к проблемам оптимального кодирования и декодирования изображений, и создание нового метода по обработке графических данных.

1. ФОТООТСЧЕТНЫЕ ВЫБОРОЧНЫЕ ПРЕДСТАВЛЕНИЯ

В основе предлагаемого метода лежит специальное представление изображений в виде набора фотоотсчетов, который моделирует результирующий поток случайных дискретных событий, зарегистрированных фоторецепторами сетчатки глаза, в ответ на воздействие непрерывно распределенной интенсивности излучения $I\left(\overrightarrow{x}\right), \overrightarrow{x}\in \mathrm{\Omega }$. Существующие системы формирования изображений, к примеру CMOS-камеры [5], формируют исходные изображения аналогичным образом, регистрируя отдельные фотоны и генерируя фототок в виде дискретных отсчетов. Представление сигналов в виде потоков событий и их статистическое описание с использованием двумерных точечных пуассоновских процессов можно найти в [6], в свою очередь, схожая модель таких сигналов может быть получена с использованием разработанного в предыдущих наших работах понятия идеального устройства формирования изображения [4]. В основе представления лежит набор координат отсчетов – зарегистрированных событий $X=\left\{{\overrightarrow{x}}_i\right\}$, где ${\overrightarrow{x}}_i, i=\mathrm{1,...,} N$ – число случайных точек на светочувствительной поверхности устройства Ω, причем количество зарегистрированных отсчетов N также является величиной случайной, заданной распределением Пуассона со средним значением

$\overline{N}={\int }_{\Omega }\alpha I\left(\overrightarrow{x}\right)d\overrightarrow{x}$,

где коэффициент $\mathrm{\alpha }=\mathrm{\eta }{\left(\mathrm{h}\overline{\mathrm{\nu }}\right)}^{-1}$ определяется в том числе квантовой эффективностью η идеального устройства формирования изображения [4].

Собственно набор случайных отсчетов описывается распределением вероятностей случайного числа точек $\left\{{\overrightarrow{x}}_i\right\}$ некоторого неоднородного точечного пуассоновского процесса с функцией интенсивности $\alpha I\left(\overrightarrow{x}\right)$ [6]. Поскольку количество отсчетов N является случайной величиной, то указанное описание представляется неудобным для практического использования, в частности при больших значениях N. Поэтому было предложено использовать представление точечных процессов в виде набора случайных точек, как в оригинальном пуассоновском процессе, однако общее число отсчетов фиксировано $N_p\ll \overline{N}$. Фиксированная выборка $X_p=\left\{{\overrightarrow{x}}_j\right\}$ случайного размера N_p, полученная из $X=\left\{{\overrightarrow{x}}_i\right\}$, может быть задана плотностью распределения [7] следующего вида:

$\mathrm{\rho }\left({\mathrm{X}}_{\mathrm{p}}=\left\{{\overrightarrow{\mathrm{x}}}_{\mathrm{j}}\right\},|\mathrm{I}\left(\overrightarrow{\mathrm{x}}\right)\right)=\prod _{\mathrm{j}=1}^{{\mathrm{N}}_{\mathrm{p}}}\mathrm{\rho }\left({\overrightarrow{\mathrm{x}}}_{\mathrm{j}}|\mathrm{I}\left(\overrightarrow{\mathrm{x}}\right)\right),$

$\mathrm{\rho }\left({\overrightarrow{\mathrm{x}}}_{\mathrm{j}}|\mathrm{I}\left(\overrightarrow{\mathrm{x}}\right)\right)=|\mathrm{I}\left({\overrightarrow{\mathrm{x}}}_{\mathrm{j}}\right)/{\int }_{\mathrm{\Omega }}\mathrm{I}\left(\overrightarrow{\mathrm{x}}\right)\mathrm{d}\overrightarrow{\mathrm{x}}.$ (1)

Представление изображений с использованием фиксированных выборок $X_p=\left\{{\overrightarrow{x}}_j\right\}, =\mathrm{1,...,}{N}_p$, статистически определенных в (1), было предложено называть выборочным представлением изображений.

На рис. 1 приведен пример сформированного выборочного изображения на основе взятого из стандартной базы данных MPEG7 [8] изображения “butterfly-19”. Для формирования выборки $X_p=\left\{{\overrightarrow{x}}_j\right\}$, состоящей из N_p = 10 000 000 отсчетов, исходное изображение размером 429×421 пикселей, глубиной цвета 𝜐 = 8 бит было предварительно конвертировано в формат PNG с той же глубиной цвета, но размером s × s = 1 000 × 1 000 пикселей. При этом в конечном варианте изображения использовались всего два оттенка серого – 100 и 255. Отсчеты генерировались методом отбраковки Монте-Карло с равномерным вспомогательным распределением $u\left(\overrightarrow{x} \right)=s^{-2}$ и вспомогательной константой M = 2^𝜐.

Рис. 1. Представление изображения по выборке отсчетов (выборочное представление): а – оригинальное изображение «butterfly-19» [8], б – выборочное представление размером 10 млн отсчетов.

2. МОДЕЛЬ РЕЦЕПТИВНЫХ ПОЛЕЙ ДЛЯ ОБРАБОТКИ ВЫБОРОЧНЫХ ПРЕДСТАВЛЕНИЙ

Предложенное выборочное представление $X_p=\left\{{\overrightarrow{x}}_j\right\}$ наиболее точно описывает данные, полученные с рецепторов внешнего слоя сетчатки – палочек и колбочек. Эти данные генерируются при формировании изображений на основе регистрируемой интенсивности светового сигнала $I\left(\overrightarrow{x}\right)\mathit{,}\mathit{ }\overrightarrow{\mathit{x}}\in \mathrm{\Omega }$. Однако, как упоминалось ранее, посылаемые в кору головного мозга импульсы от нейронов внутреннего слоя сетчатки имеют существенное отличие от данных, зарегистрированных на фоторецепторных клетках. Благодаря многочисленным промежуточным интернейронам среднего и внутреннего слоев сетчатки, входной сигнал существенно преобразуется. В результате нейроны на выходе сетчатки передают агрегированные данные от десятков, а порой и тысяч фоторецепторов, расположенных в малых областях входного слоя сетчатки и образующих так называемые рецептивные поля (РП). Изучение систем РП и нейронного преобразования данных от входного слоя фоторецепторов в последовательность нейронных импульсов зрительного нерва обычно связывают с фундаментальными исследованиями Хьюбеля и Визеля [9]; современное представление строения зрительной системы и особенностях функционирования рецептивных полей можно найти, например, в [10].

Стоит отметить, что выходные нейроны сетчатки, представленные набором ганглиозных клеток, весьма разнообразны как по форме, так и по функциям – в сетчатке выделяются более 20 типов этих клеток. Соответственно, функции и строение различных РП значительно дифференцированы, поскольку определяются типами связанных с этими полями ганглиозных клеток, нейронов внутреннего слоя и соответствующих им фоторецепторов. В работе рассматривается только семейство карликовых клеток, основная функция которых – кодирование пространственного распределения интенсивности по всей поверхности сетчатки Ω. Отметим, что большинство РП обладает центро-антагонистической структурой, которая определяет реакцию на характер освещения либо затемнения. Так, ON-клетки РП возбуждаются при световой стимуляции центра поля и тормозятся при стимуляции его периферии, и наоборот, OFF-клетки возбуждаются при стимуляции РП-периферии и тормозятся при стимуляции центра [9]. Наличие двух типов клеток обусловлено особенностями нервного кодирования положительных/отрицательных перепадов в стимулах (ON-клетка активируется, когда стимуляция центра превышает среднюю стимуляцию по РП, OFF-клетка – наоборот).

Что касается структуры РП, то известно, что соседние ON- и OFF-клетки имеют значительно перекрывающиеся поля, а РП-клетки одинакового типа практически не перекрываются. При этом неперекрывающиеся РП каждого типа плотно прилегают друг к другу, образуя сетчатую структуру, покрывающую всю сетчатку глаза [11]. Если допустить пересечение ON-полей только с соседними OFF-полями и отсутствие пересечений с прочими ON-полями, при этом допуская соприкосновение их границ, можно окончательно формализовать пространственную геометрию РП. Аналогичное справедливо при взаимной замене ON-клеток на OFF-клетки, благодаря их симметрии. Формальное представление области Ω квадратными РП с круглыми центрами, которое используется в дальнейшем для алгоритмических целей, представлено на рис. 2. (Подробнее о структуре РП см. в [12].)

Рис. 2. Разбиение поверхности изображения Ω системой рецептивных ON-полей $\left\{C_k\mathit{\left(}\overrightarrow{x}\mathit{\right)}\mathit{,}{S}_k\mathit{\left(}\overrightarrow{x}\mathit{\right)}\right\}$ с квадратными носителями ∆_k ∪ ∆_s, расположенными в узлах регулярной квадратной решетки.

Ввиду ранее упомянутого симметричного относительно друг друга расположения ON- и OFF-полей, можно рассмотреть систему РП гибридного типа, способную кодировать как положительные (по образу ON-полей), так и отрицательные (по образу OFF-полей) перепады интенсивности светового сигнала. На основе приведенных выше данных мы можем формализовать модель плотности вероятности отсчета ${\overrightarrow{x}}_j$ на поверхности изображения Ω – $\mathrm{\rho }\left({\overrightarrow{x}}_j |I\left(\overrightarrow{x}\right)\right)$ (1), как параметрическое семейство плотностей вероятностей $\mathrm{\mathbb{P}}=\left\{\text{ρ}\left(\overrightarrow{x};\overrightarrow{\mathrm{\theta }}\right)\text{|}\overrightarrow{\mathrm{\theta }}\text{∈Θ}\right\}$, представляющих собой смеси K пар компонентов $\left\{C_k\left(\overrightarrow{x}\right), S_k\left(\overrightarrow{x}\right)\right\}$, $k=\mathrm{1,}\dots ,K$:

$\text{ρ}\left(\overrightarrow{x};\overrightarrow{\mathrm{\theta }}\right)\text{=}\sum _{\mathrm{k}=1}^{\mathrm{K}}{\text{w}}_k{\text{C}}_k\left(\overrightarrow{x}\right){\text{+ν}}_k{\text{S}}_k\left(\overrightarrow{x}\right)$, (2)

где параметры $\overrightarrow{\mathrm{\theta }}=\left\{w_k,{\nu }_k\right\}$ модели $\mathrm{\mathbb{P}}$ представляют собой положительные веса смеси, а компоненты смеси C_k$\left(\overrightarrow{x}\right)$ и S_k$\left(\overrightarrow{x}\right)$ могут быть интерпретированы как наборы компонент центра и антагонистического окружения k-го РП соответственно. Причем компоненты центра и окружения задаются положительными, нормированными плотностями распределения вероятностей с компактными носителями ${\Delta }_k^c=\text{{}\overrightarrow{x} \text{|}{C}_k\left(\overrightarrow{x}\right)>0\}$ и ${\Delta }_k^s=\text{{}\overrightarrow{x} \text{|}{S}_k\left(\overrightarrow{x}\right)>0\}$, которые составляют в объединении носители k-х РП ${\Delta }_k={\Delta }_k^c◡{\Delta }_k^s$ (см. рис. 2):

${\int }_{{\Delta }_k^c}{C}_k\left(\overrightarrow{x}\right)d\overrightarrow{x}={\int }_{{\Delta }_k^s}{S}_k\left(\overrightarrow{x}\right)d\overrightarrow{x}=1$. (3)

Учитывая тождественность плотности $\rho \left({\overrightarrow{x}}_j |I\left(\overrightarrow{x}\right)\right)$ нормированной версии интенсивности сигнала $I\left(\overrightarrow{x}\right)$, зафиксированную в (1), становится очевидным смысл введенных параметров $\overrightarrow{\mathrm{\theta }}\in \mathrm{\Theta }$. Уравнение (2), по существу, задает разложение интенсивности $I\left(\overrightarrow{x}\right)$ по системе локальных распределений с точностью до нормирующего множителя, как это принято в любом мультиразрешающем анализе [13]. При этом соотношениями (3) определена нормировка заданных функций.

Далее, если предположить, что носители центра ${\Delta }_k^c$ и антагонистического окружения ${\Delta }_k^s$ k-го РП не имеют общих точек ${\Delta }_k^c◠{\Delta }_k^s=\varnothing$, то можно добавить соотношения ортогональности в дополнение к приведенным соотношениям нормировки (3):

${\int }_{{\Delta }_k^c}{S}_k\left(\overrightarrow{x}\right)d\overrightarrow{x}={\int }_{{\Delta }_k^s}{C}_k\left(\overrightarrow{x}\right)d\overrightarrow{x}=0$. (4)

Учитывая, что множество носителей РП $\left\{{\Delta }_k\right\}$ составляет точное мозаичное разбиение поверхности сетчатки, т. е. все они плотно покрывают все пространство Ω, но при этом носители центра ${\Delta }_k^c$ и окружения ${\Delta }_k^s$ попарно не пересекаются, можно, так же как в мультиразрешающем анализе, выразить параметры $\overrightarrow{\mathrm{\theta }}=\left\{w_k,{\nu }_k\right\}$ модели через соответствующие интегралы плотности $\text{ρ}\left(\overrightarrow{x};\overrightarrow{\mathrm{\theta }}\right)$ (2) по соответствующим носителям РП:

$w_k={\int }_{{∆}_k^c} \text{ρ}\left(\overrightarrow{x};\overrightarrow{\mathrm{\theta }}\right)\text{d}\overrightarrow{x}\text{,}$

$w_k={\int }_{{∆}_k^s} \text{ρ}\left(\overrightarrow{x};\overrightarrow{\mathrm{\theta }}\right)\text{d}\overrightarrow{x}\text{,}$ (5)

где параметры w_k, v_k могут быть интерпретированы как вероятности попадания отсчета ${\overrightarrow{\mathrm{x}}}_{\mathrm{j}}$ в центр ${∆}_k^c$ либо в окружение ${∆}_k^s$ k-го РП. Также можно представить параметры w_k, v_k (5) как средние значения характеристических функций, для которых справедливы следующие утверждения: ${\mathrm{\Pi }}_k^c\left(\overrightarrow{x}\right)=1$, если $\overrightarrow{x}\in {\Delta }_k^c$, иначе ${\mathrm{\Pi }}_{\mathrm{k}}^{\mathrm{c}}\left(\overrightarrow{\mathrm{x}}\right)=0$, и ${\Pi }_k^s\left(\overrightarrow{x}\right)=1$, если $\overrightarrow{x}\in {\Delta }_k^s$, иначе ${\mathrm{\Pi }}_k^s\left(\overrightarrow{x}\right)=0$ по всей поверхности Ω.

Поскольку плотность $\mathrm{\rho }\left(\overrightarrow{\mathrm{x}};\overrightarrow{\mathrm{\theta }}\right)$ не известна, а в отношении ее известна только выборка $X_p=\left\{{\overrightarrow{x}}_j\right\}$, то связи (5) не могут быть использованы для нахождения w_k, v_k. Однако, используя стандартный прием из [16], с учетом асимптотики закона больших чисел можно заменить средние ${\mathrm{\Pi }}_{\mathrm{k}}^{\mathrm{c}}\left(\overrightarrow{\mathrm{x}}\right)=1$ и ${\mathrm{\Pi }}_{\mathrm{k}}^{\mathrm{s}}\left(\overrightarrow{\mathrm{x}}\right)=1$ их выборочными (эмпирическими) средними, что приводит к следующему представлению параметров:

$w_k=\frac{1}{N_s}\sum _{j=1}^N{\mathrm{П}}_k^c\left({\overrightarrow{x}}_j\right)=\frac{n_k^c}{N_p},$

${\nu }_k=\frac{1}{N_s}\sum _{j=1}^N{\mathrm{П}}_k^s\left({\overrightarrow{x}}_j\right)=\frac{n_k^s}{N_p},$ (6)

где $n_k^c$ и $n_k^s$ – числа отсчетов соответственно в центре и в окружении k-го РП.

Стоит отметить, что приближенные значения параметров (6) не зависят от вида компонент C_k$\left(\overrightarrow{x}\right)$ и S_k$\left(\overrightarrow{x}\right)$, а только от вида их носителей ${∆}_k^c$ и ${∆}_k^s$. Отсюда следует, что для приближенной оценки плотности вероятности $\mathrm{\rho }\left(\overrightarrow{\mathrm{x}};\overrightarrow{\mathrm{\theta }}\right)$ (3) достаточны лишь числа $n_k^c$ и $n_k^s$ отсчетов в центрах и окружениях рецептивных полей. Другими словами, выборочное представление $X_p=\left\{{\overrightarrow{x}}_j\right\}$ изображения может быть сокращено (сжато) в рассматриваемом случае до представления “числами заполнения” $Y_p=\left\{n_k^c , n_k^s\right\}$, которые в данном контексте являются достаточными статистиками выборочного представления.

3. КОДИРОВАНИЕ ВЫБОРОЧНЫХ ДАННЫХ, СЖАТЫХ С ИСПОЛЬЗОВАНИЕМ СИСТЕМЫ РЕЦЕПТИВНЫХ ПОЛЕЙ

Используя наборы чисел заполнения $Y_{N_p}=\left\{n_k^c , n_k^s\right\}$, оценим, каким образом эти данные можно закодировать для дальнейшей передачи на последующие этапы обработки. Для удобства можно считать систему рецептивных полей однородной на всем пространстве Ω, то есть все поля идентичны друг другу по выполняемым функциям и по своему строению, как это показано на рис. 2. Типичное поле имеет площадь σ = |∆|, состоящую из компактного центра площади σ_c = |∆^c| и антагонистического окружения с площадью σ_s = |∆^s|, причем эти площади не пересекаются, откуда следует, что σ = σ_c + σ_s.

Каждое РП может определять общее число принадлежащих ему отсчетов n, состоящее из числа отсчетов в центре n_c и окружении n_s, причем количество отсчетов в окружении может быть определено в виде линейной комбинации an + bn_c. Коэффициенты a и b могут быть произвольными как по величине, так и по знаку, что интерпретируется в данном случае, как возбуждающее либо тормозящее действие соответствующих областей поля. В частном случае эти коэффициенты могут принимать единичные значения, при которых справедлива зависимость n_s = n – n_c. Поскольку регистрация отсчетов имеет случайный характер, числа n, n_c и n_s также являются случайными величинами, однако одновременно с этим являются взаимозависимыми. Для выборочных представлений $X_p=\left\{{\overrightarrow{x}}_j\right\}$ данные числа являются пуассоновскими случайными величинами [4]. Учитывая статистическую независимость n_c и n_s ввиду того условия, что области центра и окружения отдельного РП являются непересекающимися, можно представить распределения вероятностей в следующем виде:

${\mathrm{P}}_{\mathrm{c}}\left({\mathrm{n}}_{\mathrm{c}}\right|\mathrm{\lambda })=\frac{{\left({\mathrm{\sigma }}_{\mathrm{c}}\mathrm{\lambda }\right)}^{{\mathrm{n}}_{\mathrm{c}}}}{{\mathrm{n}}_{\mathrm{c}}!}\exp \left\{-{\mathrm{\sigma }}_{\mathrm{c}}\mathrm{\lambda }\right\},$

${\mathrm{P}}_{\mathrm{s}}\left({\mathrm{n}}_{\mathrm{s}}\right|\mu )=\frac{{({\mathrm{\sigma }}_{\mathrm{s}}\mu )}^{{\mathrm{n}}_{\mathrm{s}}}}{{\mathrm{n}}_{\mathrm{s}}!}\exp \left\{-{\mathrm{\sigma }}_{\mathrm{s}}\mu \right\},$ (7)

где λ и µ по сути представляют интенсивность отсчетов в центре и в окружении РП, которые можно представить следующим образом:

$\mathrm{\lambda }=\frac{\mathrm{\alpha }}{{\mathrm{\sigma }}_{\mathrm{c}}}{\int }_{{\mathrm{\Delta }}^{\mathrm{c}}}\mathrm{I}\left(\mathrm{x}\right)\mathrm{dx}, \mathrm{\mu }=\frac{\mathrm{\alpha }}{{\mathrm{\sigma }}_{\mathrm{s}}}{\int }_{{\mathrm{\Delta }}^{\mathrm{s}}}\mathrm{I}\left(\mathrm{x}\right)\mathrm{dx}$. (8)

Можно заметить, что средние значения распределений (7) связаны с (8) следующим образом: ${\overline{\mathrm{n}}}_{\mathrm{c}}={\mathrm{\sigma }}_{\mathrm{c}}\mathrm{\lambda }$ и ${\overline{\mathrm{n}}}_{\mathrm{s}}={\mathrm{\sigma }}_{\mathrm{s}}\mathrm{\mu }$. Поэтому значения отсчетов в центре и окружении РП n_c и n_s соответственно, являясь несмещенными оценками своих средних ${\overline{n}}_c$ и ${\overline{n}}_s$, предоставляют также соответствующие им несмещенные оценки ${\overline{n}}_c/{\sigma }_c$ и ${\overline{n}}_s/{\sigma }_s$ значений интенсивностей отсчетов λ и µ.

Путем обычного перемножения распределений (7) можно получить совместные распределения для отсчетов n_c и n_s. Если же от этих данных перейти сначала к значениям n_c в центре и n на всем РП и далее к δ = n_c – (σ_c/σ)n и n, то после ряда преобразований с использованием аппроксимации биноминального распределения гауссовским и дальнейшим упрощением, можно перейти к следующей статистической модели данных:

$\begin{array}{c}\mathrm{P}\text{(}\mathrm{\delta },\mathrm{n}\text{|} \mathrm{\lambda }, \mathrm{\mu })=\mathrm{P}\text{(}\mathrm{\delta }\text{|}\mathrm{n}, \mathrm{\lambda }, \mathrm{\mu })\mathrm{P}\text{(}\mathrm{n}\text{|} \mathrm{\nu }), \\ \begin{array}{c}\mathrm{P}\text{(}\mathrm{\delta }\text{|}\mathrm{n}, \mathrm{\lambda }, \mathrm{\mu })=\frac{1}{\sqrt{2{\mathrm{\pi \gamma }}^2}}\exp \left(-\frac{{\left(\mathrm{\delta }-\mathrm{\epsilon }\right)}^2}{2{\mathrm{\gamma }}^2}\right), \mathrm{\epsilon }=\frac{{\mathrm{\sigma }}_{\mathrm{c}}{\mathrm{\sigma }}_{\mathrm{s}}}{{\mathrm{\sigma }}^2}\left(\frac{\mathrm{\lambda }-\mathrm{\mu }}{\mathrm{\nu }}\right)\mathrm{n}, {\mathrm{\gamma }}^2=\frac{{\mathrm{\sigma }}_{\mathrm{c}}{\mathrm{\sigma }}_{\mathrm{s}}}{{\mathrm{\sigma }}_{\mathrm{i}}^2}\frac{\mathrm{\lambda \mu }}{{\mathrm{\nu }}^2}\mathrm{n} ,\\ \mathrm{P}\text{(}\mathrm{n}\text{|} \mathrm{\nu })=\frac{{\left(\mathrm{\sigma \nu }\right)}^{\mathrm{n}}}{\mathrm{n}!}\exp \left\{-\mathrm{\sigma \nu }\right\}, \mathrm{\nu }=\frac{{\mathrm{\sigma }}_{\mathrm{c}}}{\mathrm{\sigma }}\mathrm{\lambda }+ \frac{{\mathrm{\sigma }}_{\mathrm{s}}}{\mathrm{\sigma }}\mathrm{\mu } .\end{array} \end{array}$ (9)

Однако для полного статистического описания модели рецептивного поля следует использовать априорное совместное распределение для значений интенсивностей отсчетов центра и окружения λ и µ, которое можно выбрать, например, в виде:

$\mathrm{\rho }\left(\mathrm{\lambda } | \mathrm{\mu }\right)=\mathrm{\omega \delta }\left(\mathrm{\lambda }-\mathrm{\mu }\right)+\left(1-\mathrm{\omega }\right)\mathrm{\wp }\left(\mathrm{\lambda }\right)$, (10)

где ω и (1 – ω) представляют веса, которые можно трактовать как вероятность 0-гипотезы H₀ о том, что интенсивности λ и µ зависимы, либо наоборот, как вероятность независимости значений λ и µ, т. е. альтернативы этой гипотезы. Следовательно, $\wp \left(\lambda \right)$ является априорным безусловным распределением вероятностей каждой из интенсивностей λ и µ.

Используя стандартные статистические методы, на основе статистической модели (9),(10) с помощью данных δ и n могут быть получены апостериорные распределения интенсивностей λ и µ, а также их оптимальные оценки, тесты проверки 0-гипотезы H₀ и т. д. Выбрав для значений λ и µ апостериорные распределения ρ(λ, µ| n_c, n), можно выразить первые моменты, которые могут представлять MAP (оценки апостериорного максимума) оценок $\overline{\mathrm{\lambda }}\left(\mathrm{\delta },\mathrm{n}\right)$ и $\overline{\mathrm{\mu }}\left(\mathrm{\delta },\mathrm{n}\right)$:

$\begin{array}{c}\overline{\mathrm{\lambda }}\left(\mathrm{\delta },\mathrm{n}\right)=\left\{\begin{array}{c} \mathrm{n}/\mathrm{\sigma }, \left|\mathrm{\delta }\right|\le \mathrm{D}\sqrt{\mathrm{n}} \\ {\mathrm{n}}_{\mathrm{c}}/{\mathrm{\sigma }}_{\mathrm{c}}, \left|\mathrm{\delta }\right|>\mathrm{D}\sqrt{\mathrm{n}} \end{array},\right.\\ \overline{\mathrm{\mu }}\left(\mathrm{\delta },\mathrm{n}\right)=\left\{\begin{array}{c} \mathrm{n}/\mathrm{\sigma }, \left|\mathrm{\delta }\right|\le \mathrm{D}\sqrt{\mathrm{n}} \\ {\mathrm{n}}_{\mathrm{s}}/{\mathrm{\sigma }}_{\mathrm{s}}, \left|\mathrm{\delta }\right|>\mathrm{D}\sqrt{\mathrm{n}} \end{array},\right.\end{array}$ (11)

где ${\mathrm{D}}^2=2{\mathrm{\sigma }}_{\mathrm{c}}{\mathrm{\sigma }}_{\mathrm{s}}\ln \left\{{\overline{\mathrm{\Lambda }}}_0\right\}/{\mathrm{\sigma }}^2$ – пороговый коэффициент, представленный исключительно через параметры задачи, включая параметр априорного правдоподобия ${\overline{\mathrm{\Lambda }}}_0$, который, при разумных предположениях, может быть задан следующим приближенным выражением

${\overline{\mathrm{\Lambda }}}_0=\frac{4\mathrm{\omega }}{\mathrm{\pi }\left(1-\mathrm{\omega }\right)}\sqrt{\frac{{\mathrm{\sigma }}_{\mathrm{c}}{\mathrm{\sigma }}_{\mathrm{s}}\overline{\mathrm{n}}}{{\mathrm{\sigma }}^2}}$, (12)

где $\overline{n}=\sigma \hat{\nu }$, $\hat{\nu }$ – характерный масштаб априорного распределения вероятностей $\wp \left(\lambda \right)$. На рис. 3 представлено кодирование данных δ и n в пороговые оценки $\overline{\mathrm{\lambda }}\left(\mathrm{\delta },\mathrm{n}\right)$ и $\overline{\mathrm{\mu }}\left(\mathrm{\delta },\mathrm{n}\right)$ на решетке 50×50 рецептивных полей (исходное изображение было представлено на рис. 1).

Рис. 3. Иллюстрация процедуры кодирования (11) на решетке рецептивных полей размером 50×50 выборочного представления изображения «butterfly-19» [8] (см. рис. 1): а – выборочное представление, б – РП с ненулевыми значениями δ, белым цветом выделены ON-ответы (δ > 0), черным – OFF-ответы (δ < 0).

Кодирование (11) можно интерпретировать как регрессию данных при их сжатии [14], если допустить, что n/σ является общей оценкой для значений λ и µ на основе предиктора n/σ (при условии, что имеет место 0-гипотеза H₀), а $\mathrm{\delta }/{\mathrm{\sigma }}_{\mathrm{c}}={\mathrm{n}}_{\mathrm{c}}/{\mathrm{\sigma }}_{\mathrm{c}}-\mathrm{n}/\mathrm{\sigma }, \mathrm{\delta }/{\mathrm{\sigma }}_{\mathrm{s}}={\mathrm{n}}_{\mathrm{s}}/{\mathrm{\sigma }}_{\mathrm{s}}-\mathrm{n}/\mathrm{\sigma }$ являются остатками для этой оценки. Если сравнить данный подход с методом регрессии данных LASSO (Least Absolute Shrinkage and Selection Operator) [14], можно отметить зависимость общего числа отсчетов n на области σ отдельного РП и выражения порогового значения $D\sqrt{n}$. Причем количество отсчетов связано с зависимостью интенсивности $I\left(\overrightarrow{x}\right)$ сигнала изображения и пуассоновским шумом. Таким образом, (11) представляет собой нелинейный центро-латеральный пороговый фильтр.

4. ВОССТАНОВЛЕНИЕ ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ СОГЛАСОВАННОЙ С ГРАНИЦАМИ ИНТЕРПОЛЯЦИИ

Используя известные методы интерполяции изображений с низким разрешением, можно провести оценку эффективности предложенной процедуры кодирования (11). Среди таких методов можно выделить ряд широко используемых интерполяционных алгоритмов (билинейная интерполяция, бикубическая интерполяция и метод ближайшего соседа), алгоритмы регуляризации, спектральное представление. В данной работе был выбран простейший метод билинейной интерполяции, что, однако, не исключает возможность использования более эффективных в смысле точности методов, в частности связанных с нейронными сетями, используемыми для решения задачи формирования интерполяционных изображений.

Поскольку часть кода с числами отсчетов {n_k} по сути является выходом сглаживающего фильтра со скользящим окном площади σ, можно однозначно говорить о размытой форме искажений исходного изображения (рис. 4а). В свою очередь, декодирование, связанное с частью кода, представляющей так называемые “дефекты” {δ_k}, реализуется ступенчатым фильтром, принимающим постоянные и положительные значения в области центра РП, и также постоянные, но уже отрицательные – в его окружении, причем полный интеграл отклика равен нулю. Данный тип фильтров широко распространен в цифровой обработке изображений, и в частном случае полученный фильтр совпадает с фильтром COSO (center-ON-surround-OFF), предложенным в [15]. Последний был предложен в качестве имитации отклика LoG-фильтра (Laplacian of Gaussian) и использован Марром и Хилдертом в теории обнаружения границ на изображениях [16].

Рис. 4. Восстановленное (декодированное) изображение «butterfly-19» [8] (см. рис. 1), заданное выборочным представлением {${\mathit{n}}_{\mathbf{k}}^{\mathbf{c}}\mathbf{,}{\mathit{n}}_{\mathbf{k}}^{\mathbf{s}}$} на решетке 50×50: а – сглаженное изображение, декодированное только с использованием “плавной” части {n_k} кода, б – интерполяция вдоль ребер, заданных деталями {δ_k}.

Коды {δ_k} оказываются тесно связанными с оператором Лапласа, нули их линейной интерполяции вдоль ребер решетки РП представляют собой точки пересечения с ними границ изображений, поэтому для реконструкции изображений, сохраняющих содержательные детали, можно использовать многочисленные методы вдоль-реберной интерполяции (edge-directed interpolation) [17]. Стоит еще раз отметить, что подобные интерполяции предоставляют на сегодняшний день наилучшее перцептивное качество реконструированных изображений.

Для иллюстрации реконструкции (декодирования) изображений была использована простейшая билинейная, согласованная с границами интерполяция для кодированного выборочного представления «butterfly-19» (см. рис. 1б). Область представления Ω была покрыта набором из 2500 квадратных рецептивных полей, расположенных в узлах квадратной решетки 50×50 (см. рис. 2 и детали в [12]). В каждом k-м узле вычислялись значения {δ_k, n_k}, после чего δ_k подвергалось цензуре с порогом $D\sqrt{n_k}$. Классическая билинейная интерполяция, показанная на рис. 4а, демонстрирует реконструкцию на основе только части данных {n_k}, интерполируя их сначала линейно вдоль вертикальных ребер решетки, а затем линейно по всем строкам всех ячеек на основе уже интерполированных значений вертикальных ребер. Билинейная интерполяция, направленная вдоль детектированных границ изображения, показана на рис. 4б. В отличие от классической билинейной интерполяции, она дополнительно оперирует значениями дефектов {δ_k}, которые представляют некоторое подобие оператора Лапласа. Если рассматривать величину дефекта δ_k подробно, то он представляет собой более общее значение, чем лапласиан, что позволяет использовать его подобно оператору Марра в задачах обнаружения границ. В таком случае билинейная интерполяция также использует двухпроходную реконструкцию. При первом проходе значения {n_k} также интерполируются по всем вертикальным и горизонтальным ребрам решетки. Но в случае, когда в узлах данного ребра решетки значения δ_i и δ_j отличны от нуля и разных знаков, это ребро решетки рассматривается как пересекающее границу изображения, причем за точку пересечения принимается середина ребра решетки. В результате, если ребро решетки пересекается границей изображения, значения n_i и n_j в его узлах кусочно-постоянно продолжаются вдоль ребра решетки до встречи ровно посередине. Если же ребро не пересекает границу изображения, для него производится линейная интерполяция n_i ↔ n_j, как и в классическом случае. На втором проходе значения в ячейках решетки линейно интерполируются по значениям на их ребрах. Если ни одно ребро ячейки не пересекает границы изображения, или таких ребер одно или более двух, то интерполяция производится по строкам ячеек, как при классической интерполяции. Если же в ячейке имеется ровно два ребра решетки пересекающиxся с границами изображения, то, соединяя точки этих пересечений прямой линией, мы восстанавливаем фрагмент границы изображения в ячейке и проводим линейную интерполяцию по прямым, параллельным этой линии. Результат (см. рис. 4б) представляется обладающим лучшим визуальным качеством даже по сравнению с классической билинейной интерполяцией (см. рис. 4а).

ЗАКЛЮЧЕНИЕ

В работе были представлены методы кодирования и декодирования входных данных на основе нейроморфной модели, основанной на известных нейромеханизмах восприятия зрительной системы. В качестве данных для обработки было использовано формализованное ранее представление входных данных в виде пуассоновского набора случайных точек, представленного в виде выборочного представления. Исходное изображение было взято из стандартной базы данных MPEG7 [4] и предварительно обработано. Модель кодирования данных была формализована в контексте концепции рецептивных полей. Разработанная процедура порогового кодирования информации была определена как сжатие данных, схожее с принципом нелинейного центрально-латерального порогового фильтра.

Предложенный метод восстановления данных был формализован в виде модели связанного ON-OFF-декодирования, как реконструкция ранее сжатого изображения на основе участков изменения пространственных контрастов. Оценка качества восстановленного изображения была произведена путем визуального сравнения с изображением, восстановленным с использованием алгоритма классической интерполяции. Преимуществом используемого метода оказалось более четкое выделение краевых областей на изображении.

КОНФЛИКТ ИНТЕРЕСОВ

Авторы заявляют об отсутствии конфликта интересов.

ФИНАНСИРОВАНИЕ РАБОТЫ

Работа выполнена за счет бюджетного финансирования в рамках государственного задания в Институте радиотехники и электроники им. В. А. Котельникова РАН (AAAA-A 19-119041590070-1).

Авторлар туралы

V. Kershner

Хат алмасуға жауапты Автор.
Email: vladkershner@mail.ru
Ресей, Mokhovaya Str., 11, Build. 7, Moscow, 125009

Әдебиет тізімі

Қосымша файлдар

Қосымша файлдар

Әрекет

1. JATS XML

Жүктеу

2. Fig. 1. Representation of an image based on a sample of samples (sample representation): a – original image “butterfly-19” [8], b – sample representation of 10 million samples.

Жүктеу (67KB)

Метадеректер

3. Fig. 2. Partitioning of the image surface Ω by a system of receptive ON-fields with square carriers ∆k ∪ ∆s located at the nodes of a regular square lattice.

Жүктеу (107KB)

Метадеректер

4. Fig. 3. Illustration of the coding procedure (11) on a 50×50 receptive field grid of a selective representation of the image “butterfly-19” [8] (see Fig. 1): a – selective representation, b – RP with non-zero values ​​of δ, ON responses (δ > 0) are highlighted in white, OFF responses (δ < 0) are highlighted in black.

Жүктеу (99KB)

Метадеректер

5. Fig. 4. The reconstructed (decoded) image “butterfly-19” [8] (see Fig. 1), defined by the selective representation {} on the 50×50 lattice: a – smoothed image, decoded only using the “smooth” part {nk} of the code, b – interpolation along the edges defined by the details {δk}.

Жүктеу (48KB)

Метадеректер