High-Speed Convolution Core Architecture for Privacy-Preserving Neural Networks

Full Text

1. ВВЕДЕНИЕ

Методы искусственного интеллекта (ИИ) [1] набирают все большую популярность в последние годы. Если в 2000-х гг. ИИ зачастую интересовались только исследовательские круги, то в последние десятилетия ИИ набирает популярность во всех областях человеческой деятельности. Если проанализировать научно-технические достижения, то можно отметить следующее. На рост популярности методов ИИ в большей степени повлияло развитие децентрализованных вычислительных архитектур, в том числе облачных вычислений, аппаратных ускорителей, а также общая тенденция увеличения вычислительной мощности устройств. Методы ИИ сегодня применяются в производстве для повышения эффективности автоматизации, в медицине и финансовых структурах для анализа больших данных и т. д. С ростом популярности языковых моделей и запуском GPT с открытым исходным кодом методы ИИ охватили еще большее количество сфер человеческой деятельности [2].

Однако, как и в конце ХХ в., когда появился Интернет/Всемирная паутина, методы ИИ стали предметом различных дискуссий [3], как с точки зрения закона и законотворчества, так и с точки зрения безопасности данных. Задачи, решаемые ИИ, как правило, сопряжены с обработкой больших объемов данных, а в случае с теми же языковыми моделями – очень больших объемов данных. Большие данные [4] могут содержать информацию с ограниченным доступом, например, если ИИ используется компаниями для обработки данных пользователей, в медицинской организации – персональные данные пациентов, муниципальной/государственной – данные граждан, внутренние документы, в финансовых организациях – данные клиентов, информация о счетах, биржевые котировки и т. д. Все вышеперечисленные данные зачастую являются конфиденциальными и охраняются законом, например, в Российской Федерации это Федеральный закон от 27 июля 2006 г. № 152-ФЗ “О персональных данных”, который направлен на усиление контроля за обработкой и распространением личной информации граждан [5]. Если методы ИИ используются внутри закрытой сети, вопросы безопасности можно решить стандартными методами, но создание и поддержка высокопроизводительной закрытой сети требует больших вычислительных ресурсов и финансирования. Поэтому зачастую эффективнее обратиться к поставщику услуг облачных вычислений, что и делает большинство компаний. При аренде вычислительных мощностей сеть становится общедоступной, что создает риск компрометации конфиденциальных данных. Хотя поставщики облачных услуг гарантируют безопасность данных, хранящихся в облаке, гарантировать безопасность вычислений на данный момент практически невозможно, поскольку можно хранить данные в зашифрованном виде, но не обрабатывать.

Таким образом, возникает проблема обработки конфиденциальных данных ИИ в публичных сетях. В качестве решения проблемы можно рассмотреть такой криптографический примитив, как полностью гомоморфное шифрование (ПГШ) [6], он позволяет выполнять гомоморфные операции сложения и умножения над зашифрованными данными. Этого достаточно, например, для работы нейронных сетей (НС) [7], когда нам нужно обрабатывать входные данные с помощью уже обученных нейронов. В этой области также существуют нерешенные проблемы, например, с аппроксимацией некоторых функций активации. Кроме того, хотя для матриц операции можно реализовать на основе сложения и умножения (вычитание реализуется как сложение положительных и отрицательных чисел), из-за особенностей схем ПГШ возникает большая избыточность данных, что приводит к неэффективной работе конфиденциальных НС. Цель данной работы – исследовать матричное умножение в контексте гомоморфного шифрования для повышения эффективности использования памяти, разработать новый алгоритм и протестировать его эффективность для конфиденциальных НС.

Работа организована следующим образом: в разделе 2 рассматриваются конфиденциальные НС и методы их организации, в разделе 3 представлено исследование конфиденциального умножения матриц, в разделе 4 анализируются полученные результаты на основе экспериментального исследования, в разделе 5 подводятся итоги проделанной работы и описываются будущие работы.

2. НЕЙРОННЫЕ СЕТИ, СОХРАНЯЮЩИЕ КОНФИДЕНЦИАЛЬНОСТЬ

2.1. Искусственная нейронная сеть

Математическая модель искусственных нейронных сетей представляет собой линейную композицию взаимосвязанных нейронов с нелинейными функциями активации (рис. 1).

 

Рис. 1. Модель искусственной нейронной сети.

 

Входной слой обрабатывает входные данные, скрытый слой выполняет вычисления, а выходной слой отвечает за выходную информацию. Искусственная НС, как и биологическая НС, работает посредством активации нейронов, т. е., когда значение внутри нейрона достигает функции активации, следующему нейрону передаются ее значение. Каждый нейрон имеет свое базовое значение (вес). Тогда состояние нейрона S можно описать как

$S=\underset{i=0}{\overset{n}{}}{x}_i{w}_i,$

где x_i – значение i-го входа нейрона; w_i – вес i-го входа; n – количество входов нейрона. Передача значений следующему нейрону осуществляется посредством функции активации:

Y = f (S ),

где f (S ) – функция активации. Например, сигмоидальная функция активации [8], определяется как

$f\left(S\right)=\frac{1}{1+e^{-aS}} .$ (1)

С математической точки зрения, НС – это многопараметрическая задача нелинейной оптимизации, где веса нейронов скрытого слоя представляют собой параметры, а нейроны выходного слоя – ограничения. Чтобы нейронная сеть работала правильно, ее нужно обучить. Обучение происходит путем изменения внутренних значений весов нейронов. Существует несколько способов обучения, как с учителем, так и без него. Самый популярный способ обучения с учителем – минимизация ошибок. На основе этого типа обучения строятся сети с обратным распространением, которые используются для поиска закономерностей, прогнозирования и качественного анализа. Анализируя рис. 1, можно заметить, что если ввести операцию умножения матриц, то можно повысить эффективность обработки данных, как это и делается в большинстве случаев. Чтобы строить НС, сохраняющие конфиденциальность, необходимо ввести понятие криптографического примитива ПГШ.

2.2. Полностью гомоморфное шифрование и схема CKKS

Полностью гомоморфное шифрование (ПГШ) – криптографический примитив, развивающий идеи гомоморфного шифрования (ГШ). ГШ позволяет выполнять гомоморфное сложение или гомоморфное умножение над зашифрованным текстом. Примерами ГШ являются асимметричные шифры, такие как RSA [9], ElGamal [10] и др. Криптографы еще в 1980-х гг. предполагали, что полностью гомоморфное шифрование, когда шифр позволяет выполнять и гомоморфное сложение, и гомоморфное умножение, возможно. Первая схема ПГШ была представлена Джентри в его работе 2009 г. [6]. Однако эта схема не была эффективной и обрабатывала двоичные биты с помощью логических операций довольно долго (по сравнению с современными схемами), кроме того, схема имела большие ограничения на количество допустимых операций (количество операций, после которых сообщение может быть восстановлено). За следующие 15 лет сам Джентри [11–13] и его последователи [14–17] разработали новые схемы ПГШ, которые работают с целыми числами, выполняются быстрее и ослабляют ограничения на вид и количество операций.

Следующим шагом в истории ПГШ стала схема CKKS (первоначально HEaaN), которая позволяет обрабатывать рациональные числа [18]. CKKS – это система гомоморфного шифрования, предназначенная для эффективного выполнения приближенных арифметических операций над зашифрованными данными. Она идеально подходит для вычислений с вещественными или комплексными числами над полем C ^N/2. Пространство открытых текстов и пространство шифротекстов имеют одну и ту же область

$Z_Q\left[X\right]/\left(X^N+1\right),$

где N – чаще всего степень двойки.

Пакетное кодирование $C^{\frac{N}{2}}\leftrightarrow Z_Q\left[X\right]/\left(X^N+1\right)$ отображает массив комплексных чисел в многочлен со свойством: $decode\left(encode\left(m_1\right)\otimes encode\left(m_2\right)\right)\approx m_1\odot m_2$$decode\left(encode\left(m_1\right)\otimes encode\left(m_2\right)\right)\approx m_1\odot m_2$, где $\otimes$ – покомпонентное умножение, а $\odot$ – негациклическая свертка.

Схема CKKS работает по стандарту [19], который содержит рекомендуемые параметры для 128-битных ключей ГШ троичной формы $s{\in }_u{\left\{-\mathrm{1,}\mathrm{0,}1\right\}}^N$. Шифрование в CKKS осуществляется путем вычисления полиномов Лагранжа в поле комплексных чисел.

Схема использует приближенную арифметику для построения шифротекстов. Рассмотрим заданную арифметику. В начале мы фиксируем основание p > 0 и модуль q₀, причем q = p q₀ при 0 < l ≤ L. Целое число p будет использоваться в качестве основы для масштабирования в приблизительных расчетах. В качестве параметра безопасности λ выбирается такой параметр, что $M=M\left(\lambda ,q_L\right)$ для полиномиального кольца. При границах < l ≤ L уровня шифротекста l определяется вектор в ℛ^𝓀_𝓆ℓ для фиксированного целого числа k.

1. Генерация ключей: процесс шифрования начинается с генерации ключей: открытого ключа pk и закрытого ключа sk. Закрытый ключ используется для дешифровки данных, а открытый – для их шифрования.
2. Шифрование: чтобы зашифровать вектор открытого текста x, выполняются следующие действия:

• Дополнение: вектор m(x) дополнен нулями, длина вектора равна заданной степени двойки N;
• Кодирование: вектор открытого текста x кодируется в полином открытого текста m(x), который является полиномиальным представлением сообщения;
• Гомоморфное шифрование: полином m(x) шифруется с помощью pk для получения полинома c(x) шифротекста, при этом контролируется уровень шума шифротекста – количество специально вносимых ошибок e, удовлетворяющее $|e{|}_{\infty }^{can}\le e_{Max}$, для выражения $c,sk=m+e_{Max}\left(mod q_L\right)$.

3. Десшифрование: для дешифровки полинома c(x) шифротекста выполняются следующие действия:

• Гомоморфное дешифрование: полином c(x) дешифруется с помощью секретного ключа для получения полинома $m\left(x\right)\leftarrow c,sk\left(mod q_l\right)$ в пространстве открытых текстов;
• Декодирование: для получения исходного текстового вектора x текстовый полином m(x) снова преобразуется из полинома в полином сообщений.

4. Гомоморфные операции: CKKS поддерживает несколько приближенных арифметических операций над зашифрованными данными, включая сложение и умножение. Гомоморфное сложение и умножение можно выполнять в пространстве шифротекстов без необходимости их дешифровки:

• Гомоморфное сложение: при получении двух шифротекстов c₁(x) и c₂(x), представляющих зашифрованные значения m₁(x) и m₂(x) соответственно, выполняется гомоморфное сложение путем сложения соответствующих коэффициентов по модулю: c(x) = c₁(x) + c₂(x), при этом ошибки e₁ и e₂ также суммируются;
• Гомоморфное умножение: при наличии двух шифротекстов c₁(x) и c₂(x), представляющих зашифрованные значения m₁(x) и m₂(x) соответственно, гомоморфное умножение выполняется путем преобразования зашифрованных полиномиальных текстов для последующего покомпонентного умножения по модулю исходного модульного текста и обратного преобразования: c(x) = c₁(x) + c₂(x), для умножения выделяются собственные границы ошибок e_mult ∈ ℛ с ${\left|e_{mult}\right|}^{ca{n}_{\infty }} e_{multMax}\left(l\right)$, где e_multMax(l ) заданная константа.

Как сложение, так и умножение приводят к увеличению ошибки аппроксимации e, схема CKKS позволяет дешифровать данные, если ошибка находится в определенных пределах. При использовании схемы CKKS важно контролировать рост ошибки, который зависит от количества операций и их порядка. Учитывая особенности арифметики, умножение вносит большую погрешность. Различные программные реализации схемы CKKS предлагают разные способы контроля уровня ошибки.

2.3. Нейронные сети, сохраняющие конфиденциальность

Интерес к нейронным сетям, сохраняющим конфиденциальность (НССК), возник несколько лет назад. В своем обзоре [20] авторы исследуют эту концепцию с теоретической точки зрения, рассматривая основные задачи и проблемы, с которыми сталкиваются исследователи при построении НССК на основе ПГШ. В основе НССК лежит концепция Machine Learning as a Service (MLaaS) [21], которая схожа с концепциями облачных вычислений [22–24]. В статье даны определения операций ПГШ, включая проблемные операции. Помимо умножения матриц, также упоминается бутстраппинг [25], который используется для увеличения количества допустимых операций умножения. Также описаны инструменты для работы с ПГШ [26–28], включая используемые в НССК [29]. Проблема ускорения НССК, работающих в ПГШ, упоминается в статье отдельно. Эта тема также популярна среди исследователей, например, в [30] изучается ускорение операции умножения матриц путем модификации метода Хавели [31]. Однако операции умножения, основанные на этом методе, по-прежнему достаточно ресурсоемки. В следующем разделе подробно рассмотрена операция умножения матриц и способы повышения скорости обработки данных.

3. ОПЕРАЦИЯ УМНОЖЕНИЯ МАТРИЦ В ПРИБЛИЖЕННОЙ СХЕМЕ ГОМОМОРФНОГО ШИФРОВАНИЯ

Умножение матриц – базовая операция для многих систем, в том числе и для НС. Рассмотрим ее алгоритм, основанный на умножении квадратных матриц a и b размера n × n:

$c_{i,j}=\underset{k=1}{\overset{n}{}}{a}_{i,k}\cdot b_{k,j},$

где $i,j,k\in \overline{\mathrm{1,}n}$, c – результат умножения. В открытом виде этот алгоритм довольно прост. Однако в ПГШ его выполнение невозможно, так как мы не можем отдельно обратиться к элементу каждого внутреннего вектора. Рассмотрим подробно метод Хавели [31]. Для выполнения матричного умножения в ПГШ матрицы должны быть закодированы в диагональном представлении. Затем для выполнения умножения необходимо выполнить несколько операций вращения со вспомогательными матрицами. Рассмотрим пример.

Пусть матрица A размера m × m представлена в зашифрованном виде y₀, ... , y_m–1, где y_i = (A_0,i, A_1,i+1, ... , A_{m–1, m+1}). Сначала, $y_i\left[j\right]= A_{j,j+1}$. Далее, кусочное произведение между вектором весов и матрицей w = vA, где $v=\left\{v_0, v_1, \dots , v_{n-1}\right\}$ – входной вектор, может быть вычислено как:

$\begin{array}{c}{v}_0=\left\{x_0, x_1, \dots , x_{n-1}\right\}\odot \left\{y_0, y_1, \dots , y_{n-1}\right\}=\\ =\left\{ x_0{y}_0, x_1{y}_1, \dots , x_{n-1}{y}_{n-1}\right\},\end{array}$

$\begin{array}{c}{v}_1=\left\{x_{n-1}, x_0, \dots , x_{n-2}\right\}\odot \left\{y_{n-1}, y_0, \dots , y_{n-2}\right\}=\\ =\left\{ x_{n-1}{y}_{n-1}, x_0{y}_0, \dots , x_{n-2}{y}_{n-2}\right\},\end{array}$

...,

$\begin{array}{c}{v}_{n-1}=\left\{x_1, x_2, \dots , x_{n-1}, x_0\right\}\odot \left\{y_1, y_2, \dots , y_{n-1}, y_0\right\}=\\ =\left\{ x_1{y}_1, x_2{y}_2, \dots , x_{n-1}{y}_{n-1}, x_0{y}_0\right\},\end{array}$

где $\odot$ – покомпонентное произведение векторов.

Однако есть и другой способ, который подходит для НССК. Возникает вопрос, настолько ли необходим подобный уровень конфиденциальности.

Учитывая тот факт, что в настоящее время невозможно обучить НС в ПГШ за приемлемое время, НС обучается в открытом виде. Справедливо заметить, что значения весов являются открытыми и могут быть общедоступными и существует возможность их компрометации. Тогда нет смысла их шифровать, и мы можем применять их в открытом виде. Тогда можно использовать модифицированный алгоритм, основанный на предыдущем, где входная матрица кодируется в диагональном представлении, а веса представляются в виде вектора. Такое умножение рассматривается как умножение матрицы на скаляр, которое реализуется посредством операций умножения и вращения. Рассмотрим пример.

Пусть матрица A размера n × n представлена в зашифрованном виде a₀, ... , a_m–1, где a_i = (A_0,i, A_1,i+1, ... , A_{n–1, n+1}). Сначала, $a_i\left[j\right]= A_{j,j+1}$. Следующее произведение w = vA, где $v=\left\{v_0, v_1, \dots , v_{n-1}\right\}$ – входной вектор, может быть вычислено как

$v_0=x_0\left\{a_0, a_1, \dots , a_{n-1}\right\},$

$v_1=x_1\left\{a_{n-1}, a_0, \dots , a_{n-2}\right\},$

...,

$v_{n-1}=x_{n-1}\left\{a_1, a_2, \dots , a_{n-1},a_0\right\}.$

Этот метод требует m операций вращения, умножения и сложения. Кроме того, вспомогательные матрицы w и v в зашифрованном виде занимают много памяти, как и промежуточные зашифрованные матрицы до получения результата. Из формул видно, что, используя открытые значения, мы не только сокращаем количество операций, но и расход памяти. Для подтверждения выводов было проведено экспериментальное исследование (рис. 2).

 

Рис. 2. Исследование потребления памяти предлагаемым методом.

 

Из данных, представленных на рис. 2a, можно сделать вывод, что предложенный алгоритм позволяет сократить объем памяти в среднем в 7.89 раза. Линия тренда для данных, представленных на рис. 2b, равна 0.0656n² – 0.4452n + 2.0912 с коэффициентом детерминации R² = 0.9925. Таким образом, можно сделать вывод, что пространственная сложность уменьшилась с O(n⁴) до O(n²) для произведения матриц размера n × n. Учитывая, что для произведения квадратных матриц размера n × n необходимо вычислить n² скалярных умножений и 2n² циклических сдвигов векторов, пространственная сложность алгоритма скалярного умножения с зашифрованными данными снижается с O(n²) до O(n).

Как видно на рис. 2b, потребление памяти сократилось с квадратичного закона до линейного. Это дает преимущество в эффективности при работе с НССК. Однако, учитывая специфику схемы CKKS, необходимо проверить, не повлияли ли внесенные изменения на точность результата. Для этого необходимо построить нейронную сеть и провести исследование. Далее рассмотрим скорость, с которой выполняются вычисления. Стоит отметить, что на рис. 3a показана общая скорость выполнения операций, включая шифрование и дешифрование.

Анализируя рис. 3a, можно сказать, что предложенный метод выполняет умножение быстрее. Этот эффект достигается как за счет нового подхода к умножению, так и за счет того, что шифрование и дешифрование упрощаются, поскольку умножение выполняется на открытом векторе весов НССК. Кроме того, мы предлагаем проанализировать соотношение скоростей методов (рис. 3b).

 

Рис. 3. Исследование времени вычисления операции умножения матриц.

 

Линии тренда зависимости времени от n для алгоритма Хавели 0.0634n⁴ – 1.8561n³ + 20.897n²– – 88.794n + 118.56, для предложенного алгоритма 0.0461n⁴ – 1.3405n³ + 14.955n²– 63.491n + 84.81 с коэффициентом детерминации для обеих линий равным R² = 0.9995 (рис. 3a). Асимптотически выигрыш во времени при увеличении n равен

$\begin{array}{c}\underset{n\to \infty }{\lim }\frac{0.0634n^4-1.8561n^3+20.897n^2-88.794n+118.56}{0.0461n^4-1.3405n^3+14.955n^2-63.491n+84.81}\approx \\ \approx \mathrm{1.38.}\end{array}$

Время работы алгоритма для произведения квадратных матриц n × n уменьшилось в среднем в 1.49 раза (рис. 3b). С увеличением размера график становится более линейным, что можно объяснить увеличением избыточности, которая зависит от длины вектора, в то время как при малых размерах она зависит как от конструкции вектора, так и от вспомогательных матриц, необходимых для вращения.

В целом можно сказать, что предложенный метод эффективен как с точки зрения потребления памяти, так и скорости вычислений. Стоит отметить, что этот результат достигается за счет снижения конфиденциальности, а именно конфиденциальности весов НССК, при условии, что веса являются общеизвестными при обучении НССК в открытом виде.

4. ИССЛЕДОВАНИЕ ТОЧНОСТИ

В рамках исследования были проведены эксперименты по обучению и тестированию нейронной сети, а также ее зашифрованной версии на наборе данных MNIST. Целью эксперимента было оценить производительность модели в обычном и зашифрованном режимах, а также изучить влияние гомоморфного шифрования на производительность и точность модели. Аппаратная конфигурация состоит из процессора Intel(R) Xeon(R) CPU E5–2696 v3 с тактовой частотой 2.30 ГГц, 32 ГБ оперативной памяти DDR4 с частотой 2133 МГц и твердотельного накопителя объемом 1 ТБ. Среднее время измерялось путем запуска алгоритмов на платформе 10 000 раз. В ходе эксперимента собирались данные о потерях при обучении и тестировании, а также о точности классификации для каждого класса. Для этого была построена НС на основе следующей математической модели.

Рассмотрим сверточную нейронную сеть (СНС) со следующими слоями и параметрами:

• Входное изображение: I, одноканальное изображение.
• Первый сверточный слой (C₁): применяет 4 фильтра с размером ядра 7 × 7 с шагом 3 и размером 0.
• Первый слой – полносвязный (F₁): преобразует упрощенные карты признаков с использованием H-нейронов.
• Второй полносвязный слой (F₂): сопоставляет скрытый слой с выходным слоем с O-нейронами.

Математические операции, выполняемые СНС, выглядят следующим образом:

1. Работа первого сверточного слоя может быть определена как

$C_1\left(I\right)=Conv2d\left(I, K_1,S_1,P_1\right)$,

где K_i = 7 × 7 – размер ядра, с шагом S₁ = 3 и размером P₁ = 0.

2. Выходной сигнал C₁ проходит через функцию активации и, возможно, другие операции, такие как объединение или нормализация, после чего сглаживается и поступает в первый слой с полным подключением.
3. Работа первого полносвязанного слоя может быть определена как

$F_1\left(X\right) = X{W}_{F_1}+b_{F_1},$

где X – входной вектор для F₁; W_F1 и b_F1 представляют собой веса и смещения F₁ соответственно.

4. Работа второго полносвязанного слоя аналогично определяется как

$F_2\left(Y\right)= Y{W}_{F_2}+b_{F_2},$

где Y – входной вектор F₂, полученный из выхода F₁; W_F2 и b_F2 – веса и смещения F₂ соответственно. Эта модель описывает структуру СНС, подчеркивая последовательность от обработки на сверточном слое до генерации конечного вывода через полносвязанные слои.

СНС была выбрана в качестве модели потому, что ПГШ обладает свойствами как гомоморфизма, так и автоморфизма, благодаря которым вращение зашифрованных матриц для реализации матричного умножения реализовать достаточного просто. Кроме того, эти свойства позволяют достаточно эффективно выполнять математическую операцию свертки [32]. Далее рассмотрим результаты работы полученной модели. А именно, данные о потерях (рис. 4).

 

Рис. 4. Исследование функции потерь для PPNN.

 

На рис. 4 показана динамика потерь нейронной сети в процессе обучения для 10 эпох. По оси абсцисс откладывается номер теста, равный количеству эпох (от 1 до 10), а по оси ординат – количество потерь. На графике видно уменьшение потерь с каждой последующей эпохой, что свидетельствует об адекватном поведении модели при использовании нового алгоритма обучения.

На рис. 5 показана точность классификации модели на тестовых данных для каждого из 10 классов. По оси абсцисс представлены классы (от 0 до 9), а по оси ординат – процент точности для каждого класса. График помогает наглядно представить, как модель справляется с классификацией различных категорий, выявляя классы, в которых модель работает лучше или хуже.

 

Рис. 5. Исследование точности PPNN для различных классов.

 

Результаты экспериментов показывают, что нейронная сеть демонстрирует высокую точность как в обычном, так и в зашифрованном режимах, причем в зашифрованном режиме общая точность несколько повышается. Это говорит о том, что применение гомоморфного шифрования не оказывает существенного негативного влияния на способность модели к классификации. Кроме того, тот факт, что в некоторых классах зашифрованная СНС показывает более точные результаты, требует дополнительных исследований.

5. ЗАКЛЮЧЕНИЕ

Результатом исследования по адаптации НССК для работы с ПГШ стали результаты, которые подчеркивают потенциал и ограничения данного подхода. Исследование показывает, что, изменив метод умножения зашифрованных матриц, можно успешно использовать НССК при сохранении эффективности обработки данных и потребления памяти.

Анализ результатов тестирования НССК показал, что модель демонстрирует улучшение производительности с каждой эпохой, что видно по снижению потерь при тестировании. Это говорит о том, что НССК адекватно адаптируется к зашифрованным данным и эффективно их обрабатывает. Результаты тестирования модели показали высокую точность классификации как для каждого из классов, так и в целом, что подтверждает эффективность модели в задачах классификации. Интересно отметить, что зашифрованная версия модели показала сопоставимую, а в некоторых случаях даже более высокую точность, что говорит о том, что применение ПГШ не оказывает существенного негативного влияния на способность модели к классификации. Тем не менее следует отметить, что использование приближенной ПГШ требует дальнейших исследований для оптимизации баланса между безопасностью, конфиденциальностью и производительностью модели. Важно изучить влияние различных типов аппроксимации функции активации на точность и общую производительность модели, а также разработать методы улучшения производительности НССК.

В статье предложен алгоритм скалярного умножения, позволяющий уменьшить пространственную сложность с O(n²) до O(n) и сократить время вычисления скалярного умножения в 1.38 раза.

Результаты данного исследования открывают новые перспективы для разработки безопасных НС, особенно в тех областях, где требуется обработка конфиденциальных данных, а также подчеркивают важность продолжения исследований в этой области для достижения оптимального сочетания безопасности, конфиденциальности и эффективности в НССК. В будущем планируется исследовать и разработать методы выполнения других операции в НССК для повышения эффективности вычислений, потребления памяти, точности и конфиденциальности.

6. ИСТОЧНИК ФИНАНСИРОВАНИЯ

Исследование выполнено за счет гранта Российского научного фонда № 19-71-10033, https://rscf.ru/project/19-71-10033/.

About the authors

M. A. Lapina

North Caucasian Center for Mathematical Research, North Caucasus Federal University

Author for correspondence.
Email: mlapina@ncfu.ru
Russian Federation, 1, Pushkina st., Stavropol, 355017

E. M. Shiriaev

North Caucasian Center for Mathematical Research, North Caucasus Federal University

Email: eshiriaev@ncfu.ru
Russian Federation, 1, Pushkina st., Stavropol, 355017

M. G. Babenko

North Caucasian Center for Mathematical Research, North Caucasus Federal University

Email: mgbabenko@ncfu.ru
Russian Federation, 1, Pushkina st., Stavropol, 355017

I. Istamov

Samarkand State University named after Sharof Rashidov

Email: istamovismoilzoda@gmail.com
Uzbekistan, 15, University blv. Samarkand, 140104

References

Supplementary files