Управление системой контроля поверхностных дефектов изделий микроэлектроники

Полный текст

Введение

Выходной контроль качества выпускаемой продукции остается актуальным и важным процессом для любого производственного предприятия. Данный вид контроля позволяет убедиться, что продукция соответствует установленным стандартам качества и безопасности перед тем, как она поступит к потребителю [1]. В настоящее время широкое распространение для автоматизации выходного контроля качества выпускаемой продукции получили системы технического зрения, состоящие из производственной камеры высокого разрешения и увеличения и программного обеспечения для последующей обработки изображений (рис. 1). Кроме того, указанные системы позволяют не только определять дефекты выпускаемой продукции, но и сохранять данные о них и состоянии производственной среды в базу знаний с целью последующего анализа и выявления причин возникновения дефектов [2, 3].

Однако точность определения дефектов при таком подходе в значительной степени зависит от качества получаемого изображения исследуемого изделия. Основным показателем качества изображения является четкость – степень полноты воспроизведения мелких деталей и резкость контуров исследуемого объекта.

 

Рис. 1. Схема технической системы выходного контроля качества

 

Четкость зависит не только от параметров камеры, но и от внешних параметров окружающей среды: освещенности, расстояния от камеры до изделия, движения конвейерной ленты, расположения элемента на ленте, степени отражаемости поверхности исследуемого изделия. Следовательно, задача получения изображения высокого качества для его последующей обработки методами компьютерного зрения является своевременной и актуальной.

Особенности технической системы выходного контроля поверхностных дефектов

Для решения данной задачи предлагается управлять положением камеры, состоянием окружающей среды с использованием методов искусственного интеллекта [4]. В контуре управления системой выходного контроля качества расположена нейронная сеть, которая на основе входных параметров (скорости движения ленты, уровня освещенности и расстояния от камеры до изделия) позволяет подбирать управляющее воздействие, изменяющее положение камеры быстро и с высокой точностью. Для согласованности действий всех компонентов рассмотренной системы необходимо учитывать параметры движения конвейерной линии с расположенными на ней изделиями.

Пусть камера, сканирующая расположенные под ней проверяемые изделия, расположена в точке над конвейерной лентой, движущейся с постоянной скоростью v (рис. 2). Для удобства расчетов определим проекцию точки расположения камеры на ось x в точку А c координатой x = 0.

Сканирование изделия возможно после его полного попадания в поле захвата камеры, длина которого равна l , через время t = l/v. При этом учитываем, что захват изделия осуществляется камерой сразу с приемлемой для распознавания четкостью изображения. Четкость получаемого изображения кроме характеристик самой камеры зависит от уровня освещенности сканируемого участка и скорости его движения.

 

Рис. 2. Схема работы системы контроля поверхностных дефектов

 

Известно, что четкость изображения оценивается количеством различимых линий тестового изображения. При этом использование форматов высокой четкости, например, HD, 4K, приводит к повышению разрешения изображения и применению эффективных методов сжатия для обеспечения высокой скорости передачи данных. Для оценки четкости изображения на основе стандарта ISO 12233:2017 применяется пространственная частотная характеристика, определяемая как функция спада контраста мелких деталей от пространственной частоты. Как правило, для цифровых камер значение пространственной частоты соответствует потенциальному разрешению в пикселях. Однако на практике, по рекомендации того же стандарта, используется реальное разрешение цифровой камеры, определяемое как отношение измеренной частоты к значению 0,5. Например, если пространственная частота равна 0,4, то четкость изображения равна 0,4/0,5 = 0,8. Очевидно, что чем ближе значение четкости к 1, тем выше качество изображения. Кроме того, разрешение камеры и спад пространственной частотной характеристики определяется параметрами самой камеры и состоянием окружающей среды [5].

Учитывая вышеизложенное, четкость изображения проверяемого изделия на расстоянии x от точки А в точке С в момент времени t равна q(x, t). По истечении малого промежутка времени Δt точка изображения с данной четкостью сместится на расстояние x + Δx в точку D, но при этом четкость изображения в ней сохранится. Следовательно,

$q_C\left(x,t\right)=q\left(x,t\right)=q_D\left(x+\Delta x,t+\Delta t\right)$.                                                                                            (1)

В тот же момент времени четкость изображения в новой точке изделия, пришедшей в точку С, равна $q_C\left(x,t+\mathrm{\Delta }t\right)$. При этом

$\frac{\partial q}{\partial x}=\underset{\Delta x\to \infty }{\lim }\frac{q_D\left(x+\mathrm{\Delta }x,t+\mathrm{\Delta }t\right)-q_C\left(x,t+\mathrm{\Delta }t\right)}{\Delta x}=\underset{\Delta x\to \infty }{\lim }\frac{q_C\left(x,t\right)-q_C\left(x,t+\mathrm{\Delta }t\right)}{\Delta x}$.                           (2)

Известно, что при постоянной скорости конвейерной ленты $\mathrm{\Delta }x = v\mathrm{\Delta }t$, тогда

$\frac{\partial q}{\partial x}=\frac{1}{v}\underset{\mathrm{\Delta }t\to 0}{\lim }\frac{q\left(x,t\right)-q\left(x,t+\mathrm{\Delta }t\right)}{\mathrm{\Delta }t}=-\frac{1}{v}\frac{\partial q}{\partial t}$.                                                                        (3)

Изображение Лапласа при  для уравнения (3) имеет вид

$\frac{\partial Q\left(x,s\right)}{\partial x}+\frac{s}{v}Q\left(x,s\right)=0$.                                                                                                        (4)

Решая данное уравнение, в котором x – независимая переменная, получим

$Q\left(x,s\right)=C\left(t\right){\text{\hspace{0.17em}e}}^{-\frac{sx}{v}}$,                                                                                                                (5)

где не зависящая от х величина C(t) определяется краевыми условиями. Если входной величиной является сама функция q(0,t) а выходной ‑ , q(l,t) то получаем краевые условия первого рода, при которых

$Q_{\text{вх}}=Q\left(\mathrm{0,}s\right)-C\left(t\right);$ $Q_{\text{вых}}=Q\left(l,s\right)=C\left(t\right){\text{\hspace{0.17em}e}}^{-\frac{sl}{v}}=Q\left(\mathrm{0,}s\right){\text{\hspace{0.17em}e}}^{-s\tau }$,                                               (6)

где τ = l/v.

Передаточная функция имеет вид

$W\left(l,s\right)=\frac{Q_{\text{вых}}}{Q_{\text{вх}}}={\text{e}}^{-s\tau }$.                                                                                             (7)

Переходная функция $h\left(t\right)=1\left(1-\tau \right)$. Характеристическое уравнение $D\left(s\right)={\text{e}}^{s\tau }={\text{e}}^{\alpha \tau }{\text{e}}^{j\omega \tau }=0$ имеет бесконечное множество корней с бесконечно большой отрицательной вещественной частью. Частотная характеристика $W\left(t,j\omega \right)={\text{e}}^{-j\omega \tau }=\cos \omega \tau -j\sin \omega \tau$ имеет равный единице модуль и изображается кругом единичного радиуса с центром в начале координат. При бесконечном возрастании w этот круг бесчисленное количество раз отображается по часовой стрелке. Относительные амплитуды выходной величины при всех частотах равны единице.

Уточним математическую модель рассматриваемой системы выходного контроля качества выпускаемой продукции, приближенно учитывая инерционность перемещения изделия на конвейерной ленте. Пусть входной  и выходной  сигналы связаны с четкостью получаемого изображения q и (l,t) уравнениями:

$\left(T_{1}p+1\right)q=k_1{u}_{\text{вх}}; \left(T_{2}p+1\right)u_{\text{вых}}=k_{2}q\left(l,t\right)$,                                                       (7)

тогда

$Q\left(\mathrm{0,}s\right)=\frac{k_1{U}_{\text{вх}}\left(s\right)}{T_{1}s+1}; Q\left(l,s\right)=\frac{U_{\text{вых}}\left(s\right)\left(T_{2}s+1\right)}{k_2};$                                                        (8)

$W=\frac{U_{\text{вх}}\left(s\right)}{U_{\text{вых}}\left(s\right)}=\frac{k_1{k}_2}{\left(T_{1}s+1\right)\left(T_{2}s+1\right)}\frac{Q\left(l,s\right)}{Q\left(\mathrm{0,}s\right)}=W_0{W}_{\tau }$,                                                (9)

где $W_0=\frac{k_1{k}_2}{\left(T_{1}s+1\right)\left(T_{2}s+1\right)}$ – передаточная функция линейной части рассматриваемой системы; $W_{\tau }={\text{e}}^{-s\tau }$ – передаточная функция конвейерной составляющей рассматриваемой системы контроля качества выпускаемой продукции.

Таким образом, основной целью управления технической системой выходного контроля качества выпускаемой продукции является выполнение неравенства

$\left|q-q\left(l,\tau \right)\right|\le \epsilon$,                                                                                                        (10)

где q – требуемая четкость изображения, получаемого камерой; q(l, τ) – четкость изображения, полученного камерой; ε – допустимая погрешность.

Разработка модели нейронной сети для управления технической системой выходного контроля качества

Как уже отмечалось выше, итоговая четкость изображения зависит от нескольких параметров, в том числе связей между ними. Учитывать совокупность нескольких связанных параметров эффективнее с использованием нейронной сети. Существующие модели нейронных сетей, основанные на анализе больших данных, позволяют с высокой точностью прогнозировать изменение состояния технической системы и подбирать требуемые параметры для его изменения [5, 6].

Известно, что данные, используемые для разработки модели нейронной сети, делятся на две части: для обучения модели и тестовые – для проверки работоспособности обученной модели. Обучающие данные должны иметь выборку, отражающую их характеристику. В противном случае модель будет плохо работать для тех случаев, которые не встречались в процессе обучения. Для решения данной проблемы предлагается использовать метод типологической выборки, при котором для обучения отбирается 100 комплектов данных, а для тестирования – все остальные, в данном случае ‑ 500. Основная идея типологической выборки заключается в том, чтобы разделить весь диапазон переменных на множество поддиапазонов и отобрать данные таким образом, чтобы масса вероятности в каждом поддиапазоне стала одинаковой между выборкой и совокупностью. Поскольку в данном исследовании задействовано небольшое количество переменных, выборка осуществлялась вручную.

Для оценки эффективности типологической выборки существуют два вида статистических критериев: параметрические и непараметрические [7, 8]. Исходя из того, что функция массы вероятности каждой переменной в данном исследовании не соответствует обычному распределению, использовался непараметрический критерий хи-квадрат. В основе критерия хи-квадрат лежит ошибка между предполагаемой и наблюдаемой плотностями вероятностей. В тесте каждый из диапазонов n наблюдаемых данных разбивается на m поддиапазонов. При этом подсчитывается количество частот n_i переменной в i-м поддиапазоне. Далее сравниваются наблюдаемые частоты n_i, i = 1, …, m и соответствующие им теоретические частоты , i = 1, …, m предполагаемого распределения. При стремлении общего числа точек выборки n к ∞ величина $\sum _{i=1}^m\frac{{\left(n_i-e_i\right)}^2}{e_i}$ приближается к распределению хи-квадрат с f = m – 1 – k, где k – число параметров в предполагаемом распределении. Для нетипичного распределения k равно нулю. Считается, что наблюдаемое распределение соответствует предполагаемому распределению с уровнем значимости σ, если

$\sum _{i=1}^m\frac{{\left(n_i-e_i\right)}^2}{e_i}<c_{1-\sigma ,f}$,                                                                                             (11)

где c_1-σ,f обозначает значение распределения хи-квадрат со степенью свободы f при кумулятивной массе 1 – σ.

Для оценки эффективности с использованием критерия хи-квадрат диапазон каждой переменной (освещенность, расстояние до сканируемого изделия, степень отражения поверхности изделия, скорость движения конвейерной ленты) разбивался на 8 поддиапазонов. В качестве примера приведено сравнение массовых функций вероятности обучающих данных и экспериментальных значений четкости полученного изображения, которое показывает, что они хорошо согласуются (рис. 3).

 

Рис. 3. Массовые функции вероятности четкости полученного изображения: 1 – обучающие данные; 2 – экспериментальные

 

Для реализации модели нейронной сети использован многослойный перцептрон, поскольку в модели имеется небольшое число параметров с нелинейной зависимостью. Модель направлена на получение оптимизированных весов сети с помощью алгоритма обучения, который призван минимизировать ошибки между выходной и целевой переменными благодаря изменению взаимосвязанных весов [9, 10]. В данном исследовании используется перцептрон с одним скрытым слоем (рис. 4), где i – число входных переменных.

 

Рис. 4. Топология нейронной сети для управления технической системой выходного контроля качества изделий

 

Методика обучения и применения разработанной нейронной сети заключается в следующем:

1. для каждой входной и выходной переменных данные нормализуются в рамках диапазона [–1; 1];
2. начальные веса в скрытом слое задаются в виде случайных значений, принадлежащих интервалу [–1; 1]; начальные смещения устанавливаются равными нулю;
3. матрица весов умножается на входные данные p, и добавляется смещение так, чтобы $n_k^h=\sum _{j=1}^J{\omega }_{kj}^h{p}_j+b_k^h$, k = 1, …, K, где J, K – число входных переменных и скрытых нейронов соответственно; р, b^h, w^h – входная переменная, смещение и вес в скрытом слое соответственно. Подстрочные индексы веса ω^h записываются следующим образом: первый подстрочный индекс обозначает нейрон, о котором идет речь, второй – входную переменную, к которой относится вес. Рассчитанное значение $n_k^h$ используется в функции активации f^h для вычисления $a_k^h$. В качестве функции активации используется сигмоидная функция с гиперболическим тангенсом;   
   $a_k^h=\frac{{\text{e}}^{n_k^h}-{\text{e}}^{-n_k^h}}{{\text{e}}^{n_k^h}+{\text{e}}^{-n_k^h}}$                                                                                                 (12)
4. в выходном слое используется та же процедура, что и в скрытом слое, за исключением того, что задействован только один нейрон $n_1^0=\sum _{j=1}^K{\omega }_{1j}^0{a}_j^h+b_1^0$ и линейная функция для вычисления $a_1^0=n_1^0$.

Нейронная сеть со случайно заданными начальными весами и смещениями не позволяет получить результат с требуемой точностью. Для этого в процессе обучения веса и смещения изменяются таким образом, чтобы минимизировать разницу между выходным и целевым значениями модели. Для обучения сети функция ошибки определяется как $\epsilon ={||\tau -a_1^0||}^2$, где τ – искомый вектор целевых значений.

Для минимизации функции ошибки используется алгоритм Левенберга–Марквардта, применяемый для решения нелинейных задач наименьших квадратов [11]. Как и другие численные алгоритмы минимизации, алгоритм Левенберга–Марквардта – итерационная процедура. Он предполагает наличие параметра затухания m и коэффициента q больше единицы. В данном исследовании использовались m = 0,001 и q = 10. Если квадратичная ошибка возрастает, то демпфирование увеличивается путем последовательного умножения на θ до тех пор, пока ошибка не уменьшится с новым параметром демпфирования µθ^k для некоторого k.

 

Рис. 5. Фрагмент изображения с дефектом типа «нависание» до (а) и после (б) управления положением камеры

 

Если ошибка уменьшается, то на следующем шаге параметр демпфирования делится на θ. Обучение прекращалось, когда цикл достигал 5000 итераций или параметр демпфирования становился слишком большим для дальнейшего обучения.

На рисунке 5 представлены фрагменты изображений поверхностного дефекта типа «нависание» до и после использования предлагаемого в статье способа управления технической системой контроля дефектов. Следовательно, разработанная и включенная в контур управления нейронная сеть позволяет формировать управляющее воздействие для изменения параметров окружающей среды и положения камеры в целях получения изображения высокой четкости, и, как следствие, повышения эффективности распознавания дефектов.

Алгоритм управления технической системой контроля поверхностных дефектов

Алгоритм управления технической системой контроля поверхностных дефектов условно делится на две части: управление состоянием окружающей среды (освещенностью, скоростью движения ленты); управление положением камеры (рис. 6).

 

Рис. 6. Блок-схема алгоритма управления технической системой контроля поверхностных дефектов

 

На начальном этапе происходит определение параметров окружающей среды и сравнение их с требуемыми значениями с учетом погрешности. В случае существенного отклонения параметров окружающей среды происходит их корректировка. На следующем этапе определяются технические параметры камеры, рассчитывается фокусное расстояние и измеряется высота положения камеры от сканируемого изделия. При необходимости проводится корректировка положения камеры для получения изображения высокой четкости. Далее дается оценка четкости полученного изображения. При недостаточном значении четкости осуществляется корректировка положения камеры с повторным сканированием изделия. Кроме того, важное значение в работе технической системы контроля поверхностных дефектов имеет калибровка. Периодическая калибровка системы необходима для поддержания высокого качества изображения и включает в себя проверку параметров камеры, освещения и других переменных. Приведенный алгоритм позволяет эффективно управлять технической системой контроля поверхностных дефектов и обеспечивает получение изображений высокой четкости для дальнейшего анализа и принятия решений.

Заключение

Рассмотрены подходы к управлению технической системой выходного контроля качества выпускаемой продукции с использованием методов искусственного интеллекта. Основной частью рассматриваемой системы является система технического зрения, позволяющая визуально определять дефекты на проверяемых изделиях. Качество проверки в значительно степени зависит от качества получаемого изображения, которое, в свою очередь зависит от ряда параметров. Предложенный способ управления технической системой может корректировать параметры, влияющие на качество изображения, путем включения в контур управления нейронной сети на основе перцептрона. Нейронная сеть с высокой точностью позволяет прогнозировать изменение значимых параметров и формировать управляющее значение для их корректировки, что, в свою очередь, дает возможность получить высокое качество изображения проверяемой продукции в режиме реального времени без ручной настройки исполнительного оборудования.

Об авторах

Юлия Сергеевна Шевнина

ФГАОУ ВО «Национальный исследовательский университет «Московский институт электронной техники»

Автор, ответственный за переписку.
Email: yusm@rambler.ru

кандидат технических наук, доцент кафедры корпоративных информационных технологий и систем

Россия, Москва

Список литературы

Дополнительные файлы