Diagnostic System for Rail Fastenings on High-Speed Railways Based on a Deep Neural Network

Full Text

Введение

Обеспечение безопасности перевозок – одна из важнейших задач Российских железных дорог. Для высокоскоростных магистралей существенную роль играет состояние элементов железнодорожных путей, в частности, рельсовых скреплений. Они предназначены для фиксации рельсов на шпалах и обеспечения электроизоляции на железнодорожных участках с электрической тягой и автоматической блокировкой [1]. Скрепления обеспечивают поддержание геометрических параметров пути: ширины колеи, уровня высоты, параллельности и вертикальности рельсов и шпал.

Автоматизация диагностики состояний рельсовых скреплений является новым направлением в оценке исправности железнодорожных элементов и конструкций. В настоящее время для мониторинга железнодорожных путей используются вагоны-путеизмерители, представляющие передвижные лаборатории с оборудованием для видеосъемки рельсов [2]. Однако контроль рельсовых скреплений в реальном времени операторами невозможен. Актуальной является задача создания средств для автоматического анализа рельсовых скреплений и обнаружения их дефектов.

В статьях [3, 4] дано описание интеллектуальных систем для анализа рельсовых стыков и контактной сети железной дороги. Предлагаемая интеллектуальная система диагностики рельсовых скреплений является прямым развитием результатов работы [5]. Формирование исходных данных осуществляется так же, как в работах [3, 5], с использованием изображений, полученных вагоном-путеизмерителем. Однако подход, использованный в работе [4] для оценки состояний элементов контактной сети, позволяет более точно определять положение рельсовых скреплений и их элементов, а также выявлять большее число дефектов. В настоящей статье указанный подход реализован для контроля высокоскоростного железнодорожного пути.

Методика оценки технического состояния рельсовых скреплений

Диагностика рельсовых скреплений проводится по видеокадрам, получаемым с видеокамер вагона-путеизмерителя. В нижней части вагона установлены четыре видеокамеры (по две камеры на каждый рельс) для съемки элементов железнодорожного пути. Видеопоток разбивается на кадры, при этом каждое изображение в кадре содержит 500 линеек пикселей, что обеспечивает соответствие одного пикселя одному миллиметру железнодорожного пути. Изображения помещаются в специальный файл, причем каждый кадр содержит как минимум одно скрепление.

Предлагаемая методика автоматической диагностики рельсовых скреплений заключается в следующем.

1. Подсистема препроцессинга по полученным кадрам определяет путевую координату скрепления с точностью до миллиметра и формирует файл изображений с контролируемыми скреплениями.
2. Выполняется обработка кадров с целью детекции положения рельсового скрепления на изображении и формируется датасет для обучения нейронной сети, содержащий обучающую, валидационную и тестовую выборки.
3. Проводится обучение глубокой предобученной нейронной сети на тренировочных изображениях рельсовых скреплений с размеченными типами дефектов.
4. Затем обученная нейронная сеть выявляет дефекты рельсовых скреплений при движении вагона-путеизмерителя по участку пути в реальном времени.

Основная задача при создании системы диагностики рельсовых скреплений заключается в обеспечении высокой скорости работы нейронной сети при прохождении вагона-путеизмерителя по участку железной дороги. В этом случае возможно получение результатов в реальном времени, что позволяет сразу принимать решения о мероприятиях по ремонту рельсового пути, вплоть до остановки движения поездов. Главным критерием при этом является обеспечение высокой надежности рельсового пути, особенно для высокоскоростных магистралей.

Типы рельсовых скреплений и их дефекты

В настоящее время наиболее распространенными типами скреплений на российских железных дорогах и в странах СНГ являются клеммно-болтовые (КБ), анкерные (АРС), железобетонные (ЖБР) и скрепления для деревянных шпал (ДО) [1]. Первые три вида применяются для крепления рельсов к железобетонным шпалам и отличаются способом фиксации. Так, крепление рельсов может осуществляться болтами (КБ, ЖБР), анкерами (АРС) или гвоздями (ДО). При длительном использовании в рельсовых скреплениях могут возникать различные дефекты, связанные с крепежными компонентами, подкладкой, клеммой и другими элементами. Дефекты могут выводить скрепление из строя полностью или частично, и, как результат – происходит авария. На рисунке 1 приведены примеры дефектов рельсовых скреплений.

 

Рис. 1. Дефекты рельсовых скреплений: а – скрепление КБ с отсутствующей клеммой; б – изображение полностью отсутствующего скрепления

 

При анализе состояния рельсовых скреплений по изображениям, полученным вагоном-путеизмерителем, выполняется оценка следующих параметров:

Изображения рельсовых скреплений получены при прохождении вагона-путеизмерителя на нескольких российских железных дорогах: Московской, Куйбышевской, Октябрьской, Горьковской, Свердловской, Юго-Восточной и Южно-Уральской. Съемка проводилась в теплое время года (с мая по сентябрь) при сухой и солнечной погоде. Длина участков дорог, по которым сформированы данные, составляла от 5 до 20 км. В процессе съемки вагон-путеизмеритель передвигался со скоростью 90…100 км/ч.

Нейронная сеть для анализа изображений с рельсовыми скреплениями

Для контроля состояния рельсовых скреплений использована предварительно обученная нейронная сеть SSD Mobilenet v3 Small COCO из зоопарка моделей Tensorflow-1 [6]. Модель SSD обучена на датасете COCO и показала высокую эффективность при мониторинге контактной сети железной дороги [4].

На первом этапе необходимо определить координаты скрепления на изображении в кадре. Нейросетевой детектор способен достаточно хорошо распознавать крупные объекты (площадью более 8000 пикселей) при большом количестве данных (порядка нескольких тысяч объектов на класс). Изображения, сформированные путеизмерителем, объединены в 19 классов. Каждый класс описывает элемент или один из возможных дефектов скрепления.

Для обеспечения высокого качества распознавания изображения, сформированные путеизмерителем, предварительно обрабатываются. При этом выполняется разметка кадров изображений программой Labelimg [4, 7], которая позволяет выделять в кадре наиболее важные прямоугольные объекты и определять координаты этих прямоугольников. На рисунке 2 приведены примеры разметки объектов с помощью Labelimg. Именно такие области модель SSD MobileNet отыскивает на передаваемых ей изображениях.

Названия меток, а также число входящих в них объектов приведены в табл. 1. Весь датасет содержит 14 966 изображений, на которых выделены 45 763 области, при этом 4 776 кадров содержат дефекты.

 

Рис. 2. Пример разметки скрепления КБ: а – исправное скрепление; б – скрепление с отсутствующей клеммой

 

Таблица 1

Описание классов рельсовых скреплений

Идентификатор класса	Классы	Число объектов
ars_mono	Монорегулятор (АРС)	1244
ars_no_mono	Отсутствующий монорегулятор (АРС)	855
bind_missing	Отсутствующее скрепление	143
bolt_unscrewed	Открученная гайка (КБ)	306
do	Скрепление типа ДО	1830
hole_do	Отсутствие костыля (ДО)	616
hole_square	Отсутствие крепежного болта (КБ)	805
jbr_bracket	Скоба скрепления ЖБР	1083
jbr_defect2	Отсутствие клеммы (ЖБР)	56
jbr_nut	Крепежный болт (ЖБР)	176
jbr_plate	Отсутствие крепежного болта (ЖБР)	88
kb	Скрепление типа КБ	10644
kb105	Клемма ОП-105 (КБ)	793
kb105_defect	Дефект крепежного болта клеммы ОП-105 (КБ)	526
kb_no_bracket	Отсутствие клеммы (КБ)	1240
kb_twist	Разворот подкладки скрепления (КБ)	773
nail_pulled	Наддернутый костыль (ДО)	156
nut	Крепежный болт (КБ)	21895
spring	Клемма скрепления (АРС, ЖБР)	2534

 

Используемый в предлагаемой работе подход совместного анализа выделенных на изображении объектов (элементов скрепления или дефектов) позволяет получить полную информацию о состоянии скрепления.

Настройка и обучение модели

Перед началом обучения осуществляется проверка корректности разметки и удаление лишних данных, сформированных программой Labelimg. Изображения датасета приведены к формату «рельс в кадре справа» поворотом кадров на 180°. На рисунке 3 показан пример применения представленной операции. Для видеокамер, осуществляющих съемку рельса слева, разворот не выполняется. Поэтому такая операция проводится только для кадров, полученных видеокамерами с правой стороны.

 

Рис. 3. Изображение рельсового скрепления: a– до разворота на 180o, б– после разворота

 

Приведение кадров к формату «рельс справа» обеспечивает более эффективное распознавание объектов скреплений. Полученные результаты детектирования интерпретируются относительно исходного положения изображения (рис. 3, a).

Для анализа корректности выделения прямоугольных областей и отнесения их к соответствующим классам построены графики зависимости параметров областей от размера выборки. Наиболее важными считаются следующие параметры размеченных рамок: площадь, отношение ширины к высоте, частота появления в одном кадре, ширина и высота. На рисунке 4 приведен пример таких графиков для класса kb_no _bracket. Графики демонстрируют зависимости перечисленных характеристик от номера объекта, а для частоты появления области – от номера картинки.

 

Рис. 4. Графики контролируемых параметров области для класса kb_no_bracket

 

Характер кривой зависимости параметра областей от размера выборки должен быть относительно плавным. Наличие отклонений параметра от среднего значения, как в меньшую, так и большую сторону, может свидетельствовать о неправильно размеченной области. Кадры с такими рамками при необходимости корректируются.

Набор исходных данных разбит на обучающую и тестовую выборки. Первая содержит 90 % изображений, вторая – 10 %. В работе использовано расширение датасета генерацией дополнительных кадров. Оно применяется только для обучающей выборки. Для кадров, содержащих дефекты рельсовых скреплений, получены дополнительные изображения вертикальным разворотом. При выполнении операции разворота пиксели кадра преобразуются по формуле: x' = x, y' = h – y, где x' и y', x и y – координаты пикселя в преобразованном и исходном изображениях соответственно; h – высота изображения.

Кроме вертикального разворота кадров использована операция их масштабирования ssd_random_crop [8]. Масштабирование выполняется средствами Tensorflow Object Detection API и применяется для генерации новых кадров в обучающей выборке.

 

Таблица 2

Скорость обучения нейронной сети

Номера шагов обучения	1 – 4999	5000 – 9999	10000 – 49999	50000 – 99999	100000 – 200000
Скорость обучения	0,001	0,0005	0,0002	0,0001	0,00005

 

Вначале выполняется масштабирование, при котором уменьшается размер картинки на величину, определяемую случайным образом. Результат преобразуется к размерам кадров датасета билинейной интерполяцией. Генерация нового изображения с использованием масштабирования не применяется к кадрам, полученным вертикальным разворотом.

Для обучения детектора SSD использованы средства фреймворка Tensorflow Object Detection API. Изображения обучающей выборки сжаты до размеров 300 ´ 300 пикселей и представлены в оттенках серого. Максимальное количество шагов обучения выбрано равным 200000. Изображения передаются детектору батчами, каждый из которых содержит 64 кадра. В процессе обучения модели использован оптимизатор Адам с переменной скоростью обучения (табл. 2).

При обучении архитектура нейронной сети SSD MobileNet v3 small COCO использована практически в неизменном виде: модифицированы только слои предсказания прямоугольных областей и классов. Изменения выполнены автоматически в соответствии с числом классов в наборе данных, указанным в файле конфигурации config.

Результаты обучения

Для отслеживания основных метрик качества работы модели на заданных этапах тренировки использована панель Tensorboard, на которой строились графики изменения критериев COCO detection metrics в зависимости от номера эпохи обучения. Наиболее важной характеристикой является среднее значение точности mAP (англ. mean Average Precision). Оно вычисляется как среднее из значений AP, рассчитанных для каждого класса. Кроме того, используется метрика IoU (англ. inter section overunion), которая количественно определяет перекрытие между прогнозируемым и истинным ограничивающими прямоугольниками на изображении. При этом величина IoU изменяется в интервале [0, 5; 0, 95] c шагом 0,05. Метрика AP вычисляется по выражению

$\text{AP}=\sum _{k=0}^{k=n-1}\left[\text{recall}\left(k\right)-\text{precision}\left(k+1\right)\right]\times \text{\hspace{0.17em}precision}\left(k\right),$

где n – число интервалов IoU; recall(k) – значение полноты для k IoU; precision(k), precision(k + 1) – значения точности для k и (k + 1) IoU соответственно.

Графики, полученные для средней точности mAP в зависимости от эпохи обучения, приведены на рис. 5. Для классического mAP на момент завершения обучения получено значение 0,72, а для метрики mAP при IoU = 0,5 – точность 0,96, которая близка к идеальным результатам.

 

Рис. 5. Зависимости mAP от номера эпохи: а – классическое mAR; б – mAP при IoU = 0,5

 

На рисунках 5 – 7 обозначение 1 соответствует графику точных значений рассматриваемой метрики, обозначение 2 – графику аппроксимированной кривой этой метрики. Аппроксимация получена методом экспоненциального скользящего среднего (англ. Exponential Moving Average) с параметром сглаживания smoothing = 0,99.

Метрика mAP не несет всю информацию о качестве распознавания нейронной сетью обучающих кадров. Дополнительно в работе проанализированы результаты, полученные для метрики полноты mAR (англ. mean Average Recall). Метрика mAR определяется как среднее значение AR для каждого класса. Величина IoU принимает те же значения, что и при нахождении AP. Величина AR вычисляется в этом случае по формуле

$\text{AR}=2\underset{\mathrm{0,5}}{\overset{1}{\int }}\text{recall}\left(x\right)dx$,

где x – переменная, задающая значение IoU; recall(x) – значение полноты при IoU = x.

Наиболее важными являются метрики AR@10 и AR@100 (medium) для 10 самых достоверных объектов в кадре и 100 самых достоверных объектов среднего размера (см. рис. 6). Для них после завершения обучения получены значения 0,77 и 0,72 соответственно, что свидетельствует о хорошем качестве модели.

 

Рис. 6. Зависимости mAR от номера эпохи: а – AR@10; б – AR@100

 

Рис. 7. Графики потерь: а – классификационные; б – локализационные; в – регуляризационные; г – общие потери

 

Для оценки качества обучения также построены графики функций потерь loss (см. рис. 7). Потери разделены на классификационные (classification_loss), локализационные (localization_loss) и регуляризационные (regularization_loss) компоненты.

Отметим, что зависимость общих потерь (total_loss) получена суммированием всех вышеуказанных потерь. На момент завершения обучения итоговые потери составили 0,17.

В работе используется вычисление классификационных потерь фокальной функцией [9], которая обеспечивает устранение проблемы несбалансированного датасета (различное число кадров для каждого класса). Модель неявно концентрируется на проблемных объектах. При этом проводится взвешивание каждого класса с учетом его влияния на значение потерь.

Фокальная функция потерь FL вычисляется по формуле

$\text{FL}=-\sum _{i=1}^C{\alpha }_i{\left(1-{y^{\text{'}}}_i\right)}^{\gamma }\log \left({y^{\text{'}}}_i\right)$,

где C – число классов; i – номер класса; ${y^{\text{'}}}_i$ – предсказанные метки классов скреплений на кадрах; a_i – весовой коэффициент; γ – параметр фокуса.

Параметр фокуса γ = 2 – модулирующий фактор, показывающий степень уменьшения влияния на потери хорошо классифицируемых объектов. Коэффициент a_i придает вес i-му классу. Он помогает выполнять балансировку между предсказаниями о наличии и отсутствии класса объекта. При обучении принималось значение a_i = 0,75.

Для вычисления локализационных потерь использована функция Хьюбера (Smooth MAE), которая является производной от функций MAE (англ. Mean Absolute Error) и MSE (англ. Mean Square Error) и золотой серединой между ними [10]. Функция Хьюбера менее чувствительна к значительным отклонениям данных и вычисляется по формуле

$\text{HL}=\left\{\begin{array}{l}{\left(y_{\text{act}}-y_{\text{pred}}\right)}^2/2\text{\hspace{0.17em}\hspace{0.17em}\hspace{0.17em}\hspace{0.17em}\hspace{0.17em}\hspace{0.17em}для\hspace{0.17em}\hspace{0.17em}\hspace{0.17em}}\left|y_{\text{act}}-y_{\text{pred}}\right|\le \delta ;\\ \delta {\left(y_{\text{act}}-y_{\text{pred}}\right)}^2/2\text{\hspace{0.17em}\hspace{0.17em}\hspace{0.17em}\hspace{0.17em}\hspace{0.17em}в противном \hspace{0.17em}\hspace{0.17em}случае\hspace{0.17em},}\end{array}\right.$

где y_act, y_pred – истинные и предсказанные значения координат объектов соответственно; δ – пороговое значение, δ = 1 – стандартное для функции потерь Хьюбера.

Анализ достоверностей классов

Оценка качества работы обученной модели проводится метрикой F1 (FScore), вычисляемой по формуле

$\text{F}1=\frac{2\times \text{precision}\times \text{recall}}{\text{precision}+\text{recall}}$,

где precision и recall – значения соответственно точности и полноты при заданных достоверности классификатора и IoU областей.

Вычисление F1 проводится для изображений в исходном разрешении (500´ 500). При определении метрики указывается тип выборки (валидационная или тестовая), для которой проводится оценка качества работы модели. Объект считается распознанным верно, если метрика IoU между исходной рамкой и рамкой, полученной нейросетью, больше или равна 0,5 и при этом правильно идентифицирован класс обнаруженной области.

Для каждого класса вычисляется значение метрики F1, при этом расчет precision и recall проводится для достоверностей классификатора в диапазоне от 0,1 до 0,95 с шагом 0,05. Для IoU используется постоянное пороговое значение 0,5. Таким образом, для каждого класса вычисляется несколько значений F1 при разных достоверностях.

 

Рис. 8. Пороги достоверностей для классов модели

 

Лучшим признается порог, для которого исследуемая метрика качества имеет максимальное значение. Если таких порогов несколько, то выбирается любой из них. Результаты оценки качества работы модели сохраняются в файл calc_thres.log. Фрагмент полученных записей для обученного в статье детектора приведен на рис. 8, где f1 соответствует метрике F1. Выбор порогов проводится по тестовой выборке изображений рельсовых скреплений.

Полученные результаты показывают, что модель в целом правильно распознает различные классы скреплений и их элементов. Для большинства меток метрики F1 близки к 1. Немного хуже модель распознает класс kb. Средние по качеству результаты получены для дефектов bolt_unscrewed и nail_pulled. Модель распознает их хуже в связи с небольшим количеством объектов и малыми размерами областей. Также на более низкое качество детектирования этих классов указывают низкие значения достоверности – меньше 0,4 для обоих классов. Проблема может быть решена увеличением числа кадров в датасете.

Заключение

Приведены результаты использования нейросети модели SSD MobileNet v3 Small COCO, обученной для решения задачи оценки состояний рельсовых скреплений. Исходные данные для обучения сформированы при прохождении вагоном-путеизмерителем участка железнодорожного пути. Качество распознавания областей по метрике mAPIoU = 0,5 достигло значения 0,96, а по метрике AR@10 – 0,77. Модель используется для оценки состояний рельсовых скреплений на железных дорогах и ориентирована в первую очередь на высокоскоростные магистрали.

About the authors

S. P. Orlov

Samara State Technical University

Author for correspondence.
Email: orlovsp1946@gmail.com

Department of Computer Technology

Russian Federation, Samara

N. A. Efimushkin

Samara State Technical University

Email: orlovsp1946@gmail.com

Department of Computer Technology

Russian Federation, Samara

N. V. Efimushkina

Samara State Technical University

Email: orlovsp1946@gmail.com

Department of Computer Technology

Russian Federation, Samara

References

Supplementary files