Algorithm for extracting an artificial whistler signal in a spectrogram using the PyCharm integrated application development environment

全文:

Введение

В последние десятилетия наблюдение и анализ электромагнитных волн, связанных с природными явлениями, стали важной областью исследований в физике плазмы и геофизике [1, 2]. Одним из наиболее интересных аспектов таких исследований является изучение вистлеров - низкочастотных электромагнитных волн, возникающих в результате грозовых разрядов с последующим взаимодействием с магнитосферой Земли [3-11, 11]. Эти волны играют ключевую роль в динамике плазмы и могут оказывать значительное влияние на радиосигналы и системы связи. Свое название вистлеры (свисты или свистящие атмосферики) получили из-за характерного звука, который они производят при преобразовании в звуковые волны.

Теоретические основы исследования вистлеров более подробно и системно были изложены в фундаментальных работах [12–14]. Дальнейшее исследование вистлеров получило широкое развитие в работах различных ученых, как зарубежных [3–8], так и российских [9–11, 11].

Отметим, что наиболее важными являются задачи исследования источников вистлеров $–$ грозовых разрядов [9-11], а также распознавания вистлеров в реальном времени [11]. К сожалению задача распознавания вистлеров в реальном времени до конца не была решена методами машинного обучения в силу сложности идентификации вистлеров по спектрограммам.

В работе Шагимуратова И.А. [15] подробно изложена теория исследования динамических спектров вистлеров, в которой указывается на важность определения следа вистлера, что в свою очередь дает возможность применять многоточечные методы обработки.

В настоящей работе для искусственно смоделированного вистлера [16] был разработан на языке Python в среде PyCharm 2024.1 алгоритм выделения его следа из спектрограммы. Данный алгоритм далее планируется применить для исследования характеристик искусственного вистлера согласно работе [15], а потом его адаптировать для исследования реальных сигналов вистлера, полученных с помощью ОНЧ-пеленгатора ИКИР ДВО РАН

Функциональная модель алгоритма

Интегрированная среда разработки (IDE) PyCharm 2024.1 для языка программирования Python имеет ряд преимуществ по сравнению с другими версиями PyCharm [17]: улучшенная поддержка AI: встроенные инструменты на базе искусственного интеллекта помогают в написании кода, предоставляя автозаполнение, рекомендации и исправления; оптимизированный интерфейс: новый интерфейс стал более интуитивно понятным и удобным, что упрощает навигацию и работу с проектами; расширенные возможности рефакторинга: новые инструменты для рефакторинга позволяют быстро и безопасно изменять структуру кода без риска появления ошибок: поддержка новых технологий: улучшена поддержка последних версий Python и популярных библиотек, таких как Django, Flask и других; инструменты для тестирования: улучшенные функции для написания и запуска тестов, включая поддержку новых фреймворков и расширенные возможности анализа результатов; оптимизация производительности: повышенная скорость работы IDE, улучшенное использование ресурсов системы и уменьшение времени загрузки проектов; поддержка многопоточности: улучшенная работа с асинхронным кодом и многопоточностью, что делает разработку более эффективной.

На рис.1 приведена блок-схема алгоритма выделения следа искусственного вистлера в среде PyCharm 2024.1.

 

Рис. 1. Блок-схема алгоритма в среде PyCharm.

Figure 1. Block diagram of the algorithm in the PyCharm environment.

 

Из блок-схемы на рис.1. мы можем выделить следующие этапы алгоритма:

1. Построение искусственного вистлера. Этот этап был подробно рассмотрен в работе автора [16].
2. Фильтрация искусственного сигнала вистлера. Установка порога для выделения следа искусственного вистлера.
3. Проверка работы алгоритма на примере вычисления коэффициента дисперсии.

Построение искусственного вистлера

Мы здесь приведем лишь фрагмент кода на языке Python, более полный код смотрите в работе [16]. Значения параметров искуcственного сигнала возьмем также из работы [16].

 

# Подключение необходимых библиотек Python

import numpy as np

import matplotlib.pyplot as plt

from scipy import signal

from tkinter import Tk

from tkinter.filedialog import asksaveasfilename

import pandas as pd

# Параметры модели, [17]

Dis = 100 # Коэффициент дисперсии

f_min = 1000 # Минимальная частота, Гц

f_max = 8000 # Максимальная частота, Гц

t_max = 3 # Максимальное время, с

fs = 50000 # Частота дискретизации, Гц

 

Описание фильтра для выделения следа искусственного вистлера

В этом пункте мы опишем фильтрацию для выделения следа искусственного сигнала вистлера на рис. 2. Для этой цели установка порога для выделения следа на языке Python имеет вид:

threshold = np.mean(Sxx) + k * np.std(Sxx).

 

Рис. 2. Искусственный вистлер при D = 100 c^1/2 c [16].

Figure 2. Artificial whistler at D = 100 c^1/2 c [16].

 

Здесь мы устанавливаем пороговое значение (threshold), которое будет использоваться для выделения значимых участков в спектрограмме; np.mean(Sxx) вычисляет среднее значение всех элементов в массиве Sxx, который представляет собой спектрограмму и показывает, какова типичная интенсивность сигнала в спектре; np.std(Sxx) вычисляет стандартное отклонение элементов в Sxx, оно указывает, насколько значения в массиве разбросаны относительно среднего; k * np.std(Sxx) - умножение стандартного отклонения на k позволяет установить порог выше среднего значения, учитывая разброс данных, что помогает исключить шум и выделить только более значимые пики.

Создание маски: mask = Sxx > threshold.

Здесь мы создаем логическую маску (mask), которая будет содержать True для всех точек в Sxx, где интенсивность превышает установленный порог (threshold), и False в противном случае.

Это позволяет нам выделить области в спектрограмме, где интенсивность сигнала значительно выше среднего уровня, что может указывать на наличие интересующих нас вистлеров.

Заметим, что мы выбрали простой пороговый метод. Однако можно использовать более сложный метод пороговой обработки, например, известны такие методы: адаптивный пороговый метод, который зависит от локальных характеристик сигнала; метод Оцу [18] $—$ метод используется для нахождения оптимального порога, который минимизирует внутриклассовую дисперсию; краевые методы $—$ алгоритмы для нахождения краев сигнала, такие как метод Собеля или Кэнни [19, 20].

Код на языке Python, характеризующий работу фильтра имеет вид:

 

# 1. Установка порога для выделения следа

threshold = np.mean(Sxx) + 10 * np.std(Sxx) # Простой порог

# 2. Создаем маску

mask = Sxx > threshold

# 3. Получаем индексы, где маска равна True

indices = np.where(mask)

# 4. Сохранение значений частоты и времени в текстовый файл

Tk().withdraw() # Скрыть основное окно

file_path = asksaveasfilename(defaultextension=".txt",

filetypes=[("Text files", "*.txt"), ("All files", "*.*")],

title="Сохранить как")

if file_path: # Проверка, что путь был выбран

# Создаем DataFrame с частотой и временем

data = {

’Частота (Гц)’: f[indices[0]],

’Время (с)’: t_spec[indices[1]]

}

results_df = pd.DataFrame(data)

 

# Сохраняем в текстовый файл

results_df.to_csv(file_path, sep=’\t’, index=False, header=True)

print(f"Файл сохранен: {file_path}")

else:

print("Сохранение отменено.")

# 5. Построение графика частот свистящего атмосферика

plt.figure(figsize=(12, 6))

plt.scatter(t_spec[indices[1]], f[indices[0]], s=10, color=’blue’,

alpha=0.5) # Используем scatter для отображения точек

plt.title(’Выделенные следа свистящего атмосферика’)

plt.xlabel(’Время (с)’)

plt.ylabel(’Частота (Гц)’)

plt.ylim(f_min, f_max)

plt.grid()

plt.tight_layout()

plt.show()

 

Вычисление коэффициента дисперсии

След искусственного вистлера на рис. 3 позволяет исследовать его характеристики. Покажем, что след искусственного вистлера найден корректно. Для этого мы найдем коэффициент дисперсии по углу наклона прямой построенной по точкам $\left(\mathrm{1<mo>/</mo>}\sqrt{f}\mathrm{,}t\right)$. Методика расчета коэффициента дисперсии подробно описана в книге [12].

 

Рис. 3. График следа искусственного вистлера из рис.2.

Figure 3. Graph of the trace of the artificial whistler from Fig. 2.

 

Код на языке Python для расчета коэффициента дисперсии.

 

# Создаем дополнительную таблицу с временем t и 1/f^(1/2)

additional_data = {

’Время (с)’: t_spec[indices[1]][valid_indices], # t

’1/f^(1/2)’: 1 / np.sqrt(f[indices[0]][valid_indices]) # 1/f^(1/2)

}

additional_df = pd.DataFrame(additional_data)

# Сохранение дополнительной таблицы в отдельный файл

additional_file_path = asksaveasfilename(defaultextension=".txt",

filetypes=[("Text files", "*.txt"), ("All files", "*.*")],

title="Сохранить дополнительную таблицу как")

if additional_file_path: # Проверка, что путь был выбран

additional_df.to_csv(additional_file_path, sep=’\t’, index=False, header=True)

print(f"Дополнительная таблица сохранена: {additional_file_path}")

# Построение графика для дополнительной таблицы

X = additional_df[’Время (с)’].values.reshape(-1, 1)

y = additional_df[’1/f^(1/2)’].values

# Линейная регрессия

model = LinearRegression()

model.fit(X, y)

# Получаем тангенс угла наклона и свободный член

tangent = model.coef_[0]

intercept = model.intercept_

# Уравнение линейной регрессии

equation = f’y = {tangent:.4f} * t + {intercept:.4f}’

# Вычисление котангенса угла наклона

cotangent = 1 / tangent

# Построение графика

plt.figure(figsize=(10, 6))

plt.scatter(X, y, color=’blue’, label=’Данные’)

plt.plot(X, model.predict(X), color=’red’, label=’Линейная регрессия’)

plt.title(’График зависимости времени от 1/f^(1/2)’)

plt.xlabel(’Время (с)’)

plt.ylabel(’1/f^(1/2)’)

plt.legend()

plt.grid()

 

# Вывод уравнения на график

plt.text(0.05, 0.95, equation, transform=plt.gca().transAxes,

fontsize=12, verticalalignment=’top’, color=’black’)

plt.tight_layout()

plt.show()

 

Из рис.4 видно, что угловой коэффициент или тангенс угла наклона равен 0.01, тогда расчетный коэффициент дисперсии $D_R\mathrm{<mo>=</mo>1<mo>/</mo>0.01<mo>=</mo>100}$ c ${}^{\mathrm{1<mo>/</mo>2}}$. Отсюда следует, что расчетный коэффициент $D_R$ совпадает с теоретическим коэффициентом $D$.

 

Рис. 4. Данные, полученные по следу искусственного вистлера (точки) при D=100 c^1/2, прямая линия – уравнение линейной регрессии.

Figure 4. Data obtained from the trail of an artificial whistler (points) at D=100 c^1/2, the straight line is the linear regression equation.

 

Из рис.5 видно, что тангенс угла наклона равен $0.0198$, тогда расчетный коэффициент дисперсии $D_R\mathrm{<mo>=</mo>1<mo>/</mo>0.0198<mo>=</mo>50.45}$ c ${}^{\mathrm{1<mo>/</mo>2}}$ . Отсюда следует, что расчетный коэффициент $D_R$ практически совпадает с теоретическим коэффициентом $D\mathrm{<mo>=</mo>50}$ c ${}^{\mathrm{1<mo>/</mo>2}}$.

 

Рис. 5. Данные полученные по следу искусственного вистлера (точки) при D = 50 c^1/2, прямая линия – уравнение линейной регрессии.

Figure 5. Data obtained from the trail of an artificial whistler (points) at D = 50 c^1/2, the straight line is the linear regression equation.

 

Отметим, что коэффициент дисперсии можно рассчитать согласно математической модели, предложенной в статье [16]: $D_M\mathrm{<mo>=</mo>}T\sqrt{f_T}$, где $T$ $—$ время существования вистлера, в нашем случае это последнее время в отчете текстового файла, которое генерируется нашей программой, $f_T$ $—$ частота соответствующая времени $T$. Тогда мы получаем следующие значения:

$D_M\mathrm{<mo>=</mo>}\text{0}\text{.70144}\sqrt{\text{5078}\text{.124999999999}}\mathrm{<mo>=</mo>49,985}{\text{c}}^{\mathrm{1<mo>/</mo>2}}\text{притеоретической}D\mathrm{<mo>=</mo>50}{\text{c}}^{\mathrm{1<mo>/</mo>2}}\mathrm{,}$

$D_M\mathrm{<mo>=</mo>}\text{2}\text{.17536}\sqrt{\text{2148}\text{.4374999999995}}\mathrm{<mo>=</mo>100.83}{\text{c}}^{\mathrm{1<mo>/</mo>2}}\text{притеоретической}D\mathrm{<mo>=</mo>100}{\text{c}}^{\mathrm{1<mo>/</mo>2}}\mathrm{.}$

Мы видим, что оценки, полученные по математической модели, также дают приемлемый результат

Заключение

В работе предложен алгоритм выделения следа искусственного вистлера из спектрограммы на языке Pytnon в среде PyCharm 2024.1. С помощью фильтрации определяются необходимые частоты и времена, которые им соответствуют и характеризуют след искусственного вистлера. Далее, чтобы проверить адекватность алгоритма, был произведен расчет коэффициента дисперсии по уравнению линейной регрессии. Показано, что алгоритм является адекватным и дает приемлемые результаты.

Отметим, что следующим этапом развития работы является исследование реальных сигналов вистлеров, полученные с помощью ОНЧ-пеленгатора в ИКИР ДВО РАН. Следует подчеркнуть, что природные сигналы являются более сложными, так как помимо вистлеров регистрируются атмосферики. Поэтому необходимо будет корректировать алгоритм на этапе фильтрации с возможным применением машинного обучения и других методов обработки изображений.

Автор выражает благодарность своему научному руководителю д.ф.-м.н. Паровику Р.И. за ценные советы, которые послужили улучшению статьи.

作者简介

Ludmila Marchenko

Institute of Cosmophysical Research and Radio Wave Propagation FEB RAS; Scientific Research Geotechnological Centre FEB RAS

编辑信件的主要联系方式.
Email: marchenko@ikir.ru
ORCID iD: 0000-0003-3634-2443

leading specialist of the scientist Secretariat of the Institute of Cosmophysical Research and Radio Wave Propagation of the Far Eastern Branch of the Russian Academy of Sciences, postgraduate student, Research Geotechnological Center of the Far Eastern Branch of the Russian Academy of Sciences

俄罗斯联邦, 684034, Paratunka, 7 Mirnaya street; 683002, Petropavlovsk-Kamchatsky, 30 Severo-Vostochnoye highway

参考

补充文件