ЛАРС

Аннотация:

Использование автономных беспилотных летательных аппаратов (БпЛА), оборудованных специализированными средствами съемки, позволяет автоматизировать процесс инспекции линий электропередач (ЛЭП). В рамках данной работы предлагается новая методика построения траекторий движения БпЛА, отличающаяся формированием параметров траектории с учётом конструкционных особенностей ЛЭП (пространственное расположение и геометрические характеристики башен ЛЭП, и ключевых элементов (КЭ) ЛЭП), и требований к собираемым данным (наличие повреждений в кадре, репрезентативность объектов, унифицированность представленных объектов). Предлагаемая методика состоит из следующих шагов: предварительный анализ предметной области и определение основных ее составляющих (описание конструкционных особенностей ЛЭП; описание рассматриваемых повреждений ЛЭП), определение требований к собираемым данным, формирование траектории для каждой задачи, моделирование сцен в имитационной среде и определение конструкционных особенностей опор ЛЭП, выполнение полета, сбор и постобработка данных, выполнение разметки полученных данных и анализ выполненной разметки.
В ходе создания методики был разработан подход к автоматизированному мониторингу состояния ЛЭП в основе которого лежит принцип динамического планирования движения БпЛА относительно элементов ЛЭП. Первым этапом при планировании движения БпЛА является создание полетной миссии оператором. Миссия состоит из полетных заданий по обследованию ключевых элементов, после получения полетной миссии от оператора БпЛА начинает движение относительно ЛЭП. На первом этапе БпЛА обследует опоры ЛЭП. БпЛА двигается вдоль заданных паттернов траекторий и одновременно с этим обновляет базу данных (БД), содержащую сведения об опоре. В БД записывается координата опорной точки, где был обнаружен ключевой элемент ЛЭП. Помимо координаты опорной точки в БД заносится информация о типе обнаруженного элемента и снимок в видимом, инфракрасном (ИК) и ультрафиолетовом (УФ) спектрах. Для переключения между полетными заданиями БпЛА необходимо перемещаться от одной ключевой точки к другой. БпЛА двигается от одной опорной точки до другой в заданном порядке обследования элементов на основе разработанного алгоритма динамического планирования путевых точек, учитывающего минимально допустимое расстояние до ЛЭП, параметры камеры и динамику перемещения БпЛА. Все собранные данные (фотографии в видимом, ИК- и УФ спектрах) анализируются системой поиска дефектов элементов ЛЭП на изображениях для определения состояния элементов ЛЭП с использованием методов машинного обучения.

Для проверки работоспособности методики съемки ключевых элементов (траверс с изолятором, верхняя часть опоры, провода, опора) ЛЭП для выявления повреждений ЛЭП в имитационной среде моделирования была выполнена симуляция автономной инспекции повреждений элементов для трех видов ЛЭП посредством автономного БпЛА. В результате была собрана выборка изображений в видимом, ИК и УФ спектрах, состоящая из 1300 изображений, на которых представлено 1376 уникальных ракурсов 17 симулированных повреждений, унифицированных для каждого типа ЛЭП, что свидетельствуют о перспективе данной методики для построения траекторий автономного полета БпЛА с целью сбора репрезентативных выборок данных о повреждениях ЛЭП в видимом, УФ и ИК спектрах. На снимках в видимом спектре содержатся изображения опор разнообразных форм и на различном фоне, изображения траверсов с изоляторами и креплениями. Изображения с ЛЭП в ИК спектре содержат информацию о температуре проводов. Наличие данной информации позволяет выявить такие дефекты, как пробой изолятора, нагрев проводов. Снимки ЛЭП в УФ спектре позволяют зафиксировать наличие коронного разряда на проводах линий электропередач, который вызывает значительные потери передаваемой энергии.

В ходе работы была собрана база данных, которая включает в себя 7566 снимков в видимом спектре. В итоге было проведено исследование метода детекции в видимом спектре конкретного дефекта ЛЭП – отсутствие изолятора. Детекция выполнялась на основании обработки изображений в видимом спектре, снятых с БпЛА и составляющих размеченную выборку. Обработка изображения проводилась посредством нейронных сетей семейства YOLO. Сравнительный анализ YOLOv3, YOLOv4 и их упрощенных версий показал хорошие результаты точности выявления дефекта (отсутствие изолятора) при помощи YOLOv3-tiny (mAP@0,50=0,97±0,03; mAP@0,75=0,78±0,04) .
Полученные при моделировании снимки в ходе апробации были подвергнуты обработке для детектирования и анализа дефектов элементов ЛЭП в видимом, ИК и УФ-спектрах, полученные при обследовании посредством БпЛА. Рассматриваемые дефекты в различных спектрах имеют значительную контрастность на изображениях, поэтому для выявления дефектов ЛЭП перспективными выглядят методы сегментации, основанные на анализе распределения яркостей пикселей изображения. Приоритетным способом локализации повреждений является семантическая сегментация, т.к. позволяет выделять геометрическую форму и место на изображении в условиях съемки объектов с различных ракурсов. Задача локализации повреждений ЛЭП в различных спектрах была решена посредством сегментации элементов объекта – формирования маски, повторяющей форму объекта определённого класса на изображении. Для общей оценки эффективности семантической сегментации в данной работе использовался индекс Джаккара. В общей задаче семантической сегментации наилучшие результаты показывают глубокие сверточные нейронные сети. В рамках данного проекта были рассмотрены две распространенных нейросетевых архитектуры: сверточный автокодировщик (САК) и U-Net и метод пороговой фильтрации для выявления нагрева проводов в ИК-спектре и коронного разряда в УФ-спектре. Каждая модель обучалась 200 эпох при помощи модифицированного алгоритма стохастического пакетного (mini-batch) градиентного спуска Adam со стандартными параметрами из библиотеки pytorch. Полученные результаты на основе метрики IoU для отдельных классов: нагрев проводов в ИК спектре (САК - 0.551, U-Net - 0.554, пороговая фильтрация - 0.535), коронный разряд в УФ спектре (САК - 0.759, U-Net - 0.767, пороговая фильтрация - 0.752). Метод пороговой фильтрации, выполняющийся на CPU значительно превосходит рассматриваемые нейронные сети, выполняющиеся на GPU, по времени обработки (в 21.6 раза САК и в 26.4 раза U-Net). В совокупности делает рассмотренный метод пороговой фильтрации наиболее перспективным для реализации на бортовом вычислительном устройстве БпЛА или мобильной наземной станции.

В рамках данной работы была разработана методика построения траектории автономного движения БпЛА в ходе инспекции ЛЭП в видимом, ИК и УФ спектрах, которая отличается новым принципом динамического формирования траекторий, основанном на анализе конструкционных особенностей инспектируемых ЛЭП, а также учитывающая требования репрезентативности и унификации собираемых данных. Данный подход глобального планирования значительно ускоряет процесс создания миссии (в 1,5 раза), а время полета БпЛА в автономном режиме по расчетной траектории уменьшилось на 11% по сравнению с временем полета в ручном режиме и позволяет значительно упростить работу оператора при использовании БпЛА. В результате экспериментов было получено среднее отклонение фактической траектории движения БпЛА от сгенерированной глобальным планировщиком траектории обследования ЛЭП. Для расчета были использованы две метрики: расстояние Хаусдорфа и OWD. В результате сравнения удалось установить, что максимальное отклонение не превышает 0.4 м, что допустимо при движении рядом с трассой ЛЭП. Научная новизна методики заключается в планировании траектории полета малого БпЛА мультироторного типа с учетом конструкционной особенности конкретных ЛЭП, а также с учетом требований к собираемым визуальным данным в видимом, ультрафиолетовом и инфракрасном спектрах.

Автономность полета приводит к снижению трудозатрат, а единообразность траектории автономного полета для ЛЭП и инспектируемого повреждения определенных типов обеспечивает унификацию получаемых данных для соответствующих типов ЛЭП. Кроме того, сокращается время поиска дефектов (повреждений) на изображениях, по сравнению с ручным обследованием.

Важнейшие результаты, полученные при реализации проекта:

1. Разработан алгоритм для перемещения БпЛА, который позволяет формировать точки построения маршрута с учетом воздействия окружающей среды и заранее заданной математической функции траектории движения, которые сформированы на основе разработанных паттернов обследования участков ЛЭП.

2. Разработан подход для перемещения БпЛА относительно ЛЭП с целью поиска дефектов, отличающийся: применением патернов траекторий движения для осмотра различных участков ЛЭП; использованием перечня ключевых элементов ЛЭП, мониторинг которых необходимо произвести; требованиями по съемке ключевых элементов ЛЭП. Данный подход обеспечивает динамическое формирование безопасной траектории движения БпЛА относительно ЛЭП, учитывая параметры своей сенсорной системы для детектирования отдельных элементов и дефектов ЛЭП, а также габаритные параметры ЛЭП. Подход позволяет автономно производить перемещение, локализацию и навигацию БпЛА без заранее заданных габаритных параметров и формировать набор данных для дальнейшей оценки состояния элементов ЛЭП.

3. Разработаны динамическая, 3D-модель и модель состояний БпЛА МТ, а также набор 3D-моделей трасс ЛЭП и их дефектов для осуществления моделирования процесса мониторинга ЛЭП с целью формирования набора данных для поиска дефектов на изображениях в различных спектрах.

4. Разработана методика построения траектории автономного движения БпЛА, выполняющего инспекцию опор ЛЭП посредством сбора визуальных данных о состоянии элементов ЛЭП в видимом, ультрафиолетовом и инфракрасном спектрах для выявления коронного разряда, изоляторов и нагрева элементов ЛЭП. Научная новизна методики заключается в планировании траектории полета БпЛА мультироторного типа с учетом конструкционных особенностей ЛЭП, а также требований к собираемым данным в видимом, УФ и ИК спектрах.

5. Разработано комплексное программное обеспечение для обработки изображений видимого, ИК и УФ спектрах с использованием методов машинного обучения, которое позволяет выявлять различные типы дефектов ЛЭП в зависимости от элемента на изображении и спектра съемки.

6. Собрана выборка изображений в видимом диапазоне, состоящая из 756 изображений, а также в ИК и УФ спектрах, состоящая из 1300 изображений, на которых представлено 1376 уникальных ракурсов 17 симулированных повреждений, унифицированных для каждого типа ЛЭП.

7. Проведено исследование разработанного метода детекции в видимом спектре конкретного дефекта ЛЭП на предмет отсутствия изолятора. Обработка изображений в видимом спектре проводилась посредством нейронных сетей семейства YOLO. Сравнительный анализ YOLOv3, YOLOv4 и их упрощенных версий показал хорошие результаты точности выявления дефекта (отсутствие изолятора) при помощи YOLOv3-tiny (mAP@0,50=0,97±0,03; mAP@0,75=0,78±0,04).

8. Проведено моделирование полета БпЛА и поиск дефектов на основе совокупности разработанных решений. В ходе апробации решений было выявлено что: время полета БпЛА в автономном режиме по рассчитанной траектории уменьшилось на 11% по сравнению со временем полета в ручном режиме и позволяет значительно упростить работу оператора в процессе создания миссии для БпЛА; максимальное отклонение фактической траектории движения БпЛА от сгенерированной глобальным планировщиком траектории обследования ЛЭП не превышает 0.4 м с учетом различных воздействий окружающей среды; полученные результаты на основе метрики IoU для отдельных классов: нагрев проводов в ИК спектре (САК - 0.551, U-Net - 0.554, пороговая фильтрация - 0.535), коронный разряд в УФ спектре (САК - 0.759, U-Net - 0.767, пороговая фильтрация - 0.752).

Опубликовано 5 статей в научных журналах, индексируемых в базах Scopus/WoS, RSCI и РИНЦ. Результаты проведенных исследований представлены на 4 международных конференциях, с последующим опубликованием материалов в сборниках трудов данных научных мероприятий.