ЛАРС

Итоговый отчет по Проекту

Основной целью проекта является моделирование сельскохозяйственной роботизированной системы, способной минимизировать усилия и травмы людей при проведении аграрных работ; расширить сферу автоматизации сельского хозяйства; уменьшить количество применяемых удобрений посредством использования БпЛА и принципов точного земледелия. Для достижения поставленной цели в ходе проекта международным коллективом исполнителей были разработаны модели и алгоритмы совместной работы групп гетерогенных беспилотных робототехнических средств.

На первом этапе в 2018 году был проведен обзор современных решений в области сельскохозяйственной робототехники, который показал, что наименее исследованной областью является взаимодействие различных автономных систем в сельского хозяйстве. Также были разработаны конструктивные и функциональные модели мобильной платформы, оборудованной контейнером для полезной нагрузки, транспортировки и подзарядки БпЛА. Данные модели обеспечивают взаимодействие БпЛА и мобильных робототехнических платформ, что позволяет улучшить качество мониторинга и обслуживания сельскохозяйственных угодий.

В 2019 году в ходе работы над проектом было предложено решение задачи локальной навигации мобильных робототехнических платформ (МРП), основанное на использовании беспроводных сетей с ячеистой топологией, организованных на базе радио-модулей, установленных на группе беспилотных летательных аппаратов (БпЛА). Был разработан подход к организации такой сети на базе технологии LoRa, а также алгоритм локализации МРП при помощи радиомаяков, установленных на БпЛА.

В ходе выполнения проекта были разработаны методы взаимодействия между платформой и набором БпЛА, внесенных в рабочую зону, и сценарии их функционирования. В рамках этой задачи был предложен общий сценарий функционирования робототехнических средств для решения сельскохозяйственных задач, а также сформированы прикладные сценарии совместного использования МРП и БпЛА. В частности, были разработаны: сценарий мониторинга состояния агропромышленного пространства и построения картограмм с пространственной изменчивостью, основанный на использовании БпЛА; сценарий сбора камней и других объектов на полях, с учетом картограмм загрязнения, полученных за счет анализа результатов мониторинга сельскохозяйственных земель в видимом и инфракрасном спектрах; сценарий совместного использования БпЛА и МРП для внесения удобрений с учетом агрохимических картограмм плодородия почв, запланированного объема урожая, уровня предыдущего урожая, наличия влаги, рельефа местности, агрофизических свойств почвы и других факторов; сценарий автоматизированного сбора плодов посредством робототехнических средств с учетом картограмм урожайности территорий. В рамках проекта совместно с зарубежными коллегами на базе предложенного сценария автоматизированного сбора плодов была разработана модель, направленная на сбор яблок на сельскохозяйственном участке за счет коллаборативного использования группы БпЛА и наземных МРП. Разработанные сценарии могут быть модифицированы для выполнения различных сельскохозяйственных задач.

В 2020 году на основе разработанных сценариев были выделены критерии для оценки эффективности функционирования роботов при решении сельскохозяйственных задач. Для оценивания качества мониторинга сельскохозяйственных земель и построения картограмм необходимо оценить качество полученного ортофотоплана и количество детектированных на карте объектов интереса. В первую очередь, для этого требуется оценить качество полученного изображения ортофотоплана и точность склейки изображений. Для этого предлагается использовать метод BRISQUE, что позволяет выбрать лучший из методов склейки изображений. Для детектирования на карте объектов интереса c учетом специфики рассматриваемых сценариев предложена методика на основе мультиспектральной оценки индекса растительности NDVI.

В качестве критерия эффективности выполнения сценария по сбору камней и прочих инородных объектов предлагается критерий, в соответствии с которым робототехническим средствам необходимо обнаружить и собрать наибольшее число камней за время операции, то есть максимизировать число собираемых камней в единицу времени.

В качестве критерия эффективности выполнения сценария внесения удобрений на плантации колоновидных яблонь считается общее количество удобренных деревьев при условии попадания удобрений в заданный радиус окружности с центром в области ствола дерева.

В качестве критерия эффективности выполнения сценария по сбору плодов с колоновидных яблонь предлагается критерий, в соответствии с которым робототехническим средствам необходимо обнаружить и собрать наибольшее число плодов за время операции, то есть максимизировать число собираемых плодов в единицу времени.

В ходе выполнения проекта была разработана компьютерная модель, включающая разработанные решения для совместной деятельности гетерогенных роботов при решении задач сельского хозяйства, управляемых с помощью интуитивно понятных интерфейсов «человек-робот», а также методика тестирования и эксперимента в компьютерной модели. Предложенное решение разработано в среде моделирования Gazebo с использованием программных библиотек фреймворка ROS. Разработанная компьютерная модель позволяет реализовать предложенные сценарии совместного функционирования групп гетерогенных робототехнических средств при решении сельскохозяйственных задач, а именно: задачи мониторинга сельскохозяйственных земель и построения ортофотоплана местности; сбора камней и прочих инородных объектов на поле; внесения удобрений и сбора плодов на плантации колоновидных яблонь. Разработанные сценарии могут быть модифицированы для выполнения различных сельскохозяйственных задач.

На основе рассмотренных решений в области человеко-машинных интерфейсов для обеспечения группового взаимодействия наземных роботов и беспилотных летательных аппаратов были выделены критерии оценки качества человеко-машинного интерфейса для постановки и выполнения групповых задач сельскохозяйственной робототехники. С учетом выделенных критериев был предложен технический облик человеко-машинного интерфейса для группового управления гетерогенными роботами при выполнении сельскохозяйственных задач. Предложенное решение обеспечивает оперативную постановку решаемой группой робототехнических средств прикладной задачи в области сельского хозяйства и последующий контроль ее исполнения со стороны оператора и может использоваться для разработки программного обеспечения агропромышленных роботов, отличающегося высокой степенью автоматизации и удобства работы оператора.

Полученные результаты могут быть использованы при разработке программных и аппаратных средств для обеспечения совместной деятельности гетерогенных роботов, контролируемой с помощью интуитивно понятных человеко-машинных интерфейсов, при решении сельскохозяйственных задач, что позволит удешевить этапы проектирования, производства и эксплуатации подобных систем.

В ходе реализации проекта был выполнен обзор современных решений в области сельского хозяйства, робототехники, человеко-машинного взаимодействия и совместной работы гетерогенных роботов. Сбор урожая роботом имеет большой потенциал применения в точном земледелии, однако сильно ограничен реальными условиями произрастания сельскохозяйственных культур. Разработка устройства для сбора урожая является сложной технической задачей, так помимо сохранения целостности самого плода необходимо избежать механическое повреждение листей и стеблей растений. Кроме того, для успешного предвидения робота при прополке сорняков, пересадке рассады и сбора урожая необходимо учитывать схему посадки растений на территории фермерского хозяйства. Несмотря на существование большого количества исследований в области сельскохозяйственной робототехники задача разработки многофункционального автономного устройства для точного земледелия является актуальной. Использование БпЛА в качестве альтернативы аэрокосмическому зондированию повышает скорость получения изображений местности и снижает экономические затраты фермеров. Основные требования, предъявляемые сельскохозяйственному робототехническому устройству, могут быть сформулированы следующим образом: автономность работы; мультифункциональность; способность работать в различных погодных условиях; малые габариты и массы составных компонентов. Анализ изображений при помощи фотограмметрии и позволяет получить точные данные о фенотипе растений и составе почвы, а также построить карту трехмерную карту местности для перемещения мобильных робототехнических платформ. Определение вегетационных индексов при помощи бортовых мультиспектральных камер дает возможность контролировать процесс созревания плодов сельскохозяйственных культур и выявлять заболевания растений. Помимо мониторинга состояния земельных участков БпЛА могут быть оборудованы системами распыления пестицидов и внесения удобрений в почву, которые позволят более рационально использовать имеющиеся ресурсы. Все это повышает производительность работы фермерского хозяйства, увеличивает экономическую прибыль, автоматизируя такие процессы, как химическая обработка растений, высадка рассады в открытый грунт, прополка сорняков, сбор и транспортировка урожая. На основании проведенного обзора можно сделать вывод, что подобные разработки способны не только улучшить положение отдельных фермерских хозяйств, но всего сельского хозяйства в целом. Также из обзора следует, что перспективной областью развития сельского хозяйства является взаимодействие мультиагентных робототехнических систем. Совместная работа и данные, накопленные такими системами, смогут повысить качество выращивания и сбора произрастающих на поле культур. Наиболее востребованными в данной области являются БпЛА с бортовыми системами мультиспектральной съемки и мобильные робототехнические комплексы, оснащенные манипуляторами для взаимодействия с окружающей средой.

В ходе выполнения проекта была разработана конструктивная и функциональная модели мобильной платформы, оборудованной контейнером для полезной нагрузки, а также для транспортировки и подзарядки БпЛА. Основываясь на данных, приведенных в обзоре, в ходе реализации первого этапа проекта были разработаны конструктивная и функциональная модели двух вариантов наземных робототехнических платформ для сельскохозяйственного применения. Обе платформы имеют одинаковые элементы конструкции: 

1. шасси, обеспечивающие передвижение платформы по сельскохозяйственным угодьям; 

2. мультисенсорная система для определения локальных препятствий при перемещении платформы; 

3. система энергопитания, обеспечивающая необходимую мощность для потребления самой платформой; 

4. навигационная система, состоящая из двух подсистем, одна из которых контролирует движение платформы между местом базирования и рабочей территорией на основе средств глобальной навигации, а вторая локальная система разворачивается непосредственно на рабочей территории перед началом проведения аграрной задачи с использованием радионавигационных данных от БпЛА; 

5. коммуникационная система, реализующая связь подвижной платформой с БпЛА и базовой станцией. 

Предложенные модели обеспечивают простоту и независимость смены аккумуляторов на БпЛА от других задач, которые выполняет вторая платформа. Модульная система также позволяет повысить проходимость платформ при их совместном использовании, особенно это важно на сложно проходимых участках фермерских угодий. Оснастив данную мобильную платформу системой полива или точечного опрыскивания пестицидами/удобрениями растений, а также механизмом посева семян, можно получить первоклассного полевого помощника, который заменит человеческий ресурс на тяжелой утомительной работе. Его координатором является автономный БпЛА, который ведет анализ местности и отправляет команды мобильной платформе с координатами для перемещения. Данный комплекс роботов позволяет экономить ресурсы и время, повышая уровень дохода, что является основной задачей в любом экономически затратном производстве.

В ходе выполнения проекта были разработаны математическая и алгоритмическая модели локальной навигации мобильной платформы и БпЛА на основе радиомаяков, установленных на БпЛА, занимающих места экстремальных точек на рабочей площадке до начала текущей задачи.

Решение задачи локальной навигации мобильных робототехнических платформ (МРП), основано на использовании беспроводных сетей с ячеистой топологией, организованных на базе радио-модулей, установленных на группе беспилотных летательных аппаратов (БпЛА). Был разработан подход к организации такой сети на базе технологии LoRa, а также алгоритм локализации МРП при помощи радиомаяков, установленных на БпЛА.

В ходе выполнения проекта были разработаны методы взаимодействия между платформой и набором БпЛА, внесенных в рабочую зону, и сценарии их функционирования. В рамках этой задачи был предложен общий сценарий функционирования робототехнических средств для решения сельскохозяйственных задач, а также сформированы прикладные сценарии совместного использования МРП и БпЛА. В частности, были разработаны: сценарий мониторинга состояния агропромышленного пространства и построения картограмм с пространственной изменчивостью, основанный на использовании БпЛА; сценарий сбора камней и других объектов на полях, с учетом картограмм загрязнения, полученных за счет анализа результатов мониторинга сельскохозяйственных земель в видимом и инфракрасном спектрах; сценарий совместного использования БпЛА и МРП для внесения удобрений с учетом агрохимических картограмм плодородия почв, запланированного объема урожая, уровня предыдущего урожая, наличия влаги, рельефа местности, агрофизических свойств почвы и других факторов; сценарий автоматизированного сбора плодов посредством робототехнических средств с учетом картограмм урожайности территорий. В рамках проекта совместно с зарубежными коллегами на базе предложенного сценария автоматизированного сбора плодов была разработана модель, направленная на сбор яблок на сельскохозяйственном участке за счет коллаборативного использования группы БпЛА и наземных МРП. Разработанные сценарии могут быть модифицированы для выполнения различных сельскохозяйственных задач.

В ходе выполнения проекта были разработаны критерии для оценки эффективности функционирования роботов для разработанных сценариев сельскохозяйственных операций.

На основе рассмотренных решений в области человеко-машинных интерфейсов для обеспечения группового взаимодействия наземных роботов и беспилотных летательных аппаратов были выделены критерии оценки качества человеко-машинного интерфейса для постановки и выполнения групповых задач сельскохозяйственной робототехники. Выделены наиболее эффективные из них: среднее время, необходимое пользователю для решения задачи по методике KLM-GOMS, оценка сложности системы по методике Т. Комбера и Дж. Мэлтби, правильность выполнения задачи, частота успешного выполнения задачи, время выполнения задачи, степень осведомленности о ситуации, количество управляющих действий, точность диагностики ситуации, время обнаружения и диагностики ситуации, поведение контролируемого технологического параметра, рабочая нагрузка, функциональное состояние оператора. С учетом выделенных критериев был предложен технический облик человеко-машинного интерфейса для группового управления гетерогенными роботами при выполнении сельскохозяйственных задач. Предложенное решение обеспечивает оперативную постановку решаемой группой РТС прикладной задачи в области сельского хозяйства и последующий контроль ее исполнения со стороны оператора и может использоваться для разработки программного обеспечения РТС, отличающегося высокой степенью автоматизации и удобства работы оператора. Это позволяет создать эффективный инструмент человеко-машинного взаимодействия для управления группой автономных сельскохозяйственных роботов. Кроме того, были выделены критерии для оценки эффективности функционирования роботов для разработанных сценариев, а именно: качество полученного ортофотоплана для задачи мониторинга сельскохозяйственных территорий; количество собранных камней за единицу времени; общее количество удобренных деревьев при условии попадания удобрений в заданный радиус окружности с центром в области ствола дерева; количество собранных плодов в единицу времени. Предложенные критерии позволяют параметризировать и оценить успешность выполнения группой гетерогенных РТС поставленных задач в области сельского хозяйства, а также в дальнейшем оценить долговременный экономический эффект от внедрения робототехнических средств в область сельского хозяйства.

В ходе выполнения проекта была разработана компьютерная модель совместной деятельности гетерогенных роботов при решении задач сельского хозяйства, управляемых с помощью интуитивно понятных интерфейсов человек-робот. Предложенное решение разработано в среде моделирования Gazebo с использованием программных библиотек фреймворка ROS. Разработанная компьютерная модель позволяет реализовать предложенные сценарии совместного функционирования групп гетерогенных робототехнических средств при решении сельскохозяйственных задач, а именно: задачи мониторинга сельскохозяйственных земель и построения ортофотоплана местности; сбора камней и прочих инородных объектов на поле; внесения удобрений и сбора плодов на плантации колоновидных яблонь. Разработанные сценарии могут быть модифицированы для выполнения различных сельскохозяйственных задач.

Кроме того, была разработана методика тестирования разработанных решений в компьютерной модели. Предложенная методика предполагает проведение экспериментов по оценке качества полученного ортофотоплана местности на основе оценки качества изображений, полученных посредством аэрофотосъемки группой БпЛА по методу BRISQUE и выбрать наиболее подходящий метод сшивания изображений (SIFT, ORB, SURF, BRIEF). Также предложенная методика позволяет оценить эффективность выполнения предложенных сценариев функционирования групп гетерогенных роботов при решении сельскохозяйственных задач с точки зрения максимизации выделенных критериев эффективности, а именно: сбора камней и прочих объектов на поле, внесения удобрений, сбора плодов на плантации колоновидных яблонь. Данная методика не зависит от типа РТС и может быть адаптирована для других типов сценариев выполнения сельскохозяйственных задач.

Важнейшие результаты проекта были освещены в рецензируемых журналах, индексируемых в WoS/Scopus, РИНЦ, а также апробированы на международных конференциях в области робототехники и человеко-компьютерного взаимодействия.