ЛАРС
Принципы распределения задач между сервисными роботами и средствами киберфизического интеллектуального пространства при многомодальном обслуживании пользователей
Номер:
16-19-00044
Руководитель:
Ронжин Андрей Леонидович
Сроки:
январь 2016 - декабрь 2020
Источник финансирования:
РНФ
Аннотация:
Основная научная проблема в области проектирования средств взаимодействия человека с роботом состоит в несовершенстве механизмов анализа текущего окружающего контекста, в котором проходит взаимодействие, и недостаточном использовании стационарных распределенных вычислительных и сенсорных ресурсов для обслуживания пользователей. Указанная проблема состоит из двух частей. Во-первых, существующие системы цифровой обработки аудиовизуальных сигналов и распознавания образов достигли достаточно высокой точности, однако перейти к уровню понимания речи и трехмерных сцен пока не удается. Причиной этого является недостаточное количество данных, описывающих контекстную информацию и сложность ее формализации для абстрактных задач. Во-вторых, проблемы двух научных парадигм, таких как робототехника и окружающее интеллектуальное пространство до недавнего времени решались независимо. В результате многие сложные задачи распознавания образов, невыполнимые на ограниченных вычислительных и информационных ресурсах мобильных робототехнических комплексов, делали невозможным оснащение робота многомодальным пользовательским интерфейсом с функциями речевого диалога. С развитием облачной робототехники и применением, так называемого, экологического подхода, где мобильным робототехническим комплексам отводятся только специализированные функции, не решаемые стационарными окружающими устройствами, ситуация в методах взаимодействия и совместной работы человека с роботом кардинально меняется. В рамках проекта разрабатывается система распределения задач по многомодальному взаимодействию пользователей с мобильными роботами и другими обеспечивающими устройствами киберфизического пространства. Для ее создания будет исследован новый подход к распределению сенсорных, сетевых, вычислительных и сервисных задач между мобильным роботом, встроенными устройствами, мобильными клиентскими устройствами, стационарным сервисным оборудованием, облачными вычислительными и информационными ресурсами и реализованы на его основе программные средства для организации многомодального проактивного обслуживания пользователя в окружающем киберфизическом интеллектуальном пространстве. Апробация предложенного подхода и реализующих его структурно-параметрической, функционально-параметрической моделей и программных средств киберфизического пространства будет проводиться на тестовых сценариях обслуживания гостей некоторой организации, включая отработку многомодального взаимодействия пользователей с мобильными роботами и другими обеспечивающими устройствами. Разрабатываемый подход многомодального обслуживания пользователя киберфизического пространства будет использовать унифицированные протоколы для распределенной работы с внешними модулями, что позволит заменять их наиболее конкурентно способными, в том числе разработанными внешними исполнителями. В рамках проекта заявлены довольно амбициозные цели по обеспечению многомодального взаимодействия пользователя с мобильными роботами и окружающими компьютеризированными устройствами, реализация которых возможна благодаря существенному научному заделу и наличию у исполнителей программно-аппаратного обеспечения анализа, распознавания и синтеза аудиовизуальных образов, а также ведущихся параллельно проектов по разработке робототехнических комплексов и многомодальных систем. В частности, созданные ранее модули цифровой обработки речи, распознавания речи, распознавания лиц и другие будут использованы для проектирования прикладных демонстрационных моделей персонифицированного речевого диалога по выбранным тестовым сценариям.
Итоговый отчет за весь срок выполнения проекта:
За 2016 год в ходе работы над проектом была разработана структурно-параметрическая модель киберфизического пространства, ориентированная на анализ поведения пользователей в текущей ситуации и предоставление сервисов, реализуемых распределенными встроенными и стационарными сенсорными, активационными, вычислительными, информационными ресурсами, а также мобильными роботами и клиентскими устройствами. В первую очередь, для построения структурно-параметрической модели был выполнен аналитический обзор существующих киберфизических систем (КФС), моделей и сервисов, показавший, что в системах управления объектами, в том числе КФС, функционирующих в режиме реального времени, точность и период прогнозирования становятся критичными. При этом чаще всего описываются время выполнения задач и привлекаемые для их решения ресурсы с использованием метрики минимального/максимального времени выполнения задачи.
Несмотря на наличие результатов решения частных задач по обеспечению функционирования киберфизических систем, решения по их синтезу для конкретных применений и, как следствие, решение задачи по обеспечению взаимодействия элементов систем на тот момент отсутствали. Важным этапом формирования этих решений является концептуальное моделирование. Будем предполагать, что перед киберфизической системой стоит двойственная задача:
1) создание в заданных областях физического пространства таких условий («информационных полей»), при которых каждый элемент (узел) КФС, находящийся в указанных областях, может определять своё местоположение, обмениваться информацией друг с другом, определять и оценивать состояние внешней среды (пользователя);
2) создание и поддержание в пространстве такой структуры КФС, которая позволит за заданное (либо минимальное) время осуществлять непосредственное вещественное, либо энергетическое взаимодействие с пользователем, в ходе которого будет выполняться целевая задача, стоящая перед системой.
Для формализации взаимосвязей между различными вариантами построения элементов системы использовалась традиционная альтеративно-графовая формализация, в рамках которой различные варианты построения элементов системы (либо множества таких элементов) задаются в виде вершин альтернативного графа, а дуги отражают характер взаимосвязей между ними. В более общем случае возможен динамический вариант постановки рассматриваемых задач структурно-функционально-параметрического синтеза КФС и соответствующего киберфизического пространства (КФП), который базируется на разрабатываемой прикладной теории проактивного мониторинга и управления структурной динамикой сложных организационно-технических объектов. В этом случае описанная выше статическая задача и модель синтеза может погружена в более общую постановку задачи многокритериального синтеза таких программ управления функционированием и развитием КФС и КФП.
Для тестирования разрабатываемых моделей КФС были предложены сценарии для различных категорий пользователей, а также принципы управления контентом, отображаемым на экране, с помощью специальных сигналов и событий, генерируемых по временным меткам или по результатам взаимодействия с пользователем. На основе разрабатываемого модельно-алгоритмического обеспечения была создана и протестирована многомодальная информационно-навигационная облачная система (МИНОС) для реализации корпоративного киберфизического интеллектуального пространства. Пользователи, взаимодействующие с компонентами МИНОС. Сценарии использования информационно-навигационной системы представлены в виде диаграммы Use Case. Взаимодействие системы с посетителем осуществляется с помощью меню, где в зависимости от категории посетителя предлагаются те или иные сервисы. Новые постоянные пользователи должны пройти регистрацию в системе, предоставив свои биометрические данные. Гости института могут обратиться к справочным сервисам, включающим предоставление информации об институте и его структуре, поиск аудиторий и связь с сотрудниками института с помощью системы видеоконференцсвязи.
В 2017 году была разработана функционально-параметрическая модель, программное обеспечение, методики тестирования и критерии оценки, а также первая демонстрационной версия системы распределенного решения задач анализа поведения пользователя в текущей ситуации и предоставления сервисов в киберфизическом пространстве. Также велась разработка конструктивных элементов торса и манипуляторов антропоморфного робота Антарес, предназначенного для решения задач сопровождения пользователей в киберфизическом пространстве.
В 2017 году на основе разработанной на первом этапе структурно-параметрической модели киберфизического пространства, была исследована и предложена функционально-параметрическая модель. В качестве прототипа модели анализировалась структура корпоративного киберфизического пространства (КФП) на примере МИНОС, основными компонентами которой являются:
- система корпоративного телевидения, позволяющая выводить актуальную информацию в соответствии с календарем событий как на мониторы, расположенные в организации, так и на мобильные устройства пользователей;
- система автоматизации оборудования, отвечающая за видеомониторинг и сохранение электроэнергии;
- система видеоконференцсвязи, предназначенная для коммуникации зарегистрированных в системе удаленных пользователей;
- система регистрации и идентификации пользователей, позволяющая как персонифицировать сервисы в соответствии с профилем пользователя, так и обнаружить нарушение режима безопасности организации;
- система навигации пользователя внутри помещений организации, предоставляющая в распоряжение пользователя трехмерную карту организации с возможностью проложить маршрут к интересующему его объекту, а также сервис сопровождения мобильной робототехнической платформой (МРП).
При разработке функционально-параметрической модели распределенного решения задач анализа поведения пользователя в текущей ситуации и предоставления сервисов в киберфизическом пространстве также был рассмотрен вопрос выбора протоколов связи между киберфизическими компонентами, реализующих передачу служебных и мультимедийных данных в КФП посредством технологий интернета вещей с использованием гибридных устройств связи. Использование различных протоколов и технологий в IoT-сетях ведет к отсутствию унификации модулей и увеличению количества несовместимых друг с другом решений. Современные IoT-сети не рассчитаны на передачу потоковых аудио- и видеоданных, что сужает область их применения. Также современные IoT-сети должны содержать области связи с устройствами, передающими данные в глобальную сеть интернет и учитывать аппаратную и программную специфику работы данных устройств. Авторами предложен универсальный подход к организации IoT-сетей с использованием гибридных модулей, которые обеспечивают гибкость, масштабируемость, энергоэффективность и универсальное использование сети для передачи различных типов мультимедийных данных. Данный подход учитывает программные и аппаратные особенности устройств передачи данных в IoT-сетях, что позволяет автоматизировать процесс связи модулей, выбранных пользователем.
Была разработана первая демонстрационная версия системы отображения цифрового контента в соответствии с предъявляемыми требованиями. Разработанная система состоит из сервера, мониторов и администраторских терминалов, взаимодействующих по сети. Ключевым компонентом данной системы является сервер, к его функциям относится хранение информации о мониторах и их группах, пользователях, отслеживание событий, хранение медиаконтента, формирование расписаний отображения медиаконтента для каждого монитора, формирование и передача мониторам медиаконтента и управляющих команд, предоставление администратору и операторам веб-интерфейса для управления системой.
Разработанная функционально-параметрической модель была реализована в виде корпоративной информационной системы (МИНОС) на основе сервис-ориентированной архитектуры (СОА) и состоит из слабосвязанных сервисов, взаимодействующих по унифицированным протоколам с использованием веб-сокетов. В сравнении с подходом REST применение веб-сокетов позволяет на протяжении длительного времени поддерживать соединение в активном состоянии и не выполнять его открытие и закрытие при каждой передаче данных. Это особенно важно при использовании безопасного соединения (в протоколах TLS, HTTPS и др.), когда создание логического канала требует генерации ключей. Эта операция длится дольше, чем передача среднестатистического JSON-сообщения, и использование традиционного REST-подхода приведёт к существенным накладным расходам и снижению времени отклика сервисов. Кроме того, веб-сокеты позволяют контролировать статус соединений и оперативно определять сервисы, по каким-либо причинам отключившиеся от системы.
Разработанная первая демонстрационная версия системы позволяет координировать корпоративные сервисы для достижения целей на уровне организации, таких как обмен информацией, мониторинг безопасности, и т.п. на основе применения аппарата темпоральной логики действий над множеством объектами и отношений в модели данных корпоративного интеллектуального пространства.
К концу 2017 года был разработан каркас антропоморфного робота Антарес, включающий в себя модули торса, головы, манипуляторов и педипуляторов (рис. 29). Робот оснащен 22 сервоприводами, необходимыми для передвижения, контроллером и двумя вспомогательными субконтроллерами, камерой. Переработано двухмоторное колено для упрощения кинематической схемы робота и оптимизации системы управления. В дальнейшем для очувствления робота будет разрабатываться система датчиков, включающая в себя датчики стопы для обратной связи о равномерном контакте с поверхностью, по которой движется робот, гироскоп и акселерометр для определения положения робота в пространстве.
В рамках контроля за выполнением, приоритезацией и отслеживанием поставленных пользователями задач выделены следующие ключевые функциональные возможности: формирование списка задач для компонентов системы на основе алгоритма распределения задач между компонентами интеллектуального пространства; приоритезация задач, которые ставят пользователи перед системой; контроль процесса выполнения и результатов выполнения пользовательских запросов к системе.
В рамках МИНОС к ключевым исходным данным относятся данные о взаимодействии пользователей с сервисами системы, данные о функционировании отдельных сервисов (журналы записей, события и пр.), а также данные о взаимодействии с компонентами КФП. На основе как приведенных на рис. 1, так и других данных с использованием средств интеллектуального анализа данных формируются: журнал системной активности, история пользовательской активности, а также уточняется информация в хранилище профилей пользователей. Полученные результаты используются: для построения паттернов поведения пользователей, аналитических отчетов относительно функционирования системы и пользовательской активности, кроме того, результаты анализа первичных данных необходимы для корректного функционирования подсистемы распределения и приоритезации задач, а также подсистемы управления хранилищами и подсистемы, осуществляющей управление системными ресурсами. Все вышеперечисленное позволяет обеспечить более высокое качество работы пользовательских сервисов МИНОС, оптимизировать управление системными ресурсами, а также обеспечить персонализацию взаимодействия пользователей с КФП.
Разработанная диаграмма компонентов описывает особенности физического представления системы и позволяет определить архитектуру разрабатываемой системы, установив зависимости между ее компонентами. В данном случае диаграмма была использована для построения логической архитектуры системы. Среди основных компонентов данной системы в рамках выбранной модели можно выделить следующие сервера и хранилища: центральный сервер управления – планировщик задач; хранилище профилей пользователей; хранилище результатов анализа пользовательской активности; сервер по анализу пользовательской активности; хранилища результатов работы по каждому из основных сервисов; аналитические хранилища результатов работы каждого из основных сервисов; сервер функционирования; сервер аналитики по сервису. Отдельно следует выделить группу приложений для взаимодействия пользователей с МИНОС посредством различных устройств. Также необходимо отметить наличие административного сервиса для осуществления управления системой. Разработана событийно-процессная модель КФП уровня «пользователь – приложение», которая отражает основные события, возникающие при взаимодействии пользователей с компонентами КФП, а также ключевые процессы, их инициирующие. С помощью модели типа «сущность – связь» были определены ключевые сущности и взаимосвязи между ними. Данное архитектурное описание системы содержит представление ее ключевых компонент в различных контекстах, что позволило сформировать унифицированное представление системы, и, таким образом, обеспечить взаимную интегрируемость ее компонентов и согласованность разделяемых в рамках системы данных. Представленная архитектура позволяет обеспечить соответствие функциональных возможностей системы выдвигаемым к ней требованиям, в частности, позволяет организовать многомодальное проактивное обслуживание пользователей в рамках КФП, персонализировать взаимодействие пользователей с предоставляемыми системой сервисами, а также достичь требуемого уровня эффективности управления системными ресурсами.
Рассмотрены вопросы обеспечения доступности сервисов корпоративного интеллектуального пространства. В качестве угроз доступности для такой системы рассмотрены намеренные и ненамеренные воздействия на интеллектуальное пространство, включая конфликтующие запросы, исчерпание ресурсов, сетевые атаки. Были исследованы известные методы организации запросов для противодействия этим угрозам, предложена методика оценки доступности сервисов, построена модель системы массового обслуживания и проведены эксперименты с различными стратегиями управления запросами и методами их фильтрации. Были выявлены следующие ключевые требования, от оптимизации которых зависит качество обслуживания пользователей: интенсивность поступления заявок; их ресурсоёмкость; количество пользователей. Кроме того, все заявки характеризуется параметрами, определяющими пользователя, сессию, модальность и запрашиваемое действие, а также могут быть классифицированы по распределённости, по приоритету; по процедуре выполнения; по длительности; по связи с другими заявками. Проведена симуляция процесса обслуживания заявок в модели второй демонстрационной версии системы распределения задач по многомодальному обслуживанию пользователей. Установлено, что без учёта приоритетов стратегии с отказами более эффективны, чем стратегии с очередями в случае, если приоритет заявок не учитывается, что объясняется чувствительностью системы к задержкам. Заметно также, что в стратегиях с очередями ограничение длины очереди положительно влияет на величину показатель эффективности. Подобное ограничение приводит к отмене задач с большой величиной задержки, которые занимают ресурс, но не вносят существенного вклада в величину показателя эффективности. Тем не менее, такие стратегии всё равно уступают стратегиям с отказами, которые являются их частным случаем при нулевой длине очереди. Таким образом, в рассмотренных условиях можно считать оптимальной стратегию, предусматривающую использование дисциплины FIFO, если новая заявка имеет более низкий приоритет, и отклонение конкурирующих заявок в остальных случаях. Фильтрация позволяет частично устранить нелегитимные запросы и увеличить значения показателя эффективности. Было проведено моделирование для оценки значений эффекта с использованием фильтрации по разным пороговым значениям статистических моментов и энтропии. Было выявлено, что значение показателя эффективности имеет максимумы, которые зависят как от выбранных пороговых значений, так и от условий функционирования (интенсивностей запросов). Слишком низкие значения порогов приводят к множеству ошибок первого рода, высокие – к ложным срабатываниям. Таким образом, задача определения параметров для методов фильтрации может быть представлена как оптимизационная задача в многомерном пространстве, где измерения соответствуют параметрам применяемых методов фильтрации. Изменение условий функционирования системы может быть учтено с помощью адаптивного подхода к управлению методами фильтрации. Эксперименты показывают, что оценка эффективности такого управления имеет максимумы, зависящие от условий функционирования прикладной системы и параметров системы управления запросами. Таким образом, задача определения этих параметров может быть представлена как оптимизационная задача в многомерном пространстве. Для учёта изменяющихся условий функционирования прикладной системы может использоваться адаптивный подход. Проведённые исследования позволяют улучшить качество обслуживания пользователей в интеллектуальном корпоративном пространстве путём повышения доступности его сервисов.
Создана модель оценки качества восприятия пользователем сервисов КФП. На примере МИНОС были выделены основные параметры QoS сервисов КФП и смоделирована комплексная оценка качества обслуживания пользователей (QoE). Рассматривались следующие сервисы: видеоконференцсвязь (ВКС), корпоративное телевидение (КТ), локализация и навигация (ЛН). При разработке методики оценивания многомодального взаимодействия пользователей с обеспечивающими устройствами окружающего КФП можно выделить показатели качества обслуживания (QoS), уникальные для каждого сервиса, а также ряд показателей, общих для всех сервисов. В частности, каждая пользовательская заявка требует обслуживания (выполнения), которое предполагает загрузку определенных аппаратных и программных ресурсов (дисплей, звук, пользовательская сессия) в течение некоторого времени. Основные параметры QoS, общие для всех модулей КФП, связаны со временем загрузки и инициализации приложений, временем обработки заявок при различном уровне нагрузки на систему (табл. 1). Время обработки запроса является ключевым фактором, определяющим качество обслуживания в информационных сервисах. Помимо вышеперечисленных параметров, на качество восприятия сервисов КФП существенно влияет модальность интерфейса, посредством которого пользователь взаимодействует с системой. По этой причине при моделировании системы оценивания качества обслуживания пользователей необходимо учитывать: точность используемых алгоритмов распознавания речи, точность используемых алгоритмов распознавания лиц, удобство графического интерфейса.
Сервис ВКС является наиболее чувствительным к воздействию множества различных факторов и, вместе с тем, к нему предъявляются наиболее высокие требования, поскольку он должен обеспечить передачу аудио- и видеопотока приемлемого качества в реальном времени между разнородными пользовательскими устройствами. Выделяют следующие параметры QoS для сервиса видеоконференцсвязи: коэффициент потери пакетов (Packet Loss Rate, PLR), определяется как отношение количества потерянных пакетов к общему числу пакетов; джиттер (Jitter), искажение периодического характера потока пакетов между источником и пунктом назначения; пропускная способность (Bandwidth); время отклика пирингового соединения; потребление ресурсов центрального процессора и оперативной памяти клиентской и серверной частей приложения. Последние вносят наибольший вклад в оценивание параметров качества сервиса ВКС независимо от аппаратной платформы. В основе разработанного веб-приложения ВКС использованы решения, направление на сокращение объема передаваемых внутри сети мультимедийных данных. Для этого, в частности, в архитектуру приложения был внедрён механизм соединения участников ВКС по схеме звезды, что позволило добиться сокращения нагрузки на сервер приложения и уменьшения траффика. Предложенная организация модулей ПО сетевого соединения приложения ВКС предоставляет пространство для внедрения дополнительных функций в приложение. В рамках КФС управляемые аккаунты могут использоваться в модулях обеспечения безопасности и управления доступом, к примеру, для обеспечения контроля за рабочими местами, производством и другими объектами. Организация хранения и обработки данных позволяет внедрить модуль ВКС в КФС, а также сделать удобным его использование как на терминалах и мобильных робототехнических платформах, так и на клиентских мобильных устройствах.
Параметры QoS сервиса корпоративного телевидения связаны с задержками, отказами и потерями, возникающими при трансляции медиаконтента. В рамках работ над модулем КТ была сформирована архитектура сервиса, разработано клиентское и серверное программное обеспечение для управления системой, а также реализован веб-интерфейс администратора этой системы. Данная система корпоративного телевидения использует стандартные сетевые технологии и не привязана к конкретным программно-аппаратным платформам, а также соответствует критериям расширяемости и переносимости. Модуль КТ предусматривает возможность интерактивности и персонализации путем интеграции с системными сервисами идентификации и хранилищем профилей пользователей.
На QoS сервиса локализации и навигации внутри помещений влияет морфология среды, структура системы локализации, а также свойства используемой технологии передачи данных. Основные параметры, которые при этом учитываются – это точность локализации пользователя (Localization Accuracy), определяемая в нашем случае как ошибка предсказания обученного алгоритма, и частота отчета о местоположении (Position Report Frequency), определяемая на стадии разработки аппаратной части системы. Было произведено сравнение модулей, использующих беспроводные технологии передачи данных, с точки зрения обеспечения требуемой скорости передачи данных для проектирования КФП в зависимости от предполагаемого расстояния между модулями. У Wi-Fi-модулей к положительным качествам относятся самая высокая пропускная способность, большой радиус действия, низкая стоимость, защищенность, к отрицательным – высокая загруженность частот диапазона Wi-Fi, из-за чего может происходить потеря пакетов данных. Преимуществом модулей LoRa является большой территориальный охват низкочастотных радиоволн, что позволяет отправлять на данные на расстояние свыше 1 км, но отрицательным характеристикам относится низкая скорость передачи данных, что также объясняется передачей данных на низкой частоте. Главным преимуществом модулей Bluetooth является низкая стоимость и, сравнительно с LoRa, высокая скорость передачи данных. При этом их отличает маленький радиус действия, что не позволяет их использовать на больших территориях. При построении беспроводной вычислительной сети КФП модули LoRa целесообразно использовать для передачи управляющей информации. Для организации передачи неслужебных данных средствами КФП в условиях офисных помещений более подходящими являются модули Bluetooth и Wi-Fi, благодаря их высокой скорости передачи данных на относительно небольшие расстояния.
Разработанное приложение для локализации и навигации предоставляет пользователю возможность определения своего местоположения в системе, а также построения маршрута между заданными точками. Разработаны административная и пользовательская части приложения. Первая предназначена для администраторов системы и служит инструментом работы с геолокационными метками, которые можно создавать, удалять и редактировать. Пользовательская часть предназначена для людей, которые могут, отсканировав метку при помощи камеры, определить свое местоположение и использовать его как отправную точку для построения маршрута. Точки для построения маршрута можно выбирать как вручную на карте, так и уже из списка имеющихся в системе меток. Изначально пользователю нужно выбрать необходимый этаж здания и уже на нем выбирать нужную метку. Информация о фактическом расположении пользователя в интеллектуальном пространстве дает возможность оптимизировать работу других систем и сервисов КФП, включая сервис персонализации и инженерные сети, что способствует более эффективному распределению ресурсов организации. Кроме того, сервис ЛН обеспечивает налаживание дополнительных взаимосвязей между элементами интеллектуального пространства, а исторические данные о перемещениях пользователя способствует более эффективному распределению задач между средствами КФП.
Выделены основные показатели качества восприятия сервисов видеоконферецсвязи, корпоративного телевидения, а также локализации и навигации, реализованных в киберфизическом интеллектуальном пространстве. Представлены экспериментальные данные тестирования данных сервисов, а также разработана модель для оценки математического представления отношений ключевых показателей производительности для всех сервисов системы. Предложенная модель оценки качества восприятия сервисов КФП позволяет на основе исторических данных об объективных параметрах качества обслуживания пользователей оценить, какие параметры качества восприятия вносят наибольший вклад в субъективную оценку сервиса пользователем, а также, какие параметры сервисов КФП требуют доработки и улучшения. Представленная модель может использоваться на этапе разработки для мониторинга ключевых показателей производительности системы и проверки их на соответствие предъявляемым требованиям.
Разработана архитектура программного обеспечения робота Антарес, включающая следующие модули: модуль конфигурирования и взаимодействия с сервоприводами; модуль кинематики, в котором реализованы алгоритмы обратной кинематики для нижних и верхних конечностей робота; модуль походки, адаптирующий реализацию алгоритма походки Darwin OP под ПО Антареса; модуль камеры; модуль Point2World, который по положению пикселя на картинке рассчитывает положение объекта в пространстве в локальных координатах робота; модуль LookAt, который рассчитывает углы сервоприводов головы робота для направления камеры на нужный объект в пространстве; модуль, получающий данные с IMU-сенсоров и модуль фильтров для IMU-сенсоров. Такая архитектура предназначена для реализации ПО на базе фреймворка ROS (Robot Operating System), что позволяет выполнять программные элементы робототехнической системы, представленные узлами ROS, с низкой взаимозависимостью между друг другом. Это позволяет повторно использовать уже написанный код в разных робототехнических системах, а также проводить быстрое переконфигурирование архитектуры ПО робототехнической системы во время разработки. Разработанная архитектура позволяет проводить быстрое прототипирование и тестирование робототехнического ПО за счет использования инструмента визуализации rViz, симулятора Gazebo и различных встроенных библиотек. Для тестирования алгоритмов управления движением робота Антарес была построена симуляционная модель робота в формате URDF, которая позволяет без изменения системы работать с симуляторами и визуализаторами ROS. Модель включает в себя визуальные части, необходимые для отображения, и части коллизий, необходимые для симуляции динамики и физики. Части коллизий представлены примитивами для упрощения вычислений и ускорения работы симуляторов. Усовершенствована конструкция робота Антарес, из прототипа исключены открытые для воздействия внешней среды механические передачи. Для снижения износа проводных соединений и осевых тазовых приводов робота разработан новый тазовый механизм робота, гасящий ударные нагрузки, возникающие при ходьбе робота, кулачковой упругой муфтой с пропускным каналом, отведенным для кабелей питания и управления педипуляторами робота. Упругая муфта гасит ударные нагрузки при передвижении робота благодаря демпферам из силикона и FLEX-пластика, используемого в 3D-печати. При сборке узла для снижения трения и увеличения срока службы деталей используются прокладки из фторопласта. Установлены датчики для ориентации робота в пространстве: модуль камеры и микрофона для получения аудиовизуальной информации и модуль гироскопа, акселерометра и магнетометра. Вес готового к работе робота составляет 6,6 кг. Рост робота составляет 77 см. Базовый каркас робота обладает 20 степенями свободы. Возможно увеличение количества степеней свободы за счет установки захватных устройств и наклонно-осевых механизмов. Манипуляторы и педипуляторы робота оснащены специальными хабами, контролирующими питание и управляющими сервоприводами. Каждый основной узел робота имеет собственный субконтроллер и вспомогательный аккумулятор, позволяющий использовать его как отдельное устройство. Основной и вспомогательные аккумуляторы образуют распределенную систему питания, снижая потери энергии при питании конечных звеньев исполнительных механизмов робота. Субконтроллеры выполняют роль хабов, объединяя в себе системы управления сервоприводами и питанием робота. Несущий каркас робота изготовлен из алюминиевых сплавов АМг6 и Д16Т. В конструкции робота используются демпфирующие элементы, изготовленные с применением 3D-печати, гасящие ударные нагрузки, а также фторопластовые элементы для снижения трения в узлах робота. В конструкции использовано 16 сервоприводов Dynamixel MX-64 в педипуляторах и плечевых суставах, а также 6 сервоприводов Dynamixel MX-28 в малонагруженных узлах. Бедренные узлы робота разработаны для размещения внутри дополнительных аккумуляторов, стабилизирующих питание в ногах робота. Для снижения нагрузки коленный сустав включает спаренные сервоприводы MX-64. Голеностопный и тазобедренный суставы по функциональности подобны суставам в человеческом организме. Для очувствления робота используются Камера Logitech Brio (разрешение до 4096x2160; угол обзора 90 градусов; максимальная частота 90 Гц; встроенный микрофон; автофокус; цифровой 5-кратный зум; инфракрасный датчик для распознавания лиц) и IMU-сенсор (3-осный акселерометр LIS331DLH; 3-осный гироскоп L3G4200D; 3-осный магнетометр LIS3MDL; протокол связи I²C).
Согласно результатам проведенных исследований для получения существенной информации в отношении свойств поверхности, с которой осуществляется взаимодействие со стороны робототехнического средства, недостаточно использовать лишь силомоментные датчики или датчики нагрузки, требуется использовать более сложные сенсорные структуры, основанные на комбинировании различного рода сенсорных устройств. В связи с этим в рамках проекта был осуществлен обзор методов и подходов к комбинированию тензорезистивных и емкостных сенсорных устройств с целью анализа возможности совместного применения датчиков давления и приближения для улучшения результатов анализа поверхностей объектов. Кроме того, был выполнен анализ актуальных исследований в контексте внедрения комбинированных сенсорных устройств в конечности шагающих роботов. По результатам проведенного анализа и собственных исследований были сформированы ключевые требования к сенсорным устройствам, внедряемым в конечности шагающих роботов: сенсорное устройство должно соответствовать некоторым параметрам чувствительности, рабочего диапазона и иметь стабильные характеристики, должно иметь достаточную защищенность от пыли и влаги. Необходимым условием также является возможность разработки на основе данного датчика матричных сенсорных структур. Поскольку собственные исследования осуществлялись на примере внедрения сенсоров в шагающего антропоморфного робота (Антарес), то для успешной установки сенсоров на опорную поверхность стопы данного класса робототехнических систем были выявлены дополнительные требования, в частности, необходимо, чтобы соответствующее устройство обладало минимально возможной толщиной, поскольку увеличение данного параметра у соответствующих сенсорных устройств негативным образом сказывается на характеристиках механического движения робота: приводит к снижению устойчивости, за счет смещения центра тяжести системы; увеличивает совокупный вес конструкции; приводит к необходимости внесения дополнительных корректировок в кинематические уравнения, связанные с управлением движением робототехнического средства.
По результатам проведенных исследований было установлено, что на сегодняшний день, среди существующих датчиков давления для установки в конечности шагающих роботов чаще всего применяют тензорезистивные пленочные датчики, однако, данный класс устройств характеризуется нелинейной зависимостью между сопротивлением и приложенным давлением, а также имеет относительно высокое значение погрешности измерений и дрейфа показаний. Величина соответствующих параметров как правило ниже у датчиков, работающих на емкостном принципе, при этом определенные конструкции первичных емкостных преобразователей давления обладают малой толщиной. В результате проведенных исследований также было установлено, что сенсорные устройства емкостного типа имеют большую стабильность выходного сигнала по сравнению с тензорезистивными датчиками слоистых структур. В связи с этим перспективной является разработка датчика давления, основанного на емкостном принципе, что, позволит повысить точность и достоверность соответствующих измерений. Кроме того, поскольку комбинирование устройств с разными принципами работы является более затруднительным, а их совместное использование неизбежно приводит к снижению стабильности и точности показаний обоих устройств, то комбинирование емкостных датчиков давления с емкостными датчиками приближения в единую матричную структуру, представленную датчиками двух типов, позволит реализовать комбинированное сенсорное устройство для анализа давления и приближения, характеризующееся большей простотой с точки зрения схемотехнического решения, а также повышенной стабильностью характеристик, в сравнении с решениями, использующими резистивные датчики давления и емкостные датчики приближения при формировании комбинированных матричных структур.
Был проведен расширенный аналитический обзор методов машинного обучения для определения свойств и особенностей поверхностей. Поскольку в рамках проекта планируется сформировать подход к осуществлению робототехническим средством захвата и дальнейшей манипуляции объектами на основе разнородных данных киберфизического окружения, целью данного обзора являлось изучение методов, применимых для формирования виртуальных трехмерных представлений объектов. В частности, для этого могут быть использованы данные как стационарных камер киберфизического окружения, так и камер, установленных на робототехнических средствах, интегрированных в него. Таким образом, в процессе выполнения работ над проектом были проанализированы различные методы сегментации изображений и поиска объектов на изображениях. В результате проведенного анализа для дальнейшего использования была выбрана нейронная сеть Mask R-CNN, которая характеризуется возможностью быстрого дообучения и более высокой скоростью работы по сравнению с аналогами. Кроме того, в рамках проекта были исследованы различные методы построения карт глубины на основе стереоизображений, на основе одного двумерного изображения с использованием глубокой свёрточной нейронной сети (CNN), с использованием датчиков глубины (LIDAR, RGB-D камера). По итогам проведенного анализа было принято решение воспользоваться подходом на основе глубокой свёрточной нейронной сети. Для решения задачи построения карты глубины в качестве типовой архитектуры была выбрана архитектура, с заявленным значением СКО 0,573, поскольку она обладает меньшим количеством параметров обучения, а значит, требует меньшего количества данных для обучения, чем аналогичные методы. Архитектура данной сети построена на основе остаточной нейронной сети ResNet-50 и дополняет последнюю новыми блоками, которые содержат меньшее количество весов, при этом повышая точность предсказания карт глубины.
В рамках проекта был также рассмотрен вопрос преобразования построенной карты глубины в трехмерное представление объекта. В общем случае трёхмерное представление объекта может быть представлено в виде облака точек, полигонов или вокселов. В процессе анализа соответствующих исследований был сделан вывод о наибольшей эффективности воксельного подхода, поскольку он не тратит ресурсов или пропускной способности на плохосжимаемые компоненты векторов или векторных представлений данных, таких как полигоны и облака точек. Также воксели абсолютно пригодны для построения трехмерных объектов для их дальнейшего анализа и поиска ключевых точек захвата. На основе проведенных исследований был разработан собственный метод сканирования объектов внешнего окружения, осуществляющий определение их геометрических характеристик и положения в пространстве. Разработанный метод предполагает последовательную реализацию следующих шагов: получение изображения сцены, сегментация области объекта, получение карты глубины, построение трехмерного представления объекта. Первый этап обеспечивает формирование исходных данных для построения трёхмерной модели, которые представляют собой данные, полученные с видео- или фотокамеры. На втором этапе проводится сегментация изображения, которая в данном случае используется для выделения основного объекта из окружающей среды для построения более точной карты глубины. Затем осуществляется непосредственное построение карты глубины для выделенного в результате сегментации участка сцены, а на заключительном шаге построенная карта глубины преобразуется в трехмерное представление целевого объекта.
В процессе выполнения проекта был также проведен анализ работ, посвященный обеспечению возможностей по захвату объектов робототехническим средством, который показал, что наибольшей точности определения точек захвата объектов достигает модель нейронной сети 6-DOF GraspNet. Данная модель нейронной сети была выбрана для дальнейшего использования в рамках проекта, поскольку помимо наибольшей точности в определении точек захвата объектов, она также способна верно определять точки захвата для предметов, имеющих более сложную форму (широкие чашки и кружки) и относительно больший размер (коробки), чем существующие аналоги. Согласно результатам проведенного анализа для построения траектории движения робототехнического средства к целевому объекту могут быть использованы распространённые алгоритмы управления, представленные в библиотеке MoveIt, большинство из которых достаточно хорошо справляется с решением этой задачи. По результатам подробного анализа специфики и особенностей применения данных алгоритмов, в рамках проекта было принято решение воспользоваться планировщиком путей RRT-Connect.
В целях разработки подхода к осуществлению робототехническим средством захвата и перемещения объектов окружающей среды с учетом проведенного анализа методов реализации в шагающих роботах сенсорных систем, обеспечивающих анализ поверхностей был разработан собственный емкостной датчик давления для применения в шагающих роботах. Для реализации считывания показаний с первичного емкостного преобразователя давления было разработано схемотехническое решение. Одним из преимуществ разработанного схемотехнического решения является линейная выходная характеристика датчика. Данный факт обусловлен тем, что для получения данных о давлении с емкостного первичного преобразователя давления (ППД), используется не прямое измерение изменяющегося параметра (емкости), а косвенное измерение реактивного сопротивления, которое изменяется линейно в зависимости от расстояния между электродами ППД. Линейное изменение расстояния между электродами ППД в свою очередь обусловлено упругой деформацией материала, расположенного по периметру электродов (силикон). Разработанный емкостной датчик давления измеряет силу в диапазоне, позволяющем использовать его в стопе шагающих роботов малых и средних размеров, и разработать на его основе матрицу сенсоров для анализа поверхностей. Разработанный емкостный ППД прост в изготовлении и не требует применения специальных технологий и материалов, в отличие от тензорезистивных датчиков. Прототип датчика с деформируемым элементом из силикона с имеет чувствительность к приложенному давлению 0,122 В/кг и диапазон работы до 5 кг, в котором показания датчика носят линейный характер. Разработанное схемотехническое решение позволяет ставить приложенное к датчику давление в линейное соответствие выходному сигналу, что является важным параметром при эксплуатации сенсорного устройства в опорной конечности робота. Это позволит снизить затраты вычислительных ресурсов на обработку показаний, получаемых с датчика. Полученные значения циклического дрейфа (0,29 %) значительно ниже, чем у пленочных тензорезистивных датчиков (3-5%) которые чаще всего устанавливают в стопы шагающих роботов.
Кроме того, была разработана методика расчета чувствительности мембранных емкостных сенсоров на основе электретов. Разработанная методика позволяет вычислять статические, динамические и электрические характеристики системы. Предлагаемая методика позволяет сравнительно просто и достаточно точно производить расчет прогибов мембран под действием электростатических сил, оценивать чувствительность электретных емкостных сенсоров мембранного типа, нагруженных на RC-нагрузку и анализировать влияние различных параметров емкостных сенсоров на их характеристики. По предложенной методике проведен расчет характеристик электретного микрофона с заданными параметрами, показавший высокую сходимость с экспериментально полученными характеристиками. Дальнейшие исследования в этой области будут продолжены в направлении разработки матрицы, состоящей из электретных емкостных сенсоров, для последующей установки в робототехнические системы.
По результатам исследований подготовлено более 20 статей, индексируемых в РИНЦ, Scopus/WoS, включая статьи в журналах (Известия вузов. Приборостроение; Мехатроника, автоматизация, управление; Программная инженерия; Информационно-управляющие системы; Известия Юго-Западного государственного университета) и трудах международных конференций: ICR 2016, SPECOM 2016, ICMMR 2016, ЭР-2016, ZR’2017 (апрель 2017, Россия), SPECOM’2017 (сентябрь 2017, UK), ICR'2017 (сентябрь 2017, UK), Экстремальная робототехника (октябрь 2017, Санкт-Петербург, Россия), Управление в распределенных и сетевых системах УРиСС-2017 (сентябрь 2017, Россия), Математические методы в технике и технологиях – ММТТ-30 (май 2017, Россия), БТС'2017 (октябрь 2017, Россия), ER-2017 (ноябрь 2017, Россия), AIEEE’2017 (ноябрь 2017, Латвия), ZR-2018 (апрель 2018, Россия), ICR-2018 (сентябрь 2018, Германия), ITaS-2018 (сентябрь 2018, Россия), MMET NW 2018 (сентябрь 2018, Россия).
Получен патент на изобретение № 2638003 от 08.12.2017 «Способ распределения задач между сервисными роботами и средствами киберфизического интеллектуального пространства при многомодальном обслуживании пользователей», авторы: Ронжин А.Л., Савельев А.И., патент зарегистрирован в ЕГИСУ НИОКТР: https://rosrid.ru/rid/DKEKK5PGLPUO71HYB1HPIQNA
Ведется сопровождение веб-страницы на сайте лаборатории автономных и робототехнических систем (robotics.nw.ru), посвященной проблематике проекта и представляющей текущие научные результаты:
http://robotics.nw.ru/servis/project_detail.php?ID=186
Кроме того, результаты исследований, в частности, робот Антарес, неоднократно освещались в СМИ:
https://www.spb.kp.ru/daily/26707/3732610/
https://paperpaper.ru/photos/eto-my-sobiraem-robotov-kto-v-peterbur/
http://new.guap.ru/pubs/1771
Send us a message
Success/Error Message Goes Here
