- Автоматическая посадка малых беспилотных летательных аппаратов с использованием компьютерного зрения
- Виды бла
- Выбор полетного контроллера
- Дрон научили обходиться без стереоскопического зрения при оценке высоты
- Какие комплексы разрабатываются в россии для противодействия дронам. виды продуктов для защиты от беспилотников
- Нейросеть научила квадрокоптер мягкой посадке
- Позиционирование
Автоматическая посадка малых беспилотных летательных аппаратов с использованием компьютерного зрения
УДК 621.396.41
А.Е. Косова, А.М. Кориков
Автоматическая посадка малых беспилотных летательных аппаратов с использованием компьютерного зрения
Предложена трехуровневая структурная схема системы управления малым беспилотным летательным аппаратом (МБПЛА) – квадрокоптером и выбраны алгоритмы компьютерного зрения для автоматической посадки МБПЛА. Адаптированные к задаче автоматической посадки МБПЛА алгоритмы компьютерного зрения эффективно решают эту задачу. Алгоритм содержит три этапа: определение области цели с помощью алгоритма Camshift; обнаружение признаков в области маркера посадочной площадки на основе алгоритма SURF; сопоставление выбранного шаблона посадочного маркера и целевой области в кадре. Результаты экспериментов и теоретический анализ доказывают эффективность алгоритмов компьютерного зрения для автоматической посадки МБПЛА. Эксперименты подтверждают, что на МБПЛА возможна автономная навигация без использования системы глобального позиционирования GPS или GLONASS.
Ключевые слова: беспилотные летательные аппараты, алгоритмы компьютерного зрения, SIFT, SURF, Camshift, автоматическая посадка БПЛА. doi: 10.21293/1818-0442-2023-20-3-191-196
В настоящее время малые беспилотные летательные аппараты (МБПЛА) используются при решении многих задач: поиск, спасение, мониторинг окружающей среды, наблюдение и инспекция. С помощью МБПЛА легко получить доступ к среде, к которой доступ людей или экипажных транспортных средств затруднён. Особенно это актуально для экстремальных ситуаций: пожаротушение, разведка и т. п. В последнее время для навигации БПЛА широко используются системы глобального позиционирования GPS или GLONASS. Но сигналы из навигационных сетей могут быть бесполезны в конкретной среде. Классическая навигационная система, поддерживаемая GPS, не соответствует требованию автономной навигации в смешанной среде [1]. Развитие высокопроизводительных компьютеров и появление на рынке недорогих видеокамер высокого качества стимулирует широкое использование в БПЛА и МБПЛА систем компьютерного зрения (СКЗ). Исследования возможностей автономной навигации БПЛА и МБПЛА, оснащенных СКЗ, проводятся как в России [2], так и за рубежом [3].
Среди многих задач навигации и управления БПЛА сохраняет актуальность проблема автоматической посадки беспилотного летательного аппарата на определенную посадочную площадку. В этой проблеме можно выделить несколько актуальных задач: распознавание посадочной площадки, оценивание степени её пригодности и безопасности для посадки, наведение и автоматическая посадка МБПЛА на заданный маркер посадочной площадки.
Известные методы распознавания образов можно условно разделить на три группы: методы скользящего просмотра, основанные на поиске максимума корреляции имеющихся эталонных изображений и текущих изображений из заданной области поиска, методы машинного обучения, использующие базу заранее подготовленных примеров, и методы выделения характерных признаков. Первые две группы методов распознавания требуют большого объёма
подготовительных работ и значительных вычислительных ресурсов для достижения приемлемой точности расчетов, поэтому в задачах распознавания объектов на аэрофотоснимках широко применяются методы третьей группы – методы выделения характерных признаков [4-7]. Эти методы не требуют наличия обученного классификатора и применимы практически к любым изображениям. Для решения задач навигации и управления БПЛА из третьей группы методов рассмотрим возможности методов SIFT и SURF.
SIFT (от англ. Scale Invariant Feature Transform -инвариантный к масштабированию алгоритм поиска объекта) [4, 5] обеспечивает распознавание и отслеживание объектов на изображении. SIFT обладает свойствами повторяемости и надёжности, поэтому он широко используется в СКЗ БПЛА.
Herbert Bay и др. разработали SURF (от англ. Speeded Up Robust Features – ускоренные надёжные функции) [6]. SURF, как и SIFT, также применяется в обнаружении точек и сопоставления изображений. SURF включает преобразование Лапласа. Этот алгоритм позволяет быстро различать яркие объекты на тёмном фоне и тёмные на ярком фоне. SURF более надёжный, чем SIFT, в обнаружении и отслеживании точек. Однако SURF имеет большую вычислительную нагрузку.
Известны также модификации методов SIFT и SURF: алгоритм Mean-SHIFT используется при отслеживании объектов; для повышения безопасности и вычислительной эффективности используется алгоритм Camshift (Continuously Adaptive Mean-SHIFT [7]). Алгоритм Camshift применяется для отслеживания вертолётной площадки и поиска её области. После этого используется SURF для определения точек объектов в целевом изображении в области цели.
Аппаратные средства для экспериментов
Для проведения экспериментов использовался МБЛА – квадрокоптер Parrot AR.Drone [8], включающий различные датчики. Инерциальная система
управления (IMU – Inertial measurements unit – устройство для осуществления инерциальных измерений) квадрокоптера состоит из трёхосного акселерометра, двухосного гироскопа, одноосного гироскопа для определения угла рыскания. В составе IMU также имеется ультразвуковой альтиметр 40 кГц дальностью 6 м для обеспечения вертикальной стабилизации.
В данных IMU, включая информацию о курсе МБПЛА, происходит накопление ошибок, поэтому в экспериментах используется компас для обеспечения курса БПЛА. Важная информация об угле наклона получается из вычислений данных IMU и компаса. Квадрокоптер оснащён видеокамерами:
1) спереди квадрокоптера имеется широкофокусная камера VGA 640×480, скорость съёмки которой 15 кадров в секунду, объектив 93° и сенсор CMOS;
2) на нижней части квадрокоптера располагается высокоскоростная камера 176*144, имеющая скорость съёмки 60 кадров в секунду и объектив 64°.
В качестве наземной станции, на которой происходят вычисления, использовался ноутбук. Связь осуществляется беспроводным Ethernet. На рис. 1 показана экспериментальная платформа квадрокоп-тера.
0,51 и-1
Рис. 1. Квадрокоптер Parrot AR.Drone
Структура системы управления
Трехуровневая структурная схема системы управления (СУ) МБЛА представлена на рис. 2.
Система компьютерного зрения
Стратеги ческий уровень
г
*
■ Интерпретатор’
Оператор
Тактический уровень
Вертолётная посадочная площадка
Испольнительн ы н уровень
Квадрокоптер Бортовая
‘-система
Рис. 2. Структурная схема системы управления квадрокоптером
Схему на рис. 2 можно рассматривать как частный случай интеллектуальной системы управления [9].
Стратегический уровень СУ и интерпретатор предназначены для оценивания степени пригодно-
сти посадочной площадки и её безопасности для посадки. СКЗ, тактический и исполнительный уровни СУ предназначены для распознавания посадочной площадки, наведения и автоматической посадки МБПЛА на заданный маркер посадочной площадки. Алгоритмы компьютерного зрения Общая схема алгоритма с применением компьютерного зрения показана на рис. 3. Алгоритм Camshift используется при отслеживании объектов на основе информации о цвете движущейся в кадре цели. В алгоритме выделены три составляющие: 1. Вычисление гистограммы цели. H-компонента модели HSV обозначает информацию о цвете. Алгоритм Camshift чувствителен к информации о цвете. Необходимо преобразовать цветное изображение, снятое камерой, из цветового пространства RGB к HSV Были получены гистограммы выбранных маркеров посадочных площадок.
Рис. 3. Блок-схема алгоритма с применением компьютерного зрения, обеспечивающего автономную посадку БПЛА
2. Алгоритм Camshift.
Camshift с использованием Mean-Shift сначала обнаруживает центр цели, а затем вычисляет масштаб и ориентацию. Этот процесс, применяемый в непрерывных изображениях, называется Camshift. Основная идея алгоритма заключается в том, что все кадры видео вычислены Mean-Shift. Результаты предыдущего кадра (центр и размер окна поиска) используются в следующем кадре в качестве начального значения окна поиска. Целевое отслеживание реализуется циклической итерацией, как указано выше. Алгоритм реализует пять этапов:
1) определение изображения в качестве области поиска;
2) инициализация размера и положения окна поиска;
3) вычисление распределения вероятности цветов окна поиска, эта область должна быть больше, чем в поисковом окне;
4) выполнение алгоритма Mean-Shift для получения новой позиции и размера окна поиска;
5) применение результатов шага 3 для инициализации положения и размера окна поиска в следующем кадре, перейти к шагу 3 и продолжить.
Результат работы алгоритма отслеживания маркера, основанного на цветовой гистограмме, представлен на рис. 4.
ется максимум гессиана, то эти точки обособлены друг от друга на определённом расстоянии, зависящем от рассчитанных в них значений градиента. Инвариантность достигается обобщением градиента, который усредняется вокруг точки в целом за счёт фильтра Хаара.
Рис. 5. Фильтры Хаара
Рис. 4. Отслеживание маркера, основанное на цветовой гистограмме
3. Алгоритм SURF.
H. Bay и др. предложили алгоритм SURF на основе SIFT в 2006 г. Главной задачей алгоритма SIFT является обнаружение локальных характерных особенностей изображения. Для задачи поиска вертолётных посадочных площадок основными достоинствами данного алгоритма являются устойчивость к масштабированию, вращению и относительная устойчивость по отношению к аффинным преобразованиям. Работа алгоритма начинается с того, что выполняется поиск в изображении локальных экстремумов, на основе которых выделяются особые точки. При этом также обеспечивается инвариантность относительно поворота сцены.
– Особые точки вычисляются с помощью матрицы Гессе. Гессиан является симметрической квадратичной формой, которая описывает поведение функции второго порядка. Матрица этой функции состоит из её вторых частных производных. В случае двумерной функции
5 2 f д2 f
H( f ( х, у)) = дх2 5 2 f дхду 52 f
дхду ду2 J
det(H) = д 2f 5 2f – ( д2 f )2
дх2 су2
где Н – матрица Гессе; /(х,у) – функция изменения градиента яркости.
– Градиент в точке рассчитывается с использованием фильтров Хаара, где чёрные и белые области имеют значение -1 и 1 соответственно (рис. 5). Это даёт значение перепада градиента по осям.
– Каждой из особых точек сопоставляется свой дескриптор, который представляет собой набор, состоящий из 64 чисел. Так как в этих точках достига-
– Фильтры Гессе и Хаара рассчитываются эффективно, так как используется интегральное представление изображений
i< x, j < y
II ( X, y) = £ I (i, j ).
i=0,j=0
Упрощение расчётов происходит из-за удобной для подсчётов реализации хранения результатов сумм. То есть если имеется прямоугольник ABCD (рис. 6) то сумма внутри прямоугольника будет выражена формулой
Summ = II(A) 11(С) – II(B) – II(D).
A В
D С
-Г->
Рис. 6. Прямоугольник ABCD
– Вычисленное значение гессиана позволяет находить локальный экстремум яркости изображения. Масштаб матрицы Гессе обусловливает размер области, в которой рассчитается дескриптор. Таким образом достигается инвариантность масштаба [6].
Реализация SURF на основе библиотеки функций компьютерного зрения OpenCV [10] показана на рис. 7.
Рис. 7. Реализация отслеживания цели с помощью алгоритма SURF
Из рис. 7 следует, что сложная среда может привести к ошибке отслеживания цели. Слева на рис. 7 контрольные точки, отслеживаемые на основе
SURF, не попадают в область цели и, следовательно, данные о положении и скорости могут быть неверно вычислены. Неправильная информация о положении и скорости может приводить к тому, что БПЛА не приземлится на вертолётную площадку.
Алгоритм управления
Алгоритм управления реализуется на исполнительном уровне (в контроллере или регуляторе) трёхуровневой СУ, представленной на рис. 2. Структура этого уровня показана на рис. 8. В контроллере реализуется два канала управления: по крену и по тангажу. Входы каналов крена и тангажа включают в себя угол ориентации и их текущее состояние. В структуре каскадного ПИД-регулятора имеется внешний контур, который обеспечивает быструю скорость реакции управления ориентацией, и внутренний контур, который имеет медленную скорость реакции управления положением. Последовательность расчёта параметров системы управления: внешний контур (петля ориентации), а затем внутренний контур (петля положения). Положение и скорость определяются при расчёте траектории, а ориентация получается путём вычисления во внешнем контуре.
Зу]^>*|пйд1|-*|угш1 у|ЧХ)-^Г1ИД 2
иу
IMU, компас
БПЛА г*
Зрение, сонар
Рис. 8. Блок-схема контроллера
На рис. 8 через ЗУ обозначены задающие условия (позиция, скорость), ИУ – исполнительное устройство, угол ¥ – угол рыскания БПЛА.
Реализация контроллера завершается расчётом ПИД-регулятора внешнего контура. В соответствии с данным расчётом вычисляются скорость и состояния каналов крена, тангажа и угла поворота (рыскания).
Обработка изображений
В нашей работе информация о скорости и положении БПЛА оценивается алгоритмом SURF для выполнения извлечения и сопоставления точек. В качестве целевого шаблона в исходном изображении выбирается область размером 100×100 пикселей для удобного вычисления. После этого используется алгоритм для определения целевой области в следующем кадре. Когда цель определена, точки функции извлекаются способами алгоритма SURF в области цели. После определения области посадочной площадки выполняется извлечение и сопоставление признаков. В то же время выбирается центральная область изображения в качестве целевого шаблона такого же размера, как и прежний. Далее происходит непрерывное отслеживание особых точек. Требования к установке камеры заданы следующим образом: направление оптической оси камеры совпадает с направлением оси координат корпуса БПЛА. Оно также совпадает с осью Z навигационной системы
координат. На рис. 9 показаны требования к установке камеры и системы координат корпуса БПЛА. Этапы преобразования от абсолютных координат к координатам изображения согласно рис. 9 показаны на рис. 10.
Плоскость изображения
ш (х, у, г)
в(хъ Уъ гъ) С(хсусгс)
Рис. 9. Требования к установке камеры и система координат корпуса БПЛА
»Z
XYZ 0ъ хъ УЪ zb Oc xc yc zc x’, y’
хъ X
УЪ Cbn Y Tbn
zb Z
Рис. 10. Переход от абсолютной системы координат к системе координат изображения
Преобразование из абсолютных координат [X У г] к координатам БПЛА [ хъ уъ гъ ] определяется как (1). Съп определяется как (2), а Съп – как (3). Здесь ф – угол крена БПЛА; 0 – угол тангажа БПЛА; ¥ – угол рыскания БПЛА.
(1)
СЦ1С 6 -50
Съп = -5усф -сусф сф505у с05 ф , (2)
5ф5у с^50сф -су5ф 5у50сф сфс0
где с и 5 – сокращённые формы для косинуса и синуса соответственно.
Тъп =[Тх Ту Тг]Т . (3)
Преобразование координат корпуса БПЛА [ хъуъ^ъ ] в координаты камеры [ хс ус гс ] показано как (4). Ссъ определяется как (5). Тсъ совпадает с Тъп. Камера оснащена согласно рис. 8. Таким образом, получаем Ссъ – единичную матрицу. Преобразование из координат камеры [ хс ус гс ] к координатам изображения (х’,у’) определяется, как показано в (6).
xc. Xb
Ус – Ccb УЬ
_ zc _ zb
T
cb ■
(4)
Ccb –
cos9c 0 -sin 9c cosy c sin yc 0″
0 1 0 -sin yc cos yc 0 , (5)
sin ec 0 cos9c 0 0 1
X=/^; у’=/^.
^с
Выделим следующие системы координат:
1. Мировая (абсолютная) система координат: она называется реальной системой координат или реалистичной системой координат ХУ2. Это абсолютная система координат объектного мира. В общем случае в этой системе координат описывается 3Б-сцена.
2. Система координат камеры: система координат определяется в соответствии с центром камеры. Это осхсус2с , как показано на рис. 8. В общем случае оптическая ось камеры определяется как ось 2с .
3. Система координат плоскости изображения: х’у’, система координат плоскости изображения формируемая в камере. Как правило, плоскость изображения параллельна плоскости х с ус системы координат камеры. Оси х с и ус параллельны осям х’ и у’ соответственно. В этом случае оригинал плоскости изображения находится только на оптической поверхности камеры.
4. Система координат изображения: это координатная система пиксельной матрицы, которая получается после выборки и количественного определения изображения.
5. Система координат корпуса (тела) БПЛА: 0ЬхъуЬ2Ь определяется в соответствии с центром БПЛА. Ось совпадает с осью 2с [5].
Результаты экспериментов
Для проведения экспериментов были изготовлены два вида посадочных площадок диаметром 1 и 3 м. На рис. 11 показаны изображения площадок, полученные из кадров передней камеры Лг.Бгопе.
Площадки были расположены на расстоянии 10 м, а также отделены препятствием, представляющим собой стену шириной 2 м. Необходимо было произвести старт с одной из площадок, облететь препятствие, затем совершить посадку на другую площадку, после этого, развернувшись на 180°, вернуться на первую. Высота полёта 1,5-2 м.
После облёта препятствия необходимо начинать поиск посадочной площадки с помощью передней камеры. Затем, когда площадка «исчезает» из поля зрения передней камеры, начинает выполняться поиск в кадрах, получаемых из камеры, которая направлена вертикально вниз. Эксперименты были проведены успешно (около 80% верного распознавания площадок вышеописанными алгоритмами и выполнения задания при исправной работе аппарата). При планировании экспериментов и обработке его результатов использованы рекомендации работы [11].
(6)
Рис. 11. Вертолётные посадочные площадки, используемые в экспериментах
Заключение
В данной работе предложена трехуровневая структурная схема системы управления МБПЛА -квадрокоптером и применены алгоритмы компьютерного зрения Camshift и SURF для автоматической посадки МБПЛА на заданный маркер посадочной площадки. Приводится краткое описание этих алгоритмов. Эксперименты показали, что эти алгоритмы могут быть полезны для автономной системы посадки БПЛА. Алгоритмы также могут быть применены для системы отслеживания траектории БПЛА. В экспериментах результирующие управляющие воздействия передавались с вычислительной станции, но также возможно выполнение вычислений и на борту самого БПЛА.
Литература
1. Weiss S. Monocular-SLAM-based navigation for autonomous micro helicopters in GPS-denied environments / S. Weiss, D. Scaramuzza, R. Siegwar // Journal of Field Robotics (USA). – 2023. – Vol. 28, № 6. – P. 854-874.
2. Логачев В.Г. Метод стабилизации положения и управления квадрокоптером в пространстве с использованием данных инерциальных и визуальных сенсоров / В.Г. Логачев, И.В. Минин // Фундаментальные исследования. – 2023. – № 11-1. – С. 85-91.
3. Scaramuzza D. MAV navigation through indoor corridors using optical flow / D. Scaramuzza, S. Weiss, R. Siegwart // Robotics and Automation (ICRA) – IEEE International Conference on (Anchorage, AK, USA). – 2023. – P. 3361-3368.
4. Википедия. Scale-invariant feature transform [Электронный реcурс]. – Режим доступа: https://en.wikipedia.org/ wiki/Scale-invariant_feature_transform, свободный (дата обращения: 24.05.2023).
5. Zhao Y. Improved vision-based algorithm for unmanned aerial vehicles autonomous landing / Y. Zhao, H. Pei, H. Zhou // Journal of Multimedia. – 2023. – Vol. 8, No. 2. -P. 90-97.
6. Хабрахабр. Применение метода SURF в системах контроля и управления доступом на основе биометрических технологий [Электронный ресурс]. – Режим доступа: https://special.habrahabr.ru/kyocera/p/152679/, свободный (дата обращения: 24.05.2023).
7. Karasulu B. Performance evaluation software moving object detection and tracking in videos / B. Karasulu, S. Korukoglu. – Springer New York, Heidelberg, Dordrecht, London, 2023. – 76 p.
8. Википедия. Parrot AR.Drone [Электронный реcурс]. – Режим доступа: https://ru.wikipedia.org/wiki/ Parrot_AR.Drone, свободный (дата обращения: 24.05.2023).
9. Кориков А.М. Интеллектуальное управление в технических системах // Научный вестник НГТУ. – 2023. -№ 1 (54). – С. 18-26.
10. Bradski G. Learning OpenCV / G. Bradski, A. Kaehler. – Sebastopol: O’Reilly Media, 2008. – 556 p.
11. Кориков А.М. Эксперимент в научном исследовании // Доклады ТУСУРа. – 2023. – № 2(36). – С. 148-154.
Косова Анастасия Евгеньевна
Аспирант каф. автоматизированных систем управления
(АСУ) ТУСУРа
Тел.: 7-903-952-81-31
Эл. почта: [email protected]
Кориков Анатолий Михайлович
Д-р техн. наук, профессор, зав. каф. АСУ ТУСУРа, профессор Национального исследовательского Томского политехнического университета Тел.: 7 (382-2) 70-15-36 Эл. почта: [email protected]
Kosova A.E., Korikov A.M.
Using computer vision algorithms for the automatic landing of unmanned aerial vehicles
A block diagram of the control system for a mobile unmanned aerial vehicle (mobile UAV) is proposed – a quadrocopter and computer vision algorithms for automatic landing of mobile UAV are selected. The computer vision algorithms adapted to the problem of automatic landing of the mobile UAV allow to effectively solve this problem. The algorithm contains three stages: the definition of the target area using the Camshift algorithm; detection of attributes in the area of the marker of the landing pad on the basis of the SURF algorithm; matching the selected landing marker template and the target area in the frame. The results of the experiments and theoretical analysis indicate the effectiveness of computer vision algorithms for automatic landing of mobile UAV. Experiments confirm that the mobile UAV can realize autonomous navigation without using a global positioning system GPS or GLONASS. Keywords: unmanned aerial vehicles, computer vision algorithms, SIFT, SURF, Camshift, automatic UAV landing.
Виды бла
По способу управления беспилотные летательные аппараты подразделяются на неуправляемые, дистанционно управляемые и автоматические.
В неуправляемых БЛА оператор принимает участие только в запуске беспилотника и введении параметров полета перед его взлетом. Как правило, это бюджетные беспилотники, не требующие для эксплуатации профессиональной подготовки оператора и специализированных площадок приземления.
В дистанционно управляемых дронах предусмотрено формирование траектории полета беспилотного летательного аппарата, а автоматические дроны выполняют задачу полностью автономно. В данном случае успех выполнения задачи дрона зависит от точности и корректности введения оператором полетных параметров в стационарный компьютерный комплекс, находящийся на земле.
По весу дроны классифицируются на микро, малые, средние и тяжелые.
Вес микро-дронов не превышает 10 кг. Они могут находиться в воздухе не более часа, мини-дроны имеют вес до 50 кг и способны выполнять работу до 5 часов без перерыва. У средних образцов вес достигает 1 тонны, а время беспрерывной работы – до 15 часов.
По своему предназначению беспилотные летательные аппараты делятся на следующие группы:
- Коммерческие БЛА, предназначенные для транспортирования грузов, удобрения полей, научных исследованиях и гидро- и метеонаблюдения;
- Потребительские предназначены для развлечения (гонки, видеосъемка наземных объектов и территорий);
- Боевые, специально сконструированные дроны, используемые для военных целей.
По конструкции воздушные БЛА могут быть следующих типов:
- Беспилотники самолётного типа с большой дальностью и скоростью полета.
- Мультикоптеры, имеющие более двух пропеллеров;
- Беспилотники вертолетного типа;
- Конвертопланы. Их особенность состоит в том, что они взлетают «по вертолетному», а в полете перемещаются по самолетному.
- Планеры, используются в большинстве случаев для разведывательных целей. Эти устройства могут быть как с двигателем, так и без него.
- Тейлситтеры – дроны, которые для смены режима полета поворачивают свою конструкцию в вертикальной плоскости.
- Аппараты, способные садиться на воду, взлетать с нее и погружаться в нее.
- Привязные беспилотники. Их особенность в том, что электропитание и команды управления поступает к такому дрону по проводу.
Коммерческие и потребительские беспилотные устройства в основном управляются при помощи пульта, но могут быть и полностью автоматическими. Пульт дистанционного управления отправляет сигналы в контроллер БЛА, который в свою очередь производит обработку полученных сигналов и далее отправляет команды на различные элементы управления беспилотника.
Выбор полетного контроллера
Так как мне нужно транслировать видео и телеметрию через интернет, то сразу приходит на ум поставить на дрон микрокомпьютер с 4G модемом и камерой, и сделать из этого комплекта web-трансляцию. Нашлись вот такие решения:
. Это обычные одноплатники с внешним USB 4G модемом и камерой. Для кодирования и трансляции видео используется
. Но эти штуки сами по себе дроном управлять не умеют, их нужно использовать совместно с полетным контроллером.
Полетный контроллер — это мозг дрона. Он следит за состоянием датчиков положения (гироскоп, акселерометр, компас), GPS-координатами, положением ручек на пульте управления и, исходя из этих данных, управляет моторами, чтобы висеть в одной точке или куда-то лететь.
Полетный контроллер нужно будет как-то связать с бортовым компьютером, чтобы можно было загрузить полетное задание или указать произвольную точку куда лететь и когда включать камеру. В продаже можно найти много разных контроллеров сильно отличающихся друг от друга по цене и функционалу.
С Ardupilot я игрался еще на 8-битных атмегах, в которых не было USB-bootloader’а, а прошивались они на программаторе. С тех пор с ним не сталкивался и был приятно удивлен, когда узнал, что сейчас он может работать на 64-битных компьютерах с Linux, у него огромное сообщество пользователей как хобби, так и профи, длинный список поддерживаемых “из коробки” датчиков и расписанные планы на 2023-2023 годы. За это время он успел перерасти в проект DroneCode, а потом и отсоединиться от него.
На первый взгляд в нем как раз реализованы все необходимые функции: автоматический взлет и посадка, загрузка полетных заданий, есть desktop и мобильные приложения под все основные семейства ОС. Программы управления (GCS — Ground Control Station) общаются с бортовым контроллером короткими сообщениями по открытому протоколу MAVLink через комплект радиомодемов (дрон шлет телеметрию, GCS шлет команды управления). Подозреваю, что эти сообщения получится пустить через интернет.
Взглянем на список поддерживаемых контроллеров и что-нибудь подберем. Вариантов там полтора десятка от мала до велика и с разными характеристиками.
Из всего того многообразия контроллеров мне понравилось несколько вариантов:
| Полетный контроллер | Erle PXFMini | Emlid Edge | Navio 2 | Erle Brain 3 | PixHawk 2 Cube |
| Доп компьютер | Raspberry Pi Zero W | нет | Raspberry Pi 3 | нет | Raspberry Pi 3 |
| Вес комплекта, г | 84 | 97 | 98 | 145 | 150 |
| Процессоры, общее кол-во | 1 | 2 | 2 | 1 | 3 |
| ОС, одновременно работающих | 1 | 1 | 1 | 1 | 2 |
| IMU датчики, комплектов | 1 | 2 | 2 | 1 | 3 |
| Датчик воздушного давления | 1 | 2 | 1 | 1 | 1 |
| Резервирование питания | нет | 2х | 3х | нет | 2х |
| GPS, Глонасс | внешний модуль с доп магнитометром | внешний модуль с доп магнитометром | встроенный приемник, внешняя антенна | внешний модуль с доп магнитометром | внешний модуль |
| Видеовход | CSI на Raspberry | HDMI | CSI на Raspberry | CSI | CSI на Raspberry |
| WiFi | есть | есть Long Range 2км 52 г | есть | есть | есть |
| Стоимость комплекта, $ | 212 | 700 | 215 | 341 | 331 |
Самый легкий комплект (84 г) получается из микрокомпьютера
(9 г), контроллера
(15 г), родного внешнего GNSS модуля (46 г) и дополнительного
(14 г).
Рабочий процессор в этом комплекте один — на Raspberry Pi. На нем висит управление ШИМ регуляторов моторов, считывание показаний датчиков, ОС Linux со всеми потрохами и декодирование видео с камеры. Так как в Pi Zero не предусмотрены USB порты, то в этом варианте приходится использовать внешний концентратор. IMU датчики и вход питания без резервирования.
Следующий комплект (97 г) от гонконгской компании с русскими фамилиями в команде разработчиков — контроллер Emlid Edge (59 г) с GNSS модулем (38 г). GNSS модуль работает по протоколу UAVCAN и дополнительно оснащен магнитометром и датчиком воздушного давления. За ШИМ здесь отвечает отдельный процессор ARM Cortex-M3, ОС Linux крутится на основном ARM Cortex-A53 quad-core.
В контроллере имеется HDMI видеовход, что позволяет подключить к нему напрямую любую камеру с таким выходом, например GoPro 4 или 5. Относительно высокая стоимость объясняется дальнобойными wifi-приемопередатчиками в комплекте (до 2 км с трансляцией HD-видео).
Следующий вариант (98 г) состоит из знаменитого микрокомпьютера Raspberry Pi 3 (45 г) с контроллером-шилдом Navio 2 (23 г) от той же Emlid и внешней GNSS-антенны (30 г). На контроллере стоит отдельный процессор Cortex-M3 для управления ШИМ на 14 каналах и расшифровки входящих SBUS и PPM сигналов от приемника. Он, в свою очередь, управляется через драйвер в ядре ОС Linux, которая крутится на Raspberry.
Контроллер оснащен парой раздельных IMU датчиков (акселерометр, гироскоп, магнитометр) MPU9250 и LSM9DS1, одним датчиком воздушного давления и GNSS-модулем U-blox NEO-M8N, который видит GPS, Глонасс и BeiDou с внешней антенной через разъем MCX.
Дрон научили обходиться без стереоскопического зрения при оценке высоты
Ученые из Делфтского технического университета смогли использовать единственную камеру оптического потока для определения высоты при посадке беспилотника. Статья с подробным описанием технологии опубликована в IOPscience.
Исследователи при экспериментах с квадрокоптером Parrot AR drone 2.0 обнаружили, что при посадке в автоматическом режиме беспилотник в какой-то момент начинает покачиваться. Причем амплитуда этих колебаний строго зависит от высоты. Изучив вопрос, авторы пришли к выводу, что покачивание летательного аппарата не связано с аэродинамическим влиянием небольшого расстояния до земли — причина оказалась в автоматической корректировке позиции беспилотника по камере оптического потока.
Камера оптического потока представляет собой обычную камеру, обычно закрепляемую снизу летательного аппарата, и служит для определения скорости передвижения дрона по смещению изображения. Похожим образом люди, находящиеся в движущемся автомобиле, могут определить скорость «на глаз» по смещению окружающих объектов и пейзажа.
Оказалось, что при посадке в заданной точке алгоритм при помощи камеры оптического потока отслеживает положение дрона над указанным местом и самостоятельно компенсирует смещение летательного аппарата — например, если его сдувает ветром. При этом с определенной высоты поверхность становится настолько близкой, что малейшее смещение изображения в камере оптического потока приводит к запуску непрекращающегося покачивания всего беспилотника. При этом исследователи выяснили, что амплитуда покачиваний квадрокоптера всегда привязана к конкретной высоте.
Таким образом, отмечают авторы, летательный аппарат по возникновению таких колебаний можно с достаточно высокой точностью определить высоту и высчитать удачный момент для посадки и отключения двигателей. При этом для подобного маневра нет необходимости в датчиках расстояния, альтиметре или ресурсоемкой системе распознавания препятствий — при работе управляющее программное обеспечение опирается только на данные камеры оптического потока.
Ученые полагают, что подобный метод можно использовать на серийно выпускаемых гражданских беспилотниках или в качестве запасной системы автоматической посадки на других летательных аппаратах. Кроме того, исследователи полагают, что такой подход может объяснить, как справляются с оценкой расстояний до объекта насекомые, у которых глаза расположены очень близко и не позволяют использовать полноценное стереоскопическое зрение.
Ранее исследователи из Цюрихского университета разработали прототип автономной системы стабилизации и вынужденной посадки для квадрокоптеров. Система из акселерометра, гироскопа, камеры, датчика измерения расстояния и управляющего микрочипа строит трехмерную карту поверхности под беспилотником и выбирает ровную площадку и безопасную траекторию, после чего дрон самостоятельно садится в выбранное место.
Николай Воронцов
Какие комплексы разрабатываются в россии для противодействия дронам. виды продуктов для защиты от беспилотников
Российские предприятия делают ставку на комплексы, которые помогают обнаружить вредоносные дроны, идентифицировать их и выводить из строя.
АО «Концерн «Автоматика», входящее в состав Госкорпорации Ростех, предлагает широкую линейку систем, которые позволяют эффективно обнаруживать БЛА и обеспечивать комплексную защиту от них на ближних и дальних подступах. Выпускаемые комплексы могут быть: стационарными, мобильными и переносными. Продукция Концерна «Автоматика» занимает в этом сегменте свою уникальную нишу.
Концерн «Автоматика» — это промышленная компания, поставляющая комплексные высокотехнологичные решения с высокой степенью защиты информации для бизнеса и государственного сегмента.
Предприятие разработало и выпускает комплекс в ружейном форм-факторе, очень простой в применении — «Пищаль – ПРО». Это «ружье» не требует ни особой подготовки оператора, ни специальных знаний. Увидел цель, нажал на курок – и началось радиоэлектронное воздействие: не функционируют средства связи, управления, навигации, и БЛА оказывается в состоянии «прострации». Например, беспилотные летательные аппараты самолетного типа просто падают.
«Пищаль-ПРО»
Технические характеристики:
Частотные диапазоны постановки помех | Одновременное воздействие на каналы связи, управления и навигационного обеспечения беспилотных летательных аппаратов |
Напряжение электропитания | 16 В |
Емкость аккумуляторной батареи | 10 А/ч |
Тип формируемых помех | Шумоподобная, прицельная по направлению |
Продолжительность непрерывной работы (на 1 АКБ) | Не менее 1 часа |
Рабочий интервал температур | От -30 до 50°С |
Габаритные размеры (ШхВхД) | 200x240x700 мм |
Вес | Не более 4,5 кг |
Дальность подавления | Не менее 2000 м, при условии прямой видимости |
Еще одной разработкой Концерна «Автоматика» в области борьбы с беспилотными летательными аппаратами является система «Сапсан-Бекас».
«Сапсан-Бекас»
Это мобильный, многофункциональный комплекс противодействия беспилотным летательным аппаратам. Для противодействия им в комплексе применяются как пассивные, так и активные средства обнаружения. Это обеспечивает гарантированное обнаружение всех типов беспилотных летательных аппаратов, включая дроны, минимизирующие выход в радиоэфир.
Все средства обнаружения целей и воздействия на них объединены автоматизированным рабочим местом управления и отображения информации. Комплекс может вести круговое наблюдение или сканировать заданный сектор. Сапсан-Бекас способен обнаруживать беспилотники средствами радиотехнической разведки на дальности не менее 20 км.
И средствами активной радиолокации на дальности 10 км. В состав комплекса также входят средства оптико-электронного наблюдения беспилотников, видеокамера видимого спектра и охлаждаемый тепловизор. Дальность распознавания дронов оптическими средствами до 4 км.
Технические характеристики:
Для подсистемы РТР
Диапазон рабочих частот | Обеспечивает своевременное обнаружение в диапазоне работы средств связи и управления БЛА |
Чувствительность, дБм/Гц | 140 |
Динамический диапазон, дБ | 110 |
Максимальное разрешение по частоте, Гц | 8 |
Максимальная скорость сканирования, МГц/с | 11000 |
Для подсистемы РЛС
Сектор обзора пространства: по азимуту по углу места | от 00 до 360 0 |
Разрешающая способность по дальности, м | 15 |
Разрешающая способность по скорости, м/с | 0,165 |
Диапазон высот цели, км | до 4 |
Скорость сканирования град/сек | 0…20 |
Дальность обнаружения малоразмерной воздушной цели не менее, м: ЭПР до 0,02 м² ЭПР более 0,2 м² до | ≥ 3600 ≥10000 |
Для подсистемы ОЭР
Видеокамера видимого спектра распознавание воздушных целей | |
Распознавание воздушных целей, не менее, м: БЛА типа «Фантом» БЛА типа «Орлан» и «Мерлин» | 2 200 |
Поля зрения | 35,5⁰ ~ 1,8⁰ |
Вариообъектив, мм | 20-420 |
Охлаждаемый тепловизор | |
Дальность распознавания подвижных и неподвижных ВО в темное время суток, не менее, км: БЛА типа «Фантом» БЛА типа «Орлан» и «Мерлин» | 4 |
Поля зрения (оптическое увеличение) | 35,5⁰ ~ 1,8⁰ |
Цифровое увеличение | 8х |
Для подсистемы РЭП
Частотный диапазон | Одновременное воздействие на частотные каналы связи управления и навигационного обеспечения беспилотных, летательных аппаратов |
Количество рабочих каналов | 14 |
Энергопотенциал излучаемого сигнала, не более Вт | 100 |
Дальность подавления, до, км | 4 |
Продолжительность работы в деж. режиме (без излучения), час | 24 |
Точность установки азимута, град. | 3 |
Рабочее напряжение, В/Гц | 220/50 |
Комплексы «Купол» и «Рубеж-Автоматика» ведут непрерывное наблюдение и создают над объектом защитный купол. Это непреодолимый барьер, способный отразить атаки не только отдельных дронов, но и роя, атакующего с различных направлений высот в радиусе не менее 3 км. Оператор может выбирать оптимальные частотные программы противодействия беспилотникам.
«Купол-ПРО»
Технические характеристики: Тактико-технические преимущества | Одновременное воздействие на частотные каналы связи, управления и навигационного обеспечения беспилотных летательных аппаратов |
ЭИМ | 80 Вт |
В состав комплекса противодействия БЛА «Купол-ПРО» входят |
|
Аппаратура комплекса, размещенная на открытом воздухе, обеспечивает работу |
|
«Рубеж-Автоматика»
«Рубеж-Автоматика» – ответ Ростеха на растущую проблему терроризма с использованием БЛА и их противоправное применение. Изделие обеспечивает безопасность общественных и спортивных мероприятий, промышленных предприятий и объектов топливно-энергетической отрасли. Дальность действия изделия может достигать 30 км.
«Новейший российский комплекс борьбы с БЛА «Рубеж-Автоматика» является кране актуальным решением в связи с ростом противоправного использования БЛА», – отметил генеральный директор Концерна «Автоматика» Госкорпорации Ростех Владимир Кабанов.
«Если бы комплекс «Рубеж-Автоматика» стоял на нефтяных объектах Саудовской Аравии, то он не позволил бы нанести урон с помощью беспилотников», – добавил он. 14 сентября 2023 года были атакованы нефтяные объекты Saudi Aramco, что вызвало временное падение добычи нефти вдвое, на 5 % мировой нефтедобычи.
«Комплекс не смог бы помешать крылатым ракетам, но беспилотникам – да. Комплексы, защищавшие объекты, стоят миллиарды, наше изделие – намного дешевле и проще в эксплуатации, оно способно работать как в ручном, так и в автоматическом режиме и защищать объекты, не мешая их повседневной деятельности, игнорируя человеческий фактор.
«Такое решение позволяет оказывать воздействие на беспилотник, не влияя на другие беспроводные устройства, которые действуют на объекте – автоматические системы и датчики, радиостанции, собственные беспилотники. Старые средства могут создать помехи собственным технологическим процессам, наше изделие позволяет работать только по нарушителю», – заявил Владимир Кабанов.
Комплекс «Рубеж-Автоматика» превосходит большинство зарубежных аналогов по техническим характеристикам, простоте использования, а также по критерию «эффективность-стоимость».
Технические характеристики:
Воздействие на частотные каналы связи, управления и навигационного обеспечения БЛА | одновременное |
Скорость панорамной перестройки в режиме панорамного пеленгования, при разрешающей способности 100 кГц | не менее 20 ГГц/с |
Дальность обнаружения и идентификации БЛА в условиях «прямой видимости» | не менее 15 км. |
Инструментальное СКО пеленгования с вероятностью 0,85 | не более 3° |
Дальность подавления каналов спутниковой навигации, связи и управления | до 4 км. |
Количество управляемых каналов подавления | 3 |
Напряжение электропитания | ~ 220 В ± 10%, 50 Гц |
Масса изделия | не более 300 кг |
Аппаратура комплекса обеспечивает работу |
|
Переносной комплекс обнаружения и противодействия беспилотным летательным аппаратам «Луч» может быть развернут в течение 5 минут и применен даже с неподготовленных позиций. Он обнаруживает беспилотники и создает помехи, подавляющие каналы управления и навигации в заданном секторе на дальности не менее 5 км.
«Луч»
Технические характеристики:
Рабочие диапазоны частот одновременного радиоподавления: |
|
В состав комплекса входят: |
|
Аппаратура комплекса, размещенная на открытом воздухе, обеспечивает работу: |
|
Подсистема радионаблюдения «Бастион»
Транспортируемый комплекс противодействия БЛА «Бастион-Автоматика» предназначен для ведения непрерывного радионаблюдения, обнаружения сигналов беспилотных летательных аппаратов и формирования сигналов противодействия. В комплексе анализ сигнала от беспилотника осуществляется в автоматическом режиме, внедряются средства опознавания «свой-чужой», что позволяет осуществлять охрану объекта без участия операторов.
Все системы противодействия БЛА могут применяться в комплексе, создавая надежную эшелонированную оборону.
Разработки Российской Федерации обеспечивают надежную защиту от беспилотных летательных аппаратов.
Нейросеть научила квадрокоптер мягкой посадке
Американские инженеры разработали алгоритм управления, позволяющий дрону совершать посадку быстрее и плавнее, чем с использованием существующих алгоритмов. Этого удалось достичь благодаря обучению нейросетевого алгоритма учету экранного эффекта, возникающего при приближении к поверхности. Помимо стабилизированной посадки дрон также научился более стабильно перемещаться на небольшой высоте над неровным рельефом, рассказывают авторы статьи, представленной на конференции ICRA 2023.
При обычном полете квадрокоптеры поддерживают себя на одной высоте, наклоняются и поворачивают в ту или иную сторону, управляя скоростью вращения винтов. Расчет скорости каждого винта происходит автономно, а оператор лишь дает высокоуровневые команды, такие как «лететь влево». Однако в некоторых условиях, таких как полет при сильном ветре или посадка, даже встроенные алгоритмы дронов испытывают трудности. В случае с посадкой управление усложняется, потому что к постоянной силе тяжести и полностью управляемой дроном тяге винтов добавляется третья сила, возникающая из-за отражения потока воздуха от находящейся рядом поверхности. Из-за этого квадрокоптеры с функцией автоматической посадки обычно совершают ее довольно жестко. Кроме того, некоторые из них перед самой посадкой ненадолго зависают в воздухе, что приводит к неэффективному расходу заряда аккумулятора.
Инженеры под руководством Суна Чжо Чуна (Soon-Jo Chung) из Калифорнийского университета в Ирвайне разработали алгоритм управления полетом квадрокоптера, позволяющий ему совершать равномерную и мягкую посадку, а также сохранять стабильную высоту при полете над неровной поверхностью. По сути, при полете вблизи поверхности модель поведения дрона можно упростить до трех составляющих: силы тяжести, суммарной силы, возникающей из-за вращения винтов, и неизвестной возмущающей силы, возникающей из-за экранного эффекта. Разработчики обучили нейросеть расчету третьей силы.
Авторы использовали нейросеть с функцией активации на основе линейной ректификации (ReLU). Кроме того, они использовали метод спектральной нормализации, позволяющей уменьшить разброс значений на выходе из нейросети и тем самым увеличить стабильность полета, а также увеличить генерализованность нейросети, то есть приспособленность для разных условий.
Для обучения инженеры попросили опытного оператора управлять квадрокоптером на разной высоте. В результате они собрали датасет, состоящий из последовательности параметров полета, в том числе рассчитанной возмущающей силы от экранного эффекта, а также команд оператора. Авторы проверили эффективность алгоритма с помощью эксперимента, в котором дрон под управлением нового и обычного алгоритмов летал над столом. Благодаря этому они получили возможность проверить, как внезапно возникающий экранный эффект влияет на стабильность полета. Выяснилось, что алгоритм значительно повышает стабильность поддержания высоты полета, а также уменьшает отклонения от курса вдоль и поперек.
В прошлом году швейцарские инженеры
оснастили
дрон нейросетевым алгоритмом, позволяющим ему быстро летать в изменяющейся обстановке. Они показали это на примере гоночной трассы с арками, которые перемещаются во время пролета трассы дроном.
Григорий Копиев
Позиционирование
На первый взгляд, о чем тут писать — какие-то направляющие, которые толкают дрон в нужную точку. Но, оказывается, здесь целый букет идей и можно проследить несколько направлений мысли конструкторов.
Итак, посадочные платформы можно разделить на:
платформы без устройств позиционирования,
с активными устройствами позиционирования,
с пассивными устройствами позиционирования,
с комбинацией устройств позиционирования,
и другие не подпадающие под предыдущие пункты, с нестандартными устройствами позиционирования.
Сначала нужно сказать, что есть посадочные платформы без устройств позиционирования вовсе. БПЛА приземляется на площадку с точностью, обеспечиваемой системой управления БПЛА. Обслуживающие устройства БПЛА, входящие в состав посадочной площадки, должны иметь возможность обслуживать БПЛА в том положении, в котором он стоит после посадки.
Платформы с активным позиционированием имеют в своем составе механизмы и устройства, которые перемещают БПЛА в нужное положение и поворачивают его в нужном направлении — толкатели различных типов. Механизмы выбираются в соответствии с требованиями к точности и скорости позиционирования.
Для платформ с пассивным позиционированием отсутствуют приводы для перемещения БПЛА: горизонтальное перемещение БПЛА для позиционирования во время посадки обеспечивается преобразованием его вертикального движения. Пассивные устройства позиционирования включают в себя воронки, откосы, наклонные края и т.д.
Каждое из вышеперечисленных устройств имеет свои особенности и ограничения. Комбинация устройств позиционирования помогает достичь лучших результатов, используя преимущества каждого метода.
Платформы были классифицированы как платформы с нестандартными устройствами позиционирования, в случае необычных устройств посадки или методов позиционирования, которые не перечислены выше. Однако они могут быть активными, пассивными и комбинированными.
Каждый тип устройств позиционирования можно разделить на подтипы, которые показаны на рисунке выше и немного более подробно рассмотрены далее.
