Система управления квадрокоптера

Регулятор напряжения может быть, как нестабилизированным, так и стабилизированным. Стабилизированный регулятор напряжения, кроме регулятора напряжения, содержит в себе ещё и стабилизатор напряжения.

Используется как в составе электронной аппаратуры, так и в виде отдельного изделия.

Технические характеристики:

максимальный ток нагрузки: 0.5А;

диапазон допустимых входных напряжений: 35В;

выходное напряжение: 5В;

корпус: dpak;

производитель: ST Microelectronics.

Для данной микросхемы производитель рекомендует следующую схему включения:

Рисунок 3.3 - Схема включения L78M05CDT

В данной схеме нестабилизированное напряжение источника питания поступает на вход Vin, на выводе же Vout формируется стабилизированное напряжение 3,3 В. Конденсаторы С3, С4 используются для фильтрации высокочастотных помех по входу и выходу.

3.4 Стабилизатор напряжения BA178M05T

Стабилизатор напряжения предназначен для поддержания выходного напряжения при изменении входного напряжения.

Существуют стабилизаторы постоянного напряжения и стабилизаторы переменного напряжения. Первые подразделяют на линейные и импульсные.

Линейный стабилизатор представляет собой делитель напряжения, на вход которого подаётся входное (нестабильное) напряжение, а выходное (стабилизированное) напряжение снимается с нижнего плеча делителя. Стабилизация осуществляется путём изменения сопротивления одного из плеч делителя: сопротивление постоянно поддерживается таким, чтобы напряжение на выходе стабилизатора находилось в установленных пределах.

Преимущество линейного стабилизатора -- простота, отсутствие помех и небольшое количество используемых деталей.

В зависимости от расположения элемента с изменяемым сопротивлением линейные стабилизаторы делятся на два типа:

Последовательный: регулирующий элемент включен последовательно с нагрузкой.

Параллельный: регулирующий элемент включен параллельно нагрузке.

В зависимости от способа стабилизации:

Параметрический: в таком стабилизаторе используется участок ВАХ прибора, имеющий большую крутизну.

Компенсационный: имеет обратную связь. В нём напряжение на выходе стабилизатора сравнивается с эталонным, из разницы между ними формируется управляющий сигнал для регулирующего элемента.

Для реализации разрабатываемого устройства был выбран линейный стабилизатор, который обладает следующими характеристиками:

Технические параметры:

линейный стабилизатор;

тип выхода - Фиксированный;

выходной ток - 500Ма;

линия продукции - 7805 Voltage Regulators;

минимальная рабочая температура -40°C;

максимальная рабочая температура 85°C;

количество выводов 3 вывода;

упаковка - Поштучно;

номинальное значение выходного напряжения 5 В;

минимальное входное напряжение 7.5В;

максимальное входное напряжение 20В;

стиль корпуса линейного стабилизатора TO-220FP.

Рисунок 3.4 - Схема стабилизатора

В данной схеме нестабилизированное напряжение источника питания поступает на вход Vin, на выводе же Vout формируется стабилизированное напряжение 5 В. Конденсаторы С1, С2 используются для фильтрации высокочастотных помех по входу и выходу [15].

3.5 Источник питания аккумулятор LP4070100-PCM PoliCell

Аккумуляторы литий полимерные (Li-Pol) в призматическом корпусе.

Технические параметры:

Типоразмер 4x70x100;

Тип электролита li-pol;

Номинальное напряжение 3.7 В;

Емкость батареи 3200(3100)мАч;

Рабочая температура от -20... +60°С;

Саморазряд 5% в месяц;

Число циклов разряд- заряд 300;

С защитой;

Oтсутствует эффект памяти.

Применяется для использования в схемах резервного питания; в медицинском оборудовании; в мобильных электронных устройствах; в мобильных телефонах; в компьютерной технике; в специальной технике [16].

3.6 Датчики

На практике для координации положения дрона в пространстве необходима пара датчиков: датчик давления и электронный компас.

Датчик давления используется для определения текущей высоты полета. Это важно для поддержания стабильной высоты и для обеспечения безопасного приземления. Очевидно, что для БПЛА желательно иметь сенсор с высоким быстродействием и максимальной точностью, минимальным потреблением и малыми габаритами. Этим требованиям отвечают датчики из семейства LPS производства ST. Сейчас это семейство насчитывает 6 представителей, которые имеют одинаковый рабочий диапазон 260…1260 гПа, но отличаются по ряду основных параметров (потреблению, корпусному исполнению, частоте опроса и так далее). В настоящий момент наиболее интересным сенсором в данной линейке изделий ST является LPS22HD.

- LPS22HD - датчик, позволяющий измерять давление в диапазоне 260…1260 гПа с 24-битной точностью. Максимальная частота измерений у LPS22HD достигает 200 Гц, при этом потребление в активном режиме может составлять 12 мкА (частота 1 Гц), а в режиме пониженного потребления и вовсе падает до 3 мкА. Отдельно стоит отметить высокую точность данного сенсора: погрешность измерений после выполнения калибровки составляет 0,1 гПа. Габариты LPS22HD малы - всего 2x2x0,76 мм.

Электронный компас помогает определять положение дрона относительно сторон света. К магнитометрам предъявляются те же требования, что и к другим рассмотренным выше датчикам, это минимальное потребление, малые габариты, высокая точность. В номенклатуре ST имеются шесть моделей электронных компасов семейства LSM303, каждый из которых отвечает перечисленным требованиям. В качестве примера рассмотрим LSM303AGR [17].

- LSM303AGR - электронный компас, представляющий комбинацию 3-осевого акселерометра (±2/±4/±8/±16g) и 3-осевого магнитометра ±50°. Датчик выпускается в сверхкомпактном корпусе LGA 2х2х1 мм. Типовое потребление акселерометра при максимальной разрядности измерений и частоте 50 Гц составляет 12,7 мкА, магнитометр потребляет до 200 мкА при максимальном разрешении и той же частоте опроса [17].

Любой квадрокоптер средней ценовой категории имеет множество режимов полета. Во всех этих режимах не всегда просто сориентироваться. Режим удержания высоты позволяет пилоту управлять креном (Roll), тангажем (Pitch) и рысканьем (Yaw) не меняя высоты. Если требуется изменить высоту необходимо скорректировать положение стика газа (увеличить или уменьшить).

Умение удерживать высоту обеспечивается путем анализа давления, которое измерят специальный барометрический датчик. Таким датчиком оборудовано большинство современных полетных контроллеров.

Принцип работы бародатчика основан на уменьшении атмосферного давления с увеличением высоты. Однако данные барометрического датчика не всегда точны, например, на малых высотах, в помещении или в случае перемены погоды, когда меняется давление.

Для того, чтобы повысить точность измерения на небольших высотах (до 10 метров) используются другие типы датчиков, например, ультразвуковой датчик или сонар.

Рисунок 3.6.1 - Ультразвуковой датчик

Ультразвуковые сенсоры активно применяются, например, в селфи-дронах, многие из которых предназначены для полетов в помещении.

Система сенсоров дрона AirSelfie.

Рисунок 3.6.2 - Система сенсоров дрона AirSelfie

В случае со звукопоглощающими материалами ультразвуковые датчики могут неверно замерять высоту.

Еще один тип датчиков, который помогает квадрокоптеру ориентироваться в пространстве -- это датчик визуального позиционирования. Этот датчик активно используется в современных дронах фирмы DJI, например, Phantom 4 Pro или Mavic Pro. По сути это видеокамера, которая в режиме реального времени анализирует поверхность под дроном.

Рисунок 3.6.3 - Датчик визуального позиционирования

У нее тоже есть ряд ограничений, она будет некорректно работать в случае с очень темными или очень яркими поверхностями.

Если вы летаете в основном на улице, для удержания высоты используется GPS/ГЛОНАСС приемники, разумеется, если они установлены на вашем дроне.

Одного универсального датчика или сенсора на «все случаи жизни» не бывает, только комплекс датчиков позволяет дрону ориентироваться в пространстве и корректно удерживать высоту [18].

Рассмотрим достоинства и недостатки датчиков высоты, чтобы выбрать из них наиболее подходящий.

Таблица 3.1 - Достоинства и недостатки датчиков

Тип датчика	Условия работы	Условия отключения
Бародатчик	На высотах более 1-2 метров	На малых высотах При плохой погоде
GPS	На открытом воздухе	В помещении, где поиск спутников затруднён
Ультразвуковой датчик	На малых высотах (до 10 метров) В помещении	На больших высотах При полетах над звукопоглощающими поверхностями При полете над наклонными поверхностями (которые отражают сигнал в сторону от дрона)
Датчик визуального позиционирования	В помещении и открытом воздухе На высотах (0,3 до 10 метров)	На больших высотах (свыше 10 метров) При полете над водой или прозрачными средами При полете над крайне темными или крайне яркими поверхностями При полете над одноцветной поверхностью (например, снег) При полете над поверхностями, не имеющими четких контуров или текстуры

После анализа характеристик различных видов датчиков был выбран ультразвуковой датчик. Он вполне подходит для выполнения необходимых требований, а именно - измерения высоты дрона от 2 см до 4 м с погрешностью 1 см.

Действие ультразвукового дальномера HC-SR04 основано на принципе эхолокации. Он излучает звуковые импульсы в пространство и принимает отражённый от препятствия сигнал. По времени распространения звуковой волны к препятствию и обратно определяется расстояние до объекта.

Запуск звуковой волны начинается с подачи положительного импульса длительностью не менее 10 микросекунд на ножку TRIG дальномера. Как только импульс заканчивается, дальномер излучает в пространство перед собой пачку звуковых импульсов частотой 40 кГц. В это же время на ножке ECHO дальномера появляется логическая единица. Как только датчик улавливает отражённый сигнал, на выводе ECHO появляется логический ноль. По длительности логической единицы на ножке ECHO («Задержка эхо» на рисунке) определяется расстояние до препятствия.



Рисунок 3.6.4 - Принцип действия ультразвукового датчика

Диапазон измерения расстояния дальномера HC-SR04 - до 4 метров с разрешением 0,3 см. Угол наблюдения - 30°, эффективный угол - 15°. Ток потребления в режиме ожидания 2 мА, при работе - 15 мА [19].

3.7 Микродвигатели JJRC H8C

Двигаются против часовой стрелки, для использования их в квадрокоптере необходимо установить попарно, таким образом, чтобы два из них крутились в одну сторону, а другие два - в противоположную. Для этого одну пару моторчиков подключают обратной полярностью.

Технические характеристики:

сопротивление 62мОм;

размеры (2,5 см х 0,8 см х 0,8 см);

вес 11 г.

Двухпроводный последовательный интерфейс I2C

Последовательная ассимметричная шина для связи между интегральными схемами внутри электронных приборов. Использует две двунаправленные связи SDA-линия данных и SCL-синхонизирующий интерфейс.

Цикл обмена данных между ведущим и ведомым состоит из нескольких пакетов (пакет адреса и пакет данных).

Скорость передачи данных не превышает 400 Кбит/с.

Расстояние передачи порядка десятков см.

Данные передаются по двум проводам -- проводу данных и проводу тактов. Есть ведущий (master) и ведомый (slave), такты генерирует master, ведомый лишь «поддакивает» при приёме байта. Всего на одной двупроводной шине может быть до 127 устройств.

Рисунок 3.8. Структурная схема линий I2C

IІC использует две двунаправленные линии, подтянутые к напряжению питания и управляемые через открытый коллектор или открытый сток -- последовательная линия данных (SDA, англ. Serial DAta) и последовательная линия тактирования (SCL, англ. Serial CLock). Стандартные напряжения +5 В или +3,3 В, однако допускаются и другие.

Классическая адресация включает 7-битное адресное пространство с 16 зарезервированными адресами. Это означает, что разработчикам доступно до 112 свободных адресов для подключения периферии на одну шину.

Основной режим работы -- 100 кбит/с; 10 кбит/с в режиме работы с пониженной скоростью. Также немаловажно, что стандарт допускает приостановку тактирования для работы с медленными устройствами.

3.9 Интерфейс ввода/вывода общего назначения GPIO

Порт GPIO представляет собой группу GPIO штифтов, расположенных в группе и контролируемых в качестве группы.

Интерфейс для связи между микропроцессором и периферийными устройствами. GPIO контакты могут выступать как в роли входа, так и в роли выхода. (Как правило, это конфигурируется).

Характеристики:

GPIO- контакты могут быть сконфигурированы для ввода и

вывода;

GPIO- контакты можно включить или отключить;

Входные значения могут быть прочитаны;

Входные значения часто могут быть использованы в качестве

прерываний;

Выходные значения могут быть перезаписаны, считываемы.

3.10 Протокол LIN

Протокол LIN предназначен для создания дешёвых локальных сетей обмена данными на короткихрасстояниях.Он служит для передачи входных воздействий, состояний переключателей на панеляхуправления и так далее, а также ответных действий различных устройств, соединённых в одну систему через LIN, происходящих в так называемом «человеческом» временном

диапазоне (порядка сотен миллисекунд).

Технические характеристики:

В основу LIN положена концепция "single-master/multi-slave";

Топология "общая шина";

Реализуется с помощью простого последовательного интерфейса

UART/SCI;

Передача данных по одному проводу;

Скорость до 20 Кбит/с;

Длина шины до 40 м;

Напряжение на шине в пассивном состоянии 9...18 В (подключенные к шине узлы должны выдерживатьповышение напряжения до 40 В) [20].

3.11 Расчет массы устройства

При проектировании и создании квадрокоптера следует выполнить все необходимые расчеты с целью нахождения оптимального баланса между массой аппарата, мощностью установленных на него двигателей и целого ряда других факторов.

В квадрокоптере каждый из параметров и характеристик тесно связан друг с другом. Так, например, если вы захотите увеличить полетное время, то нужно будет установить аккумулятор большей емкости, а, следовательно, станет больше и масса, что повлечет увеличение расхода энергии.

Таблица 4.1 - Масса элементов разрабатываемого контроллера

№п.п	Наименование	Масса
1	Контроллер ESP8266EX	50г
2	Контроллер напряжения ADM1232	0,5г
3	Стабилизатор	0,5г
4	Регулятор	0,6г
5	Датчик высоты	0,4г
6	Компас	0,16г
7	Двигатель	11г
8	Батарейка	50г
	Итого	113,16г

По техническим характеристикам масса не должна превышать 200 г. Разработанный аппарат удовлетворяет этому условию.

3.12 Расчет ключа на биполярном транзисторе

Ключевой режим работы характеризуется тем, что транзистор находится в одном из двух состояний: в полностью открытом (режим насыщения), или полностью закрытом (состояние отсечки).

Рисунок 3.12 - Ключ на биполярном транзисторе

В качестве нагрузки выступает моторчик типа JJRC H8C на напряжение 5В с сопротивлением 62 мОм.

Рассчитываем ток коллектора:

Ik=(Ucc-Uкэнас)/Rн,

где Ik -ток коллектора, Ucc- напряжение питания (5В), Uкэнас- напряжение насыщения биполярного транзистора (типично от 0.2 до 0.8В, хотя и может прилично различаться для разных транзисторов), в нашем случае примем 0.4В

Rн- сопротивление нагрузки (62 Ом)

Итак, Ik= (5-0.4)/62 = 74.2A

Поэтому в качестве ограничителя выступает резистор сопротивлением 200 мОм.

На практике из соображений надежности элементы всегда необходимо выбирать с запасом. Возьмем коэффициент 1.5

Таким образом, нужен транзистор с допустимым током коллектора не менее 1.5*0,2=300мОм и максимальным напряжением коллектор-эмиттер не менее 1.5*5=7.5 В.

По заданным параметрам подходит КТ815А (Ikмакс=1.5А Uкэ=40В)

Из справочника биполярных транзисторов был выбран транзистор КТ815А со следующими характеристиками:

структура n-p-n;

максимально допустимое(импульсное) напряжение коллектор-база 40В;

максимально допустимое (импульсное) напряжение коллектор-эмиттер 30 В;

максимально допустимый постоянный(импульсный) ток коллектора 1500(3000) мА;

максимально допустимая постоянная рассеиваемая мощность коллектора без теплоотвода (с теплоотводом) 1(10) Вт;

статический коэффициент передачи тока биполярного транзистора в схеме с общим эмиттером 40-275;

обратный ток коллектора <=50 мкА;

граничная частота коэффициента передачи тока в схеме с общим эмиттером =>3 МГц;

коэффициент шума биполярного транзистора <0.6 дБ.

Следующим этапом рассчитываем ток базы, который нужно создать, чтобы обеспечить ток коллектора 300 мА. Как известно, ток коллектора связан с током базы соотношением Ik=Iб*h21э,, где h21э - статический коэффициент передачи тока.

При отсутствии дополнительных данных можно взять табличное гарантированное минимальное значение для КТ815А (60).

Итак, Iб=0.3/60=0.05А

Рассчитываем потери мощности на транзисторе:

P=Ik*Uкэнас

Uкэнас составляет 0.07В

P= 0.07*0.3= 0,21 Вт

Так как потери мощности малы, то дополнительные средства охлаждения не требуются.

4. АЛГОРИТМЫ УПРАВЛЕНИЯ ЛЕТАТЕЛЬНОГО АППАРАТА

В данной главе рассматриваются алгоритмы управления летательного аппарата.

4.1 Основные понятия машинного обучения и нейронных сетей

Машинное обучение -- класс методов искусственного интеллекта, характерной чертой которых является не прямое решение задачи, а обучение в процессе применения решений множества сходных задач. Для построения таких методов используются средства математической статистики, численных методов, методов оптимизации, теории вероятностей, теории графов, различные техники работы с данными в цифровой форме.

Машинное обучение находится на стыке математической статистики, методов оптимизации и классических математических дисциплин, но имеет также и собственную специфику, связанную с проблемами вычислительной эффективности и переобучения. Многие методы индуктивного обучения разрабатывались как альтернатива классическим статистическим подходам. Многие методы тесно связаны с извлечением информации и интеллектуальным анализом данных [21].

Машинное обучение -- не только математическая, но и практическая, инженерная дисциплина. Чистая теория, как правило, не приводит сразу к методам и алгоритмам, применимым на практике. Чтобы заставить их хорошо работать, приходится изобретать дополнительные эвристики, компенсирующие несоответствие сделанных в теории предположений условиям реальных задач. Практически ни одно исследование в машинном обучении не обходится без эксперимента на модельных или реальных данных, подтверждающего практическую работоспособность метода.

Общая постановка задачи обучения по прецедентам. Дано конечное множество прецедентов (объектов, ситуаций), по каждому из которых собраны (измерены) некоторые данные. Данные о прецеденте называют также его описанием. Совокупность всех имеющихся описаний прецедентов называется обучающей выборкой. Требуется по этим частным данным выявить общие зависимости, закономерности, взаимосвязи, присущие не только этой конкретной выборке, но вообще всем прецедентам, в том числе тем, которые ещё не наблюдались. Говорят также о восстановлении зависимостей по эмпирическим данным -- этот термин был введён в работах Вапника и Червоненкиса.

Наиболее распространённым способом описания прецедентов является признаковое описание. Фиксируется совокупность n показателей, измеряемых у всех прецедентов. Если все n показателей числовые, то признаковые описания представляют собой числовые векторы размерности n. Возможны и более сложные случаи, когда прецеденты описываются временными рядами или сигналами, изображениями, видеорядами, текстами, попарными отношениями сходства или интенсивности взаимодействия, и т. д.

Для решения задачи обучения по прецедентам в первую очередь фиксируется модель восстанавливаемой зависимости. Затем вводится функционал качества, значение которого показывает, насколько хорошо модель описывает наблюдаемые данные. Алгоритм обучения (learning algorithm) ищет такой набор параметров модели, при котором функционал качества на заданной обучающей выборке принимает оптимальное значение. Процесс настройки (fitting) модели по выборке данных в большинстве случаев сводится к применению численных методов оптимизации[22].

Нынешний успех машинного обучения и всеобщее признание стали возможны благодаря трем обстоятельствам:

1. Возрастающее в геометрической прогрессии количество данных. Оно вызывает потребность в анализе данных и является необходимым условием для внедрения систем ML. Одновременно это количество данных открывает возможность для обучения, поскольку порождает большое количество образцов (прецедентов), и это достаточное условие.

2. Сформировалась необходимая процессорная база. Известно, что решение задач ML распадается на две фазы. На первой выполняется обучение искусственной нейронной сети (тренировка). На протяжении этого этапа нужно параллельно обработать большое количество образцов. На данный момент для этой цели нет альтернативы графическим процессорам GPU, в подавляющем большинстве случаев используют GPU Nvidia. Для работы обученной нейронной сети могут быть использованы обычные высокопроизводительные процессоры CPU. Это распределение функций между типами процессоров вскоре может претерпеть существенные изменения. Во-первых, уже в 2017 году Intel обещает выпустить на рынок специализированный процессор Nervana, который будет на порядка производительнее, чем GPU. Во-вторых, появляются новые типы программируемых матриц FPGA и больших специализированных схем ASIC, и специализированный процессор Google TensorFlow Processing Unit (TPU).

3. Создание библиотек для программного обеспечения ML. По состоянию на 2017 год их насчитывается более 50. Вот только некоторые, наиболее известные: TensorFlow, Theano, Keras, Lasagne, Caffe, DSSTNE, Wolfram Mathematica. Список можно продолжить. Практически все они поддерживают прикладной интерфейс OpenMP, языки Pyton, Java и C++ и платформу CUDA.

Будущая сфера применения ML, без всякого преувеличения, необозрима. В контексте Четвертой промышленной революции наиболее значимая роль ML заключается в расширении потенциала области Business Intelligence (BI), название которой условно переводится как «бизнес-аналитика».

В дополнение к традиционному в большей мере количественному для BI вопросу: «Что происходит в бизнесе?», с помощь ML можно будет отвечать и на такие: «Что и почему мы делаем?», «Как можем делать это лучше?», «Что нам следует делать?» и подобные качественные и содержательные вопросы.

Обучение с подкреплением (reinforcement learning). Роль объектов играют пары «ситуация, принятое решение», ответами являются значения функционала качества, характеризующего правильность принятых решений (реакцию среды). Как и в задачах прогнозирования, здесь существенную роль играет фактор времени. Примеры прикладных задач: формирование инвестиционных стратегий, автоматическое управление технологическими процессами, самообучение роботов, и т.д.

Нейронная сеть -- это математическая модель, а также ее программные или аппаратные реализации, построенная в некотором смысле по образу и подобию сетей нервных клеток живого организма. Это один из методов машинного обучения.

Таким образом искусственная нейронная сеть может быть представлена в виде совокупности искусственных нейронов, связанных стрелками.

В реальной биологической нейронной сети от входов сети к выходам передается электрический сигнал. В процессе прохода по нейронной сети он может изменяться.

Электрический сигнал всегда будет электрическим сигналом. Концептуально ничего не изменяется. Меняется величина этого электрического сигнала (сильнее/слабее). А любую величину всегда можно выразить числом (больше/меньше).

На входы сети мы будем подавать какие-то числа, символизирующие величины электрического сигнала, если бы он был. Эти числа будут продвигаться по сети и каким-то образом меняться. На выходе сети мы получим какое-то результирующее число, являющееся откликом сети.

У каждого нейрона, в том числе и у искусственного, должны быть какие-то входы, через которые он принимает сигнал. Мы уже вводили понятие весов, на которые умножаются сигналы, проходящие по связи. На картинке выше веса изображены кружками.

Поступившие на входы сигналы умножаются на свои веса. Сигнал первого входа x1 умножается на соответствующий этому входу вес w1. В итоге получаем x1w1. И так до n-ого входа. В итоге на последнем входе получаем xnwn.

Теперь все произведения передаются в сумматор. Уже исходя из его названия можно понять, что он делает. Он просто суммирует все входные сигналы, умноженные на соответствующие веса:

x1w1+x2w2+п+xnwn=?i=1nxiwi

4.2 Методы машинного обучения в системах управления

Возможности машинного обучения, т. е. способность обучаться и обеспечивать рекомендации на уровне экспертов в узкой предметной области, обеспечивают алгоритмы, которые делятся на две большие группы:

обучение без учителя (unsupervised learning) (UL);

обучение с учителем (supervised learning) (SL).

Кроме этого, иногда выделяют:

обучение с подкреплением (reinforcement learning)(RL);

полууправляемое обучение (semi-supervised learning) (SSL).

Главная задача, решаемая алгоритмами машинного обучения, заключается в отнесении наблюдаемого объекта к тому или другому классу для принятия последующего решения автоматически или человеком. Такие задачи распространены очень широко. В качестве примера можно указать на задачи, возникающие в процессе движения мобильного автономного робота и связанные с распознаванием образов предстоящего пути; задачи распознавания лиц, мимики, эмоций; анализ действия пользователя при получении услуг в системах электронной коммерции, который позволяет проводить как оптимизацию интерфейса, так и планировать действия системы. В целом, это анализ данных в различных информационных системах, позволяющий выполнять предсказания состояний или классификацию объектов. Различаются способы решения указанной задачи. [23]

Методы UL решают задачу кластеризации, когда множество заранее не обозначенных объектов разбивается на группы путем автоматической процедуры исходя из свойств этих объектов. При этом количество групп (кластеров) может быть заранее задано или формироваться автоматически. К числу таких алгоритмов относятся теория адаптивного резонанса (adaptive resonance theory -- ART) и самоорганизующиеся карты (self-organizing map -- SOM) или карты Кохонена, а также обширная группа алгоритмов кластеризации (k-means, mixture models, hierarchical clustering и др.).

SL решают задачу классификации, когда в потенциально бесконечном множестве объектов выделяются конечные группы некоторым образом обозначенных объектов. Обычно формирование групп выполняется экспертом. При этом эксперт может объяснять, а может и не объяснять, по каким причинам он выполнил первоначальную классификацию.

Алгоритм классификации должен, используя эту первоначальную классификацию как образец, отнести следующие необозначенные объекты к той или иной организованной экспертом группе исходя из свойств этих объектов. SL включают большой набор алгоритмов или семейств алгоритмов, которые часто разделяются на линейные и нелинейные классификаторы, в зависимости от формы (гиперплоскости или гиперповерхности) разделяющие классы объектов. В двумерном случае линейные классификаторы разделяют классы единственной прямой, тогда как нелинейные классификаторы -- линией (рисунок 4.1).



Рисунок 4.1 - Линейный (а) и нелинейный (b) классификаторы

Основное отличие обучения с подкреплением (reinforcement learning) от классического машинного обучения заключается в том, что искусственный интеллект обучается в процессе взаимодействия с окружающей средой, а не на исторических данных. Соединив в себе способность нейронных сетей восстанавливать сложные взаимосвязи и самообучаемость агента (системы) в reinforcement learning, машины достигли огромных успехов.

Обучению с подкреплением характерны следующие свойства:

Разные действия приводят к разным выигрышам. К примеру, при поиске сокровищ в лабиринте поворот налево может означать кучу бриллиантов, а поворот направо -- яму ядовитых змей.

Агент получает выигрыш с задержкой во времени. Это значит, что, повернув налево в лабиринте, мы не сразу поймем, что это правильный выбор.

Выигрыш зависит от текущего состояния системы. Продолжая пример выше, поворот налево может быть правильным в текущей части лабиринта, но не обязательно в остальных.

Обучение с частичным привлечением учителя или полуавтоматическое обучение или частичное обучение(англ.Semi-supervised learning)-- способ машинного обучения, разновидность обучения с учителем, которое также использует неразмеченные данные для тренировки-- обычно небольшое количество размеченных данных и большое количество неразмеченных данных.

Полуавтоматическое обучение занимает промежуточную позицию между обучением без учителя (без привлечения каких-либо размеченных данных для тренировки) и обучением с учителем (с привлечением лишь размеченных данных).

Многие исследователи машинного обучения обнаружили, что неразмеченные данные, при использовании в сочетании с небольшим количеством размеченных данных, могут значительно улучшить точность обучения.

Задание размеченных данных для задачи обучения часто требует квалифицированного человека (например, для транскрибирования аудио файла) или физического эксперимента (например, для определения 3D структуры белка или выявления наличия нефти в определенном регионе). Поэтому затраты на разметку данных могут сделать процесс обучения с использованием лишь размеченных данных невыполнимым, в то время как процесс задания неразмеченных данных не является очень затратным. В таких ситуациях, полуавтоматическое обучения может иметь большое практическое значение. Такое обучение также представляет интерес в сфере машинного обучения и как модель для человеческого обучения [24].

4.3 Стратегия обучения с подкреплением

Формально простейшая модель обучения с подкреплением состоит из:

множества состояний окружения S;

множества действий A;

множества вещественнозначных скалярных „выигрышей“.

В произвольный момент времени t агент характеризуется состоянием st ? S и множеством возможных действий A(st). Выбирая действие a ?A(st), он переходит в состояние st+1 и получает выигрыш rt. Основываясь на таком взаимодействии с окружающей средой, агент, обучающийся с подкреплением, должен выработать стратегию р: S>A, которая максимизирует величину R=r0 + r1+…+rn в случае МППР, имеющего терминальное состояние, или величину

для МППР без терминальных состояний (где 0 ???1 --- дисконтирующий множитель для „предстоящего выигрыша“).

Таким образом, обучение с подкреплением особенно хорошо подходит для решения задач, связанных с выбором между долгосрочной и краткосрочной выгодой. Оно успешно применялось в различных областях, таких как робототехника, управление лифтами, телекоммуникации.

Теперь, когда была определена функция выигрыша, нужно определить алгоритм, который будет использоваться для нахождения стратегии, обеспечивающей наилучший результат.

Наивный подход к решению этой задачи подразумевает следующие шаги:

опробовать все возможные стратегии;

выбрать стратегию с наибольшим ожидаемым выигрышем.

Первая проблема такого подхода заключается в том, что количество доступных стратегий может быть очень велико или же бесконечно. Вторая проблема возникает, если выигрыши стохастические -- чтобы точно оценить выигрыш от каждой стратегии потребуется многократно применить каждую из них. Этих проблем можно избежать, если допустить некоторую структуризацию и, возможно, позволить результатам, полученным от пробы одной стратегии, влиять на оценку для другой. Двумя основными подходами для реализации этих идей являются оценка функций полезности и прямая оптимизация стратегий [25].

Подход с использованием функции полезности использует множество оценок ожидаемого выигрыша только для одной стратегии р(либо текущей, либо оптимальной). При этом пытаются оценить либо ожидаемый выигрыш, начиная с состояния s, при дальнейшем следовании стратегии р,

V(s)=E[R|s, р],

либо ожидаемый выигрыш, при принятии решения a в состоянии s и дальнейшем соблюдении р,

Q(s,a)=E[R|s, р,a].

Если для выбора оптимальной стратегии используется функция полезности Q, то оптимальные действия всегда можно выбрать как действия, максимизирующие полезность. Если же мы пользуемся функцией V, необходимо либо иметь модель окружения в виде вероятностей P(s'|s,a), что позволяет построить функцию полезности вида

Q(s,a)=,

либо применить т.н. метод исполнитель-критик, в котором модель делится на две части: критик, оценивающий полезность состояния V, и исполнитель, выбирающий подходящее действие в каждом состоянии.

Имея фиксированную стратегию р, оценить E[R|?] при ?=0 можно просто усреднив непосредственные выигрыши. Наиболее очевидный способ оценки при ? >0 -- усреднить суммарный выигрыш после каждого состояния. Однако для этого требуется, чтобы МППР достиг терминального состояния (завершился).

Поэтому построение искомой оценки при ? >0 неочевидно. Однако, можно заметить, что R образуют рекурсивное уравнение Беллмана:

E[R|s_t]=rt+? E[R|st+1].

Подставляя имеющиеся оценки, V, и применяя метод градиентного спуска с квадратичной функцией ошибок, мы приходим к алгоритму обучения с временными воздействиями. В простейшем случае и состояния, и действия дискретны и можно придерживаться табличных оценок для каждого состояния. Другие похожие методы: Адаптивный эвристический критик (Adaptive Heuristic Critic, AHC), SARSA и Q-обучение (Q-learning). Все вышеупомянутые используют различные методы приближения, но в некоторых случаях сходимость не гарантируется. Для уточнения оценок используется метод градиентного спуска или метод наименьших квадратов в случае линейных приближений.

Указанные методы не только сходятся к корректной оценке для фиксированной стратегии, но и могут быть использованы для нахождения оптимальной стратегии. Для этого в большинстве случаев принимают стратегию с максимальной оценкой, принимая иногда случайные шаги для исследования пространства. При выполнении некоторых дополнительных условий существуют доказательства сходимости упомянутых методов к оптимальной стратегии. Однако, эти доказательства гарантируют только асимптотическую сходимость, в то время как поведение алгоритмов обучения с подкреплением в задачах с малыми выборками мало изучено, не считая некоторых очень ограниченных случаев.

Альтернативный метод поиска оптимальной стратегии -- искать непосредственно в пространстве стратегий. Таки методы определяют стратегию как параметрическую функцию р (s, и) с параметром и. Для настройки параметров применяются градиентные методы. Однако, применение градиентных методов осложняется тем, что отсутствует информация о градиенте. Более того, градиент тоже приходится оценивать через зашумлённые результаты выигрышей. Так как это существенно увеличивает вычислительные затраты, может быть выгоднее использовать более мощные градиентные методы, такие как метод скорейшего спуска. Алгоритмы, работающие напрямую с пространством стратегий привлекли значительное внимание в последние 5 лет и в данный момент достигли достаточно зрелой стадии, но до сих пор остаются активным полем для исследований. Существуют и другие подходы, такие как метод отжига, применяемые для исследования пространства стратегий.

4.4 Применение обучения с подкреплением в управлении электродвигателем

Применение алгоритма обучения с подкреплением для решения модельной задачи уклонения манипулятора от летящего в него предмета. Стартовое положение манипулятора, стартовое положение объекта и его скорость, топология манипулятора выбирались произвольно. Проведен ряд экспериментов, в ходе которых система управления обучалась избегать столкновения с предметом и восстанавливать исходное положение, прикладывая минимальные усилия в двигателях. При этом для построения системы управления использовалась только информация о состоянии манипулятора, о совершаемых действиях и о событии столкновения. После нескольких повторений системе управления удается избежать столкновения манипулятора с предметом. В результате последующих повторений движения манипулятора становятся плавнее.

Система управления логически состоит из двух модулей: кинематический синтез траектории с помощью обучения с подкреплением и реализация траектории. Для следования по траектории используется классическая система непрерывного управления с линеаризацией с помощью обратной связи. Синтез траектории осуществляется разработанным алгоритмом на основе обучения с подкреплением.

Хорошо исследована сфера построения систем управления для промышленных манипуляторов. Но управляемые таким образом манипуляторы предназначены только для использования в заводских условиях для выполнения одной конкретной задачи. Более «гибкие» системы управления могут быть построены с помощью операционного управления.

С помощью этого метода можно независимо управлять любыми частями робота (манипулятора), например, рабочим органом и мобильной платформой под ним, не задумываясь об их взаимовлиянии. И хотя система управления по-прежнему «жесткая», с помощью этой технологии гораздо проще решить многие задачи, требующие адаптации в реальном времени, такие как податливость или совместное управление.

Есть разные методы построения алгоритмов управления манипулятором с помощью машинного обучения. Одним из направлений является использование статистических алгоритмов, основанных на скрытой марковской модели. Принципиально методы из данной группы отличаются способом задания управления и способом обучения.

Для задания управления широко применяются нейронные сети, сплайны, динамические системы, задающие аттракторы настраиваемой формы для представления движений. Важными достоинствами последнего подхода являются скорость обучения, простота применения к задачам с отличающимися параметрами (например, координатой аттрактора), устойчивость к небольшим возмущениям. Для обучения этих моделей могут использоваться алгоритмы регрессии, настраивающие параметры модели согласно данным примерам движений, либо обучение с подкреплением. Возможно также совместное применение этих алгоритмов, когда первоначально параметры модели настраиваются с помощью регрессии на основе примеров движений, заданных человеком, а затем они настраиваются с помощью обучения с подкреплением, улучшая характеристики управления. В данной работе рассматривается подход, использующий в качестве модели, описывающей траектории, интерполяцию сплайнами. Параметры модели настраиваются с помощью алгоритма обучения с подкреплением [26].

4.5 Математическая модель адаптивной системы управления

Разработка систем управления предполагает построение модели объекта управления и настройки системы управления на основе полученной модели. Однако зачастую построение модели управления бывает затруднено либо невозможно. В таких случаях может быть использована эмпирическая настройка регулятора либо построение модели как черного ящика. Последний подход успешно реализуется методами машинного обучения. При этом применяется стратегия обучения с учителем. Однако существует класс методов реализующих другую стратегию - обучение с подкреплением. Данные методы предполагают рассмотрение регулятора в качестве агента, действующего в пространстве состояний. Данная работа посвящена разработке системы регулирования, основанной на применении указанной стратегии.

В качестве метода обучения с подкреплением используем алгоритм Q - обучения.

Согласно данному методу обучение агента происходит в несколько эпизодов. На каждом эпизоде агент предпринимает некоторое действие, ответом на которое является величина подкрепления. Примененное действие, имевшее место состояния системы и полученное подкрепление формирует функцию Q(a, s), которая может быть аппроксимирована с помощью нейронной сети. Цель агента - минимизация данной величины.

Рассмотрим систему управления полетом квадрокоптера. Агентом является летательный аппарат, он может управлять двигателями - вращать ими или прекращать вращение. Подкреплением является воздействие летательного аппарата - движение двигателей.

Управление квадрокоптером полностью в ручном режиме не тривиальная задача. Для управления необходимо анализировать около семи входных параметров и вырабатывать четыре управляющих воздействия в реальном времени. В связи с этим разработка модели системы автоматического управления (САУ) квадрокоптером, является актуальной задачей. Основная задача системы управления состоит в том, чтобы стабилизировать квадрокоптер в заданных координатах (x, y, z), стабилизировать плоскость, в которой вращаются пропеллеры, параллельно плоскости горизонта (уменьшить углы крены и тангажа), а также стабилизировать продольную ось корпуса аппарата (угол рыскания). Другими словами, следует произвести стабилизацию по всем шести степеням свободы. Предлагаемая система автоматического управления существенно облегчит оператору управление квадрокоптером. Оператор должен будет назначить цель и конечную ориентацию, а беспилотный летательный аппарат самостоятельно ее достигнет. Построение модели системы автоматического управления будем осуществлять в следующих ограничениях:

- раму квадрокоптера будем считать абсолютно жесткой;

- детали, из которых сделан аппарат одинаковые по плотности и массе, т.е. квадрокоптер имеет идеальную симметричную конструкцию;

- квадрокоптер будем абсолютно твердым телом с шестью степенями свободы;

- сила сопротивления воздуха не учитывается.

Рисунок 4.1- Аналитическая модель

Квадрокоптер описывается шестью степенями свободы три поступательные (x, y, z) и три вращательные (ц, и, ш). Для описания поступательного движения будем использовать инерциальную систему отсчета, связанную с землёй, а для вращательного движения будем использовать систему отсчета, связанную с корпусом аппарата. В инерциальной системе ускорение аппарата вызвано тягой двигателей и гравитацией. Для получения вектора силы в инерциальной системе отсчета, можно использовать матрицу поворота R для переноса вектора тяги из системы отсчета аппарата в инерциальную систему отсчёта. Таким образом, поступательное движение может быть описано уравнением (1)

= F (1)

Пренебрегая силами сопротивления, и делая небольшой угол приближение, модель может быть выражена как,

(3)

Предполагая постоянную общую тягу T = mg, кроме в направлении z,

(4)

Обратим внимание, что ш (рыскание) не появляется в линейных динамических уравнениях. Линеаризация угловых уравнений, наряду с заменой на данный момент М,в результате,

 (5)

где l - длина руки, Kr - пропорциональная постоянная, относящая тягу к угловому крутящему моменту и Ti это тяга от ротора i.

Краткое изложение линейных уравнений в пространстве состояний представлен ниже, выделяя динамику выставляется предположениями, сделанными выше,

(7)

(8)

(9)

(10)

где T - полная разница тяги от зависания при условиях, uи = (T1 - T3) и

uц = (T2 - T4).

Окончательный результат для уравнений вращательного движения в системе координат, связанной с аппаратом, представим в виде (11)



Представим модель САУ в виде «черного ящика». Тогда, входными сигналами являются текущие координаты аппарата x, y и z, углы крена ц, тангажа и и рыскания ш, координаты цели, которую нужно достичь M, N и P, а так же угол нужной ориентации).Управление квадрокоптером обеспечивается путём манипулирования значения тяги на каждом отдельном двигателе. Поэтому выходами системы управления будут тяги Т1, Т2, Т3 и Т4. Модель системы автоматического управления представлена на рисунке:

Рисунок 4.5.2 - Модель системы автоматического управления квадрокоптером

Комбинируя вышеуказанные регуляторы вместе, получаем окончательное управление для каждого двигателя:

T1=Tmg+Tz-Tц+Tш-Tyx'

T2=Tmg+Tz-Tи-Tш-Txy'

T3=Tmg+Tz+Tц+Tш+Tyx'

T4=Tmg+Tz+Tи-Tш-Txy'

Экспериментальные исследования предложенной модели проводились в среде Matlab при следующих значениях параметров:

Масса аппарата m=3 кг.

Масса одного пропеллера mr=0,01 кг.

Расстояние между противоположными двигателями l=1 м.

Коэффициент в пропорциональном регуляторе для тангажа kpц = kpи = 0,1. Коэффициент в дифференциальном регуляторе для тангажа kdц = kdц = 4. Коэффициент в пропорциональном регуляторе для высоты kpz =1. Коэффициент в дифференциальном регуляторе для высоты kdz=1,5. Коэффициент в пропорциональном регуляторе для рыскания kpш =2. Коэффициент в дифференциальном регуляторе для рыскания kdш =1.

Коэффициент в пропорциональном регуляторе для стабилизации в плоскости XoY kpxy=1.

Коэффициент в дифференциальном регуляторе для стабилизации в плоскости XoY kdxy =5.

Коэффициент в пропорциональном регуляторе для стабилизации в плоскости XoY kpyx =1.

Коэффициент в дифференциальном регуляторе для стабилизации в плоскости XoY kdyx =5.

Коэффициент крутизны реакции по перемещению вблизи цели s =2. Коэффициент крутизны реакции скорости s =3.

Параметры регуляторов подбирались эмпирическим методом. В качестве экспериментов рассматривалось движение беспилотного летательного аппарата от точки старта - начало координат (0, 0, 0) - до цели - точка (1, 2, 3). Начальная ориентация по углу ш составляла 0°, а целевая ориентация должны быть 45°. Результаты моделирования представлены на рисунке 4.5.



Рисунок 4.4 - Координаты перемещения центра масс аппарата

Рисунок 4.5 - Ориентация аппарата в полёте

Таким образом, была построена математическая модель квадрокоптера, синтезирована система автоматического управления движением беспилотным летательным аппаратом, проведены компьютерные эксперименты в среде MATLAB, показавшие адекватность полученных моделей. В результате математического моделирования были получены параметры системы автоматического управления, обеспечивающие движение центра масс квадрокоптера в заданную точку.

Большинству промышленных процессов присущи нелинейные характеристики. Следовательно, классические стратегии управления, использующие линеаризованные модели, неэффективны в достижении оптимального управления. В данной работе предложена стратегия обучения усилению на основе искусственной нейронной сети (ANN) для управления нелинейной взаимодействующей системой уровня высоты. Эта стратегия управления ANN-RL использует возможности обобщения, помехозащищенности и аппроксимации функций ANN, а также оптимальные возможности принятия решений RL-подхода. Предложены два различных подхода ANN-RL для решения общей нелинейной задачи управления и оценены их характеристики путем применения к двум эталонным нелинейным задачам управления уровнем высоты. Сравнение подхода ANN-RL также производится с дискретизированным пространством состояний, основанным на чистой стратегии управления RL. Сравнение производительности на эталонных нелинейных задачах контроля уровня высоты показывают, что подход ANN-RL приводит к лучшему контролю, о чем свидетельствует меньшее количество колебаний, подавление возмущений и перерегулирование.

Более надежный подход заключается в применении интегрального управления LQR к системе. Для этого подхода рассматривается связь между линейной и угловой динамикой.

В результате настройки регулятора таким образом были получены следующие характеристики:

Рисунок 4.6 - Ступенчатый отклик и сигналы двигателя ШИМ лучшего обученного агента PPO по сравнению с PID.

На приведенном рисунке видно, что обученный регулятор позволяет осуществлять управление полетом квадрокоптера с погрешностью ± 10% от начальной ошибки от Щ.

ЗАКЛЮЧЕНИЕ

Разработанный контроллер беспилотного летательного аппарата класса микрокоптер позволяет выполнять исследования квадрокоптера. Предложенная структура, а также выбранный микроконтроллер ESP8266EX обеспечивают возможности управления летательным аппаратом с применением беспроводной технологии wi-fi в режимах вертикального взлета и посадки (VTOL), режиме зависания (Hover mode) и режиме следования курсу (Course tracking mode).

Упомянутая структура позволяет реализовать систему при помощи большого количества стандартных элементов высокой степени интеграции, что повышает надежность системы, что особенно важно, учитывая характер ее применения.

Для выбранного контроллера было разработано программное обеспечение, позволяющее поддерживать требуемые режимы испытаний, благодаря наличию встроенного интерфейса I2C вести протокол и останавливать испытания в случае нештатных ситуаций. В данной работе разработана система регулирования, основанная на применении указанной стратегии обучения с подкреплением. В качестве метода обучения с подкреплением используем алгоритм Q - обучения. Подкреплением является отклонение уровня высоты аппарата от требуемого, агентом является летательный аппарат, а его действия - изменение скорости вращения двигателей для стабилизации высоты. В результате настройки статическая ошибка составила не более 5%.

СПИСОК ИСПОЛЬЗУЕМОЙ ЛИТЕРАТУРЫ

1. Дипломное проектирование. Учебное пособие. Под ред. д.т.н. проф. Лачина В.И. - Ростов-на-Дону.изд-во Феникс 2003г, с 352

2.Материалы с сайта http://www.skiletoys.by/quadrocopter-how-to-work/

3. Материалы с сайта http://www.markintalk.ru/kvadrocoptery.html

4. Материалы с сайта http://quadrocopters.su

5. Материалы с сайта http://kvadrokopters.com

6. Материалы с сайта http://blog.rcdetails.info/

7. Твой первый квадрокоптер. Теория и практика. Валерий Яценков, БХВ-Петербург, 2016г, с 256

8. Электроника. Учебное пособие. Лачин В.И, Савелов Н.И. Издат.8, Ростов-на-Дону. Феникс 2015, с 703 - Высшее образование

9. Материалы с сайта http://www.firstep.ru/knlp/theory/lection-01-02.php

10. Материалы с сайта http://kvadrocoptery.com/bazovyie-principyi-poleta-kvadrocoptera/

11. Материалы с сайта http://habrahabr.ru/post/227425

12. Материалы с сайта https://ru.wikipedia.org/wiki/ESP8266

13. Материалы с сайта: http://fb.ru/article/245758/mikrokontroller-esp-podklyuchenie-i-nastroyka

14.Datasheet ADM 1232

15. Справочная информация. [Электронный ресурс]. Режим доступа: http://arduino.ru/Hardware/ArduinoBoadrMega5260.

16.Справочная информация. [Электронный ресурс]. Режим доступа: http://www.chipdip.ru. -«Чип и Дип» - продажа радиодеталей.

17. Материалы с сайта https://mirquadrocopterov.ru/obshie-voprosy/datchiki-uderzhaniya-visoty-drona.html

18. Материалы с сайта: https://mirquadrocopterov.ru/?s=датчик+давления

19.Справочная информация. [Электронный ресурс]. Режим доступа: http://amperkot.ru/

20. Материалы с сайта https://ru.wikipedia.org/wiki/GPIO

21.Алгоритмы стабилизации для автоматического управления траекторией движения квадрокоптера, Гэн К, Чулин Н.А. - Электронный журнал - Наука и образование. МГТУ им Н.Э. Баумана, с 218-235

22. Witten I.H., Frank E. Data Mining: Practical Machine Learning Tools and Techniques (Second Edition). -- Morgan Kaufmann, 2005

23. Machine Learning Proceedings 1991: Proceedings of the Eighth International Workshop (ML91). -- Elsevier Science, 2014

24. Юревич Е. И. Основы робототехники. 2-е изд. СПб.: БХВ-Петербург, 2005. C. 7-207

ПРИЛОЖЕНИЕ А - Перечень элементов

ПРИЛОЖЕНИЕ Б - Листинг

ANN_RL.m

(http://www.sciencedirect.com/science/article/pii/S1568494614003111)

clear all;

clc;

% Define final desired goal state

global state_desired;

state_desired= 7;