СИСТЕМА РОЗПІЗНАВАННЯ 3D ОБ’ЄКТІВ ДЛЯ БЕЗПІЛОТНИХ ЛІТАЛЬНИХ АПАРАТІВ НА БАЗІ KINECT ТА ML

Анотація

Безпілотні транспортні засоби (розумні автомобілі, дрони, роботи) повинні розуміти навколишнє середовище та реагувати на нього, щоб виконувати свої завдання. Тому вони повинні мати можливості зору, щоб визначати об’єкти та їх координати. Для виявлення об’єктів і вимірювання їх відстані використано Kinect, альтернативу комп’ютерного зору. Результати показали, що датчик Kinect може разом із алгоритмами машинного навчання визначати присутність об’єктів у його полі зору та вимірювати відстань до них. Таким чином, обґрунтовано, що Kinect можна встановлювати на безпілотних транспортних засобах, як датчик зору, замість звичайної відеокамери, а також на пілотованих транспортних засобах для сповіщення водіїв, але переважно комп’ютерне бачення вирішальну роль у транспортних засобах без втручання людини.У статті представлена система технічного зору для дрона з використанням Kinect, замість звичайної камери для обробки потокового відео. Система дозволяє дрону виконувати різні завдання, такі як виявлення та відстеження об'єктів, побудова карти навколишнього середовища, планування траєкторії та ухилення від перешкод. Система складається з трьох основних модулів: модуль обробки зображень, модуль локалізації та модуль управління. Модуль обробки зображень  відповідає за отримання та аналіз даних з кінетика, модуль локалізації відповідає за визначення положення та орієнтації дрона у просторі, а модуль управління відповідає за генерацію команд для двигунів дрону. Система була протестована в реальних умовах і показала добрі результати у виконанні поставлених завдань.