ЗАСТОСУВАННЯ МЕТОДУ ГЛИБОКОГО МАШИННОГО НАВЧАННЯ Q-МЕРЕЖА В АДАПТИВНІЙ АНТЕННІЙ СИСТЕМІ З БЛОКОМ ШТУЧНОГО ІНТЕЛЕКТУ

Анотація

У статті розглянуто можливості застосування методів глибокого машинного навчання для підвищення ефективності роботи адаптивних антенних систем сучасних безпроводових мереж. Основну увагу приділено методу глибокого підкріплювального навчання Deep Q-Network (DQN), який поєднує класичний алгоритм Q-learning із можливостями глибоких нейронних мереж. Проведено аналіз принципів функціонування методу DQN та його ключових компонентів, зокрема буфера відтворення досвіду (Replay Buffer), цільової нейронної мережі (Target Network), стратегії дослідження ε-greedy та механізму мінімізації функції втрат. Показано, що використання нейронної мережі для апроксимації функції цінності дій дозволяє інтелектуальному агенту приймати оптимальні рішення навіть у складних середовищах із великою кількістю можливих станів і дій.

У роботі запропоновано підхід до інтеграції методу DQN у модуль штучного інтелекту адаптивної антенної системи. Такий модуль може формувати систему знань про середовище функціонування радіомережі та забезпечувати інтелектуальне керування параметрами діаграми спрямованості антени. Розглянуто модель середовища у вигляді комірки безпроводової мережі, де точка доступу оснащена адаптивною антенною системою з блоком штучного інтелекту. У такій системі формування та динамічна зміна пелюсток діаграми спрямованості здійснюється з урахуванням переміщення абонентів у зоні радіопокриття. У рамках дослідження агент навчався знаходити оптимальні переходи між станами середовища, що моделює переміщення абонентів, з метою формування ефективної стратегії керування напрямками випромінювання.

Запропоновано алгоритм навчання агента на основі методу Deep Q-Network та реалізовано його у вигляді програмного коду мовою Python. За результатами програмної реалізації отримано зважений граф переходів між станами середовища, який інтерпретується як сформована система знань інтелектуального агента. Аналіз отриманих результатів показав, що метод DQN дозволяє визначати оптимальні та альтернативні маршрути переходів між станами з різними ймовірностями, що відкриває можливість прогнозування поведінки абонентів і більш точного керування напрямними характеристиками антенної системи.

Отримані результати свідчать про перспективність використання методів глибокого підкріплювального навчання у складі адаптивних антенних систем майбутніх безпроводових мереж, зокрема систем стандартів 5G та 6G. Запропонований підхід може бути використаний для реалізації концепції інтелектуальних антен, що здатні адаптуватися до змін середовища в режимі реального часу, оптимізувати використання радіочастотного спектра та підвищувати ефективність функціонування сучасних систем безпроводового зв’язку.