РОЗРОБКА ПРОГРАМНОЇ СИСТЕМИ ВИЯВЛЕННЯ АНОМАЛІЙ У ДАНИХ ІЗ ВИКОРИСТАННЯМ НЕЙРОННИХ МЕРЕЖ

Анотація

У роботі наведено результати розробки програмної системи виявлення аномалій у даних із використанням нейронних мереж, орієнтованої на підвищення точності детекції, адаптивність до змін характеристик даних та забезпечення обробки інформації у режимі реального часу. Метою дослідження є розробка інтегрованої програмної системи виявлення аномалій, яка забезпечує ефективну обробку різнорідних даних, підвищену точність виявлення відхилень, адаптацію до змін у даних (concept drift) та можливість функціонування в умовах потокової обробки в реальному часі. Актуальність дослідження обумовлена стрімким зростанням обсягів різнорідних даних та необхідністю створення інтелектуальних систем, здатних своєчасно виявляти відхилення у складних інформаційних середовищах, зокрема у задачах кібербезпеки, аналізу мережевого трафіку, IoT та фінансових систем. У роботі проведено аналіз сучасних підходів до виявлення аномалій на основі нейронних мереж, включаючи автоенкодери, рекурентні, трансформерні та генеративні моделі, визначено їх переваги, обмеження та проблеми інтеграції у прикладні програмні системи. Запропоновано архітектуру програмної системи, що реалізує модульний підхід і включає підсистеми збору, попередньої обробки, навчання моделей, виявлення аномалій та адаптації моделей, при цьому основна увага зосереджена на інтеграції алгоритмічної та архітектурної складових системи. Особливістю системи є використання ансамблевого підходу для формування інтегральної оцінки аномальності, а також механізмів адаптації до змін у даних (concept drift) на основі аналізу розподілів. Використано алгоритми обробки потокових даних із мінімізацією затримок та забезпеченням масштабованості. Проведено експериментальне дослідження на наборах даних різної природи, що дозволило оцінити універсальність та ефективність запропонованого підходу. Отримані результати підтверджують підвищення точності виявлення аномалій та стійкості системи до змін характеристик даних у порівнянні з використанням окремих моделей. Особливістю роботи є розробка інтегрованої архітектури програмної системи, що поєднує різні типи нейронних мереж, механізми адаптації та формування узагальненого показника аномальності. Практичне значення роботи полягає у можливості застосування розробленої системи у реальних інформаційних системах для моніторингу, аналізу та підтримки прийняття рішень.