АЛГОРИТМІЧНА КОРЕКЦІЯ «ЕФЕКТУ БАТЧУ» В ETL-КОНВЕЄРІ ІНТЕЛЕКТУАЛЬНОЇ ПЛАТФОРМИ ОПРАЦЮВАННЯ ГЕТЕРОГЕННИХ БІОМЕДИЧНИХ ДАНИХ

Анотація

У статті розглянуто етап первинної обробки даних у складі ETL-конвеєра інтелектуальної платформи для опрацювання біомедичних показників, що агрегує дані з розподілених сенсорних мереж (IoT-пристроїв, медичних моніторів) та публічних репозиторіїв (MIMIC-III, PhysioNet). Обґрунтовано, що ключовим архітектурним викликом при об'єднанні гетерогенних джерел є «ефект батчу» – системний зсув розподілу даних, зумовлений технічними факторами (інструментальна похибка, умови середовища, міжлабораторна варіативність), а не фізіологічним станом пацієнта. Запропоновано математичну модель корекції на основі алгоритму ComBat, що враховує адитивні та мультиплікативні ефекти батчу за допомогою емпіричного методу Байєса, з окремим виділенням матриці клінічних коваріат (вік, стать, ІМТ, хронічні діагнози) для збереження біологічно значущої варіативності. Наведено порівняльний аналіз методів усунення «ефекту батчу» (Z-score, квантильна нормалізація, ComBat, денойзинг, Batch Normalization) та методів імпутації пропущених значень (Mean/Median, KNN, MICE, LOCF/NOCB, MissForest, GAIN) із зазначенням програмних бібліотек їх реалізації. Запропоновано архітектурне рішення – виділення модуля ComBat-корекції в окремий мікросервіс етапу первинної обробки даних, що дозволяє динамічно адаптувати платформу до нових типів сенсорів без перенавчання основної моделі.