КІЛЬКІСНА ОЦІНКА ІНФОРМАТИВНОСТІ СЛОВНИКА ОЗНАК ДЛЯ КЛАСИФІКАЦІЇ ПРОГРАМНИХ КОДІВ ЛЮДЕЙ ТА ГЕНЕРАТИВНИХ МОДЕЛЕЙ ШТУЧНОГО ІНТЕЛЕКТУ

Анотація

Розглянуто задачу кількісного оцінювання інформативності словника ознак для класифікації програмних кодів за умов поширення генеративних моделей штучного інтелекту (ШІ). Запропоновано нову метрику інформативності словника – кількість моделей-класифікаторів у турнірі, що досягають 100% точності класифікації на рівні вікон та на рівні класів. Метрика розглядається як доповнення до традиційних показників (точність найкращої моделі, середня точність турніру) і характеризує не одну окрему модель, а розподіл якості за усім набором архітектур турніру. Експериментально на датасеті з 12 авторів (10 людей та 2 моделі ШІ) у 4 мовах програмування досліджено 22 серії у трьох сценаріях: внутрішньомовний (4 серії), крос-мовний (10 серій) та розрізнення Людина/ШІ (8 серій). Показано, що додавання символьних крос-зв'язків до базового словника ознак збільшує кількість моделей зі 100% точністю на рівні класів у середньому на +3,23 моделі на серію. Найбільший приріст виявлено у внутрішньомовному сценарії (+6,25 моделі) та у задачі розрізнення Людина/ШІ (+4,38 моделі). Запропонована метрика забезпечує більш детальну характеристику інформативності словника ознак, аніж агрегована середня точність.