МУЛЬТИМОДАЛЬНИЙ НЕЙРОМЕРЕЖЕВИЙ МЕТОД АНАЛІЗУ МОВНОЇ ВАРІАТИВНОСТІ ДІАЛОГІВ КОНТАКТ-ЦЕНТРУ НА ОСНОВІ АКУСТИЧНИХ І ЛЕКСИЧНИХ ОЗНАК

Анотація

Запропоновано мультимодальний нейромережевий метод аналізу мовної варіативності діалогів контакт-центру з використанням акустичних та лексико-морфологічних ознак мовлення. Актуальність дослідження зумовлена необхідністю автоматизації моніторингу якості україномовного діалогу в умовах поширення змішаних мовних практик і емоційно забарвлених мовних конструкцій, які знижують точність стандартних систем автоматизованого розпізнавання мовлення та ускладнюють об’єктивне оцінювання якості комунікації. Запропонований в роботі метод передбачає використання мультимодальної нейромережевої архітектури, що поєднує Transformer-енкодер для формування контекстно-залежних текстових представлень і згорткові енкодери для вилучення інформативних акустичних характеристик мовлення, зокрема мел-частотних кепстральних коефіцієнтів та спектральних параметрів. У межах методу введено формалізовані показники оцінювання мовної варіативності – коефіцієнт лінгвістичних аномалій та інтегральний індекс мовної чистоти діалогу, що забезпечують кількісне вимірювання відхилень від нормативного мовлення у режимі реального часу. Експериментальна апробація методу проведена на мультимодальному корпусі тривалістю 50 годин, сформованому з аудіозаписів контакт-центрів, інтерв’ю та медійних діалогів. Отримані результати підтверджують наявність статистично значущого зв’язку між рівнем мовної варіативності та показниками якості автоматизованого розпізнавання мовлення, зокрема метрикою Word Error Rate. Для практичного використання розроблено програмний інструментарій візуалізації «карти мовної чистоти», що відображає динаміку мовленнєвих характеристик діалогу та може бути використаний для автоматизованого моніторингу якості роботи операторів контакт-центрів.

Наукова новизна дослідження полягає у розробці мультимодального нейромережевого методу аналізу україномовної варіативності діалогів контакт-центру, який базується на інтегрованій обробці акустичних характеристик мовлення та лексико-морфологічних ознак у спільному просторі представлень і передбачає використання формалізованих кількісних показників оцінювання – коефіцієнта лінгвістичних аномалій та інтегрального індексу мовної чистоти діалогу, що забезпечує автоматизоване виявлення змішаних мовних конструкцій і комплексну оцінку якості мовленнєвої взаємодії у режимі реального часу.