ОЦІНКА ПРОДУКТИВНОСТІ ГОТОВИХ РІШЕНЬ ПОШУКОВО-ДОПОВНЕНОЇ ГЕНЕРАЦІЇ ДЛЯ НАДАННЯ РЕКОМЕНДАЦІЇ З ВИБОРУ НАЙКРАЩОГО РІШЕННЯ

Анотація

В даній статті представлено процес розробки застосунка для надання комплексної оцінки існуючих рішень з розширеним пошуком (Retrieval-Augmented Generation) з акцентом на їхню ефективність у фінансовій сфері, зокрема для компаній, що займаються злиттям та поглинанням. Системи RAG, які поєднують механізми пошуку з можливостями генерації, продемонстрували перспективність у наданні точних і контекстно-релевантних відповідей завдяки використанню великих обсягів даних, специфічних для конкретної галузі. Ми створили програмний код, який автоматично оцінює відповіді та дозволяє створити таблицю лідерів для порівняння цих рішень за тринадцятьма ключовими показниками ефективності. Було зібрано датасет з питань та відповідей від дійсних експертів галузі, оцінено здатність кожного рішення обробляти структуровані та неструктуровані фінансові дані. Також порівняно оцінки від експертів та великих мовних моделей, зроблено висновок про ефективність дослідження. Отримані результати висвітлюють сильні і слабкі сторони існуючих систем RAG, надають уявлення про їхню застосовність та потенціал для покращення процесів прийняття рішень у фінансовому секторі. Це дослідження має на меті надання допомоги організаціям у виборі найбільш відповідного рішення RAG для їхніх потреб, а також надати інформацію про майбутні зміни в цій сфері, що швидко розвивається.