Retrieval-augmented generation означає, що система спершу шукає по вашому контенту, а потім пише відповідь, використовуючи лише знайдене, з доданими джерелами. Модель відповідає не з пам’яті, а з ваших документів — саме це робить вивід перевірюваним і тримає його актуальним, коли документи змінюються.
У цьому вся ідея. Усе решта — стратегії нарізки, ембединги, ранжувальники, гібридний пошук — деталі реалізації заради одного: покласти перед моделлю правильні фрагменти до того, як вона почне писати.
Спитайте, що люди насправді роблять, коли сьогодні зазнають невдачі. Якщо вони знають, що документ існує, і не можуть його знайти, проблема в пошуку і знаходжуваності, і добре налаштований пошук по добре розміченому контенту буде швидшим, дешевшим і зрозумілішим у довірі.
Якщо документи вони знаходять, а відповісти все одно не можуть — бо відповідь вимагає прочитати чотири договори і порівняти їхні пункти про розірвання, — це той випадок, заради якого RAG і будували. Система читає всі чотири і показує, звідки взялася кожна частина відповіді.
Пошуку достатньо, коли: відповідь лежить в одному відомому документі, термінологія однакова, а корпус добре структурований.
RAG відпрацьовує вартість, коли: відповідь охоплює кілька документів, те саме поняття в них названо по-різному або користувач не може назвати, що шукає.
Не допоможе ні те, ні те, коли: контент застарів або суперечливий. Обидва підходи сумлінно дістануть хибну відповідь, що лежить у ваших файлах.
Зазвичай припускають, що якість відповіді йде за моделлю. На практиці вона йде за пошуком фрагментів. Якщо потрібного фрагмента немає в контексті, жодна модель не витягне; якщо є — більшість сучасних моделей дадуть добру відповідь.
Тому робота концентрується на неефектному кінці: як документи нарізані, як обробляються версії, щоб скасована політика не відповідала як чинна, як дотримуються права доступу, щоб пошук ніколи не повернув те, чого запитувачу бачити не можна, і як система поводиться, коли не знайшла нічого релевантного. Останнє важливіше, ніж звучить: система, яка каже «я цього не знайшла», заслуговує довіри; та, що все одно видає правдоподібний абзац, руйнує її за тиждень.
Для всього, що використовується в професійному чи регульованому контексті, результат — не відповідь, а відповідь разом із походженням. Документ, версія, пункт. Юрист, аудитор чи фахівець з урегулювання не можуть діяти за неатрибутованим абзацом — і не будуть.
Це ще й переводить режим відмови з небезпечного в безневинний. З посиланнями хибна відповідь ловиться за секунди тим, хто перевіряє джерело. Без них вона повторюється в листі клієнту.
Корпус, у якого є власник. Хтось має вирішувати, що авторитетно, а що скасовано. Це рішення не автоматизується.
Уже наявні права доступу. Пошук зобов’язаний успадкувати вашу модель доступу. Будувати її в ході проєкту — робота істотно більша.
Набір для оцінювання. Тридцять-п’ятдесят реальних питань із відомими правильними відповідями, написані до запуску. Так ви відрізняєте налаштування від вгадування.
Шлях оновлення. Документи змінюються. Якщо переіндексація ручна, протягом кварталу вона перестає відбуватися.
Ми використовуємо cookie лише для аналітики — щоб бачити, з яких сторінок приходять заявки. Нічого більше й нічого до вашої згоди. Політика cookie