RAG без магии: как AI использует твои документы
Найти нужные куски и вставить в промпт — без переобучения модели
LLM знает только то, что было в обучении, плюс то, что ты положил в контекст. Как подключить свои документы без переобучения модели? Ответ — RAG: найти нужные куски и вставить в промпт перед ответом.
ПЕРВОЕ ЗНАКОМСТВО: ЭМБЕДДИНГ
Эмбеддинг — вектор чисел, который представляет смысл текста. Похожие по смыслу фразы дают близкие векторы. «Как сбросить пароль?» и «Забыл логин» — рядом. «Кот сидел на ковре» — далеко. Близость измеряют косинусным сходством.
Пайплайн RAG — четыре шага
- Chunk — разбить документы на небольшие фрагменты (абзацы, куски по ~200–500 токенов)
- Embed — превратить каждый фрагмент и вопрос пользователя в векторы
- Retrieve — найти top-k самых близких фрагментов к вопросу
- Answer — вставить найденное в промпт: «Отвечай только по контексту ниже» → вызвать LLM
Зачем это нужно
RAG снижает выдумки: модель опирается на твои документы, а не на догадку из обучения. Знания можно обновлять — переиндексировать файлы, не трогая веса модели. Но RAG не волшебство: если нужный chunk не нашли — модель снова может ошибиться.
УЗКОЕ МЕСТО — ПОИСК
Чаще всего ломается не генерация, а retrieval: ответа нет в подставленном контексте. Плохой chunking (разрезали мысль пополам) или неточный вопрос — типичные причины.
?Проверь себя
Расставь этапы RAG в правильном порядке (онлайн-запрос пользователя)
Варианты снизу — перетащи в слот или нажми. Нажми на ответ — вернуть вниз.
Твой ответ
1
2
3
4
Варианты
LLM генерирует ответ на основе вставленных фрагментов
Вопрос пользователя превращается в вектор
Из хранилища выбираются ближайшие фрагменты документов
Найденные фрагменты добавляются в промпт как контекст
RAG VS «ПРОСТО ВСТАВИТЬ PDF»
Целый 100-страничный файл в один промпт часто не влезает и «размывается». RAG кладёт в окно только 3–5 релевантных кусков — точнее и дешевле.
