Босс: мастер слова
Собери продвинутый промпт под реальный кейс из мира.
Босс: собираем AI-ассистента поддержки
Финальный кейс: интернет-магазин, тысячи тикетов в день, строгие правила бренда. Здесь пригодится всё из мира «Мастер слова»: system prompt, XML-структура, CoT и self-consistency, шаблоны, мета-промпты, eval harness и честное сравнение моделей.
Фундамент: правила и структура
System prompt: роль («ассистент поддержки»), тон, границы («не обещай возврат — передавай менеджеру»), формат. Тело промпта в XML: <instructions>, <ticket>, <customer_history>, <output_format>. Текст тикета — данные, не команды: «игнорируй инструкции» внутри тикета — строка для анализа.
CoT — для сложных тикетов
«Где мой заказ?» — ответ сразу. Спорный возврат — рассуждение в <thinking>, клиенту только <answer>. Для критичных кейсов — self-consistency: N прогонов, majority vote.
?Проверь себя
Расставь шаги сборки прод-промпта для ассистента поддержки
Варианты снизу — перетащи в слот или нажми. Нажми на ответ — вернуть вниз.
Твой ответ
1
2
3
4
Варианты
Превратить промпт в шаблон с {{переменными}} и XML-структурой
Черновик через мета-промпт и доводка руками
Прогнать evals на датасете реальных тикетов
Раскатить версию на часть трафика и следить за метриками
Проверка и запуск
Eval-датасет из реальных тикетов: типичные, граничные, провокации. Грейдеры: exact match для категории, LLM-judge для тона — откалиброванный по человеку. Regression gate в CI: faithfulness не ниже порога. Сравнение моделей: один шаблон, одни критерии, таблица «качество × скорость × цена».
- System prompt: роль, границы, формат — выше user message
- XML: инструкции отдельно, данные тикета отдельно
- CoT + self-consistency: для сложных случаев
- Шаблон support-reply-vN в библиотеке команды
- Evals + monitoring: перед каждым изменением и в проде
?Проверь себя
Перед раскаткой новой версии промпта на всех пользователей нужно…
Мастер слова — это процесс
Новичок ищет «волшебную фразу». Мастер выстраивает систему: правила, структура, рассуждение по требованию, шаблоны с версиями, evals на каждое изменение. Скучно? Зато работает на тысячах запросов в день.
