Evals для промптов
Evals: тестовые запросы и критерии качества до выкладки в прод.
Evals: тесты для промптов
«Вроде стало лучше» — не аргумент для прода. Evals — юнит-тесты промптов: версионированный датасет + грейдеры. Поменял формулировку или модель — прогнал evals и видишь в цифрах, лучше или хуже. Без измерения prompt engineering — гадание.
Eval harness — минимум
1. Загрузить размеченный датасет. 2. Определить варианты промпта. 3. Прогнать каждый на всех примерах. 4. Посчитать accuracy. 5. Сравнить варианты и выбрать победителя с цифрами.
Жизненный цикл eval
- Прогнать идею на версионированном eval set
- Сравнить с baseline (experiments)
- Regression gate в CI: exit code 1, если метрика ниже порога
- Низкая уверенность → human review queue → новые golden examples в датасет
- Production monitoring: latency, errors, cost, drift
Eval set версионируют в git: "version": "1.0.0". Любой run-файл записывает, против какой версии считали. Меняешь кейсы — bump patch. Breaking change рубрики — major.
Грейдеры
- Exact match — мгновенно, бесплатно: метки, коды, ID
- Contains — ключевые термины должны присутствовать
- LLM-as-judge — субъективное качество: тон, полнота (~$0.001/кейс)
- Код (Python) — длина, формат, валидный JSON
?Проверь себя
Промпт классифицирует тикеты по трём фиксированным меткам. Какой грейдер лучше?
Датасет — не только happy path
Включай граничные и каверзные входы: сарказм, двусмысленность, prompt injection. Провалы на adversarial примерах — самая ценная информация.
Drift в проде
Модель прошла eval, но в проде деградирует: data drift (новые темы), concept drift (устаревшие правила в RAG), upstream drift (провайдер обновил модель за alias -latest). Мониторинг judge-score и refusal-rate ловит это раньше пользователей.
?Проверь себя
Соедини этап eval lifecycle с его сутью
1 Слева2 СправаГотово
Нажми утверждение слева, затем подходящий ответ справа — они соединятся.
Утверждения
Ответы
