Temperature — ручка «предсказуемости»
Почему AI иногда скучный, а иногда непредсказуемый — и как этим управлять
Модель на последнем шаге выдаёт оценки (логиты) для каждого возможного следующего токена. Но как из сотен тысяч вариантов выбрать один? Здесь работает сэмплирование — и параметры вроде temperature и top-p.
ПЕРВОЕ ЗНАКОМСТВО: СЭМПЛИРОВАНИЕ
Сначала логиты превращаются в вероятности (через softmax). Потом алгоритм выбирает один токен. Способ выбора задаёт характер ответа: сухой и повторяемый или живой и непредсказуемый.
Greedy — всегда самый вероятный
Жадный (greedy) режим: берём токен с максимальной вероятностью. Каждый раз одинаково при том же промпте. Хорошо для фактов, кода, форм — где нужна стабильность. Плохо для креатива: ответы скучнеют и повторяются.
Temperature — насколько «рисковать»
Temperature делит логиты перед softmax. Низкая (ближе к 0) — распределение острее, почти greedy. Высокая (1 и выше) — вероятности выравниваются, реже встречающиеся токены тоже могут выпасть. Метафора: пианист строго по нотам (0) или с импровизацией (1+).
Top-p (nucleus) — отсечь хвост
Top-p смотрит на накопленную вероятность сверху вниз: берёт минимальный набор самых вероятных токенов, пока их сумма не достигнет p (например 0,9). Совсем маловероятный «мусор» отбрасывается. Уверенный ответ — короткий список кандидатов; неуверенный — список шире. Часто temperature и top-p комбинируют.
- Temperature ≈ 0: юридические тексты, извлечение чисел, код
- Temperature 0,7–1: обычные ответы, письма
- Temperature 1+ и top-p: слоганы, идеи, творческие варианты
?Проверь себя
Расставь задачи: от самой подходящей для низкой temperature к самой подходящей для высокой
Варианты снизу — перетащи в слот или нажми. Нажми на ответ — вернуть вниз.
Твой ответ
1
2
3
4
Варианты
Сочинить абсурдный рекламный слоган
Написать деловой отчёт по структуре
Заполнить медицинскую форму по шаблону
Придумать 10 необычных названий для стартапа
В ИНТЕРФЕЙСЕ VS API
В ChatGPT и Claude.ai temperature обычно не крутишь — её выставили разработчики. В API — настраиваешь сам. Понимание параметров помогает даже в интерфейсе: почему ответ «сухой» или «разный».
