Temperature — ручка «предсказуемости»
Почему AI иногда скучный, а иногда непредсказуемый — и как этим управлять
Модель на последнем шаге выдаёт оценки (логиты) для каждого возможного следующего токена. Но как из сотен тысяч вариантов выбрать один? Здесь работает сэмплирование — и параметры вроде temperature и top-p.
ПЕРВОЕ ЗНАКОМСТВО: СЭМПЛИРОВАНИЕ
Сначала логиты превращаются в вероятности (через softmax). Потом алгоритм выбирает один токен. Способ выбора задаёт характер ответа: сухой и повторяемый или живой и непредсказуемый.
Greedy — всегда самый вероятный
Жадный (greedy) режим: берём токен с максимальной вероятностью. При том же промпте ответ почти всегда одинаковый (полной гарантии нет из-за мелких особенностей вычислений на сервере). Хорошо для фактов, кода, форм — где нужна стабильность. Плохо для креатива: ответы скучнеют и повторяются.
Temperature — насколько «рисковать»
Temperature делит логиты перед softmax. Низкая (ближе к 0) — распределение острее, почти greedy. Высокая (1 и выше) — вероятности выравниваются, реже встречающиеся токены тоже могут выпасть. Метафора: пианист строго по нотам (0) или с импровизацией (1+).
Top-p (nucleus) — отсечь хвост
Top-p смотрит на накопленную вероятность сверху вниз: берёт минимальный набор самых вероятных токенов, пока их сумма не достигнет p (например 0,9). Совсем маловероятный «мусор» отбрасывается. Уверенный ответ — короткий список кандидатов; неуверенный — список шире. Обычно настраивают что-то одно: OpenAI в документации API советует менять temperature или top-p, но не оба сразу.
- Temperature ≈ 0: юридические тексты, извлечение чисел, код
- Temperature 0,7–1: обычные ответы, письма
- Temperature 1+ (или top-p вместо неё): слоганы, идеи, творческие варианты
?Проверь себя
Расставь задачи: от самой подходящей для низкой temperature к самой подходящей для высокой
Варианты снизу — перетащи в слот или нажми. Нажми на ответ — вернуть вниз.
Твой ответ
1
2
3
4
Варианты
Сочинить абсурдный рекламный слоган
Заполнить медицинскую форму по шаблону
Придумать 10 необычных названий для стартапа
Написать деловой отчёт по структуре
В ИНТЕРФЕЙСЕ VS API
В ChatGPT и Claude.ai temperature не крутишь — её выставили разработчики. В API у классических моделей настраиваешь сам (у OpenAI диапазон 0–2). Но у современных reasoning-моделей сэмплирование часто закрыто: новые модели Claude не принимают другую temperature, а у reasoning-моделей OpenAI она доступна только при выключенном рассуждении, и то не у всех. Понимание механики всё равно помогает: почему ответ «сухой» или «разный».
