Токены и контекст: что AI помнит
Почему длинные чаты «ломаются» и когда начинать новый
Ты уже отправил первый промпт — и, возможно, заметил странности. Модель «забыла» начало длинного разговора. Сосчитала слова неточно. Ответила уверенно, но неверно. Это не баг — это следствие того, как устроены языковые модели. Разберём два ключевых ограничения: токены и контекстное окно.
Токен
Модель не читает буквы и даже не всегда целые слова. Она работает с токенами — короткими фрагментами текста. Слово «привет» может быть одним токеном, а редкое слово — разбито на несколько. На русском текст обычно «дороже» в токенах, чем на английском: токенизаторы учились в основном на английских текстах, поэтому русские слова чаще дробятся на части.
Почему токены важны
Каждый токен — единица работы модели. От количества токенов зависит скорость ответа и (на платных тарифах) стоимость. Короткий точный промпт экономит токены, а повторы и «вода» — наоборот, тратят бюджет контекста.
Не слова, а куски
Частое английское слово вроде «the» — обычно один токен, а длинное редкое слово может разбиться на пять. Модель видит не буквы, а числовые коды этих кусков.
Контекстное окно
Контекстное окно — сколько текста модель «видит» за один раз: твой промпт, предыдущие сообщения в чате и место для ответа. У разных моделей разный лимит: на 2026 год у флагманских моделей это около миллиона токенов, у некоторых компактных моделей и в чат-сервисах на бесплатных тарифах бывает заметно меньше. Когда диалог становится длинным, начало может «выпасть» из окна — модель буквально его не видит.
- Модель не помнит прошлые чаты — каждый новый диалог начинается с чистого листа (если только в продукте нет отдельной функции «памяти»)
- Внутри одного чата ранние сообщения могут «забываться» при переполнении окна
- Очень длинный документ в одном промпте может не поместиться целиком — нужно разбивать на части
?Проверь себя
Почему модель может «забыть», о чём вы говорили в начале длинного чата?
Практический совет
Новая задача — новый чат. Длинный проект — кратко напоминай контекст в начале или прикладывай ключевые факты заново. Не полагайся на то, что модель «помнит всё».
