Токены в нейросети: что это и как их экономить

Вы вставляете в чат длинный документ и просите пересказать его — а нейросеть отвечает, что текст слишком большой, или списывает подозрительно много. Причина почти всегда одна: токены в нейросети закончились быстрее, чем вы ожидали.

Самое частое заблуждение — что модель считает символы или слова. Не считает. Она вообще не работает ни с буквами, ни со словами: любой текст перед обработкой распадается на куски, и именно эти куски — токены — расходуются, тарифицируются и упираются в лимит.

Разберём, как текст превращается в токены, почему русскоязычный запрос обходится дороже англоязычного той же длины, откуда берётся сообщение «недостаточно токенов» и что реально помогает их экономить, а что — миф.

Кратко: главное о токенах

• Токен — не слово и не символ, а частый кусок текста: от одной буквы до целого слова с пробелом.
• Считаются и вход, и выход: ваш запрос плюс ответ модели, а в чате — ещё и вся предыдущая переписка.
• Русский текст «тяжелее» английского: одно слово нередко разбивается на несколько токенов вместо одного.
• Контекстное окно — это лимит токенов на один разговор; когда он заполнен, начало диалога перестаёт учитываться.
• Экономия — это структура, а не сокращение слов: больше всего токенов съедают лишние вложения, повторы и длинная история чата.

Как текст превращается в токены и обратно: шесть шагов от запроса до ответа

Как работает токенизация в нейросети

Токенизация — это разбиение текста на короткие повторяющиеся фрагменты, каждому из которых присвоен номер в словаре модели. Модель получает на вход не текст, а последовательность этих номеров.

Словарь собирается заранее, ещё до обучения, по огромному корпусу текстов. Самый распространённый подход — BPE (byte pair encoding), то есть побайтовое объединение самых частых пар символов; метод описан в работе Сеннриха с соавторами о подсловных единицах в машинном переводе и до сих пор лежит в основе токенизаторов большинства языковых моделей.

Логика простая: частое встречается в словаре целиком, редкое собирается из кусков. Слово «дом» скорее всего окажется одним токеном, а «домовладелец» — набором из нескольких. Знаки препинания, пробелы и переводы строк тоже занимают место — пустая строка не бесплатна.

Дальше номера токенов превращаются во векторы, и модель предсказывает следующий токен, потом следующий — и так до конца ответа. Подробнее эта механика разобрана в материале о том, как работает и как учится нейросеть.

Почему модель не видит ни букв, ни слов

Для модели ваш запрос — это ряд чисел, а не фраза. Отсюда странности, которые новички принимают за глупость ИИ.

Классический пример: попросите нейросеть посчитать буквы в слове или перевернуть его наоборот. Она часто ошибается — не потому, что «не умеет считать», а потому что слово пришло к ней как один-два неделимых куска, внутрь которых она не смотрит.

Тот же корень у путаницы с числами: длинное число может разбиться на произвольные фрагменты, и арифметика с ним ломается. Это не баг конкретного сервиса, а следствие токенизации — и одна из причин, по которой стоит проверять расчёты за моделью.

Сколько символов в одном токене

Универсального ответа нет, но есть рабочий ориентир: в англоязычном тексте один токен — это в среднем около четырёх символов, то есть примерно три четверти слова. Такую оценку приводит документация OpenAI к собственному токенизатору.

Для русского языка ориентир хуже: тот же объём текста даёт заметно больше токенов. Проверить точно можно только на конкретном токенизаторе — у разных семейств моделей словари разные, поэтому один и тот же абзац в двух сервисах посчитается по-разному.

Практический вывод: «сколько токенов в моём тексте» — вопрос не к калькулятору символов, а к токенизатору той модели, с которой вы работаете. Оценка «на глаз» для русского текста почти всегда занижена.

Почему русский текст расходует больше токенов

Потому что словари большинства моделей собирались преимущественно на англоязычных данных. Английские слова попали в них целиком, а русские — фрагментами.

Добавьте морфологию: у нас падежи, приставки и суффиксы, и каждая форма слова для токенизатора отдельная строка. «Облигация», «облигации», «облигациями» могут разбиться по-разному, хотя человек видит одно слово. В результате один и тот же смысл на русском стоит дороже, чем на английском.

Отсюда неочевидный приём: если задача техническая (код, структура данных, инструкция), инструкции модели иногда выгоднее давать по-английски, а результат просить на русском. Это не догма, но на длинных промптах разница ощутима.

Чем входные токены отличаются от выходных

Входные — это всё, что модель прочитала; выходные — всё, что она написала. Считаются и те, и другие, но роль у них разная.

Вход и выход тарифицируются отдельно — и сокращать их приходится разными способами

Важная деталь для тех, кто работает через API: у большинства провайдеров выходные токены стоят дороже входных. Поэтому просьба «отвечай кратко, только по делу» экономит не только ваше время. Как формулировать такие ограничения, разобрано в материале про типичные ошибки в промптах для нейросети.

Что такое контекстное окно и при чём здесь токены

Контекстное окно — максимальное число токенов, которое модель способна удерживать в одном обращении, включая ваш запрос, приложенные файлы, системную инструкцию и весь предыдущий диалог.

Когда окно заполняется, сервис не «расширяет память», а начинает вытеснять самое старое: первые сообщения либо обрезаются, либо сжимаются в краткий пересказ. Именно поэтому длинный чат внезапно «забывает» условие, которое вы задали в начале.

Размер окна — характеристика конкретной модели, и он у поставщиков разный. Устройство самих моделей и то, откуда берутся эти ограничения, подробно описано в разборе про большие языковые модели и принцип их работы.

Почему нейросеть пишет «недостаточно токенов»

У этой надписи две совершенно разные причины, и лечатся они по-разному. Сначала определите, какая ваша.

• Кончился купленный пакет. Российские сервисы-посредники и облачные платформы часто продают доступ пакетами токенов; исчерпали — пополняете баланс или ждёте обновления квоты.
• Превышено контекстное окно. Пакет тут не поможет: запрос физически не влезает в модель. Нужно резать вход — делить документ на части или начинать новый чат.
• Заблокирован ответ по длине. Иногда лимит выставлен на выход: модель обрывает ответ на середине фразы. Помогает просьба продолжить или явное ограничение формата.

Проверьте простую вещь: если ошибка повторяется в новом пустом чате с тем же файлом — дело в контекстном окне. Если новый чат работает, а старый нет — вы упёрлись в переполненную историю переписки.

Где токены утекают незаметно

Основной расход почти никогда не там, где его ищут. Вот пять механизмов, из-за которых счёт растёт быстрее ожиданий.

• Вся история чата отправляется заново с каждым сообщением. Двадцатое сообщение в диалоге тащит за собой девятнадцать предыдущих.
• Приложенные файлы читаются целиком. Таблица на сто строк расходуется полностью, даже если вам нужны две из них.
• Системная инструкция невидима, но платна. В сервисах с настраиваемыми «ролями» она уходит в модель при каждом запросе.
• Рассуждения модели тоже токены. Режимы с пошаговым размышлением дают более качественный ответ, но расход растёт.
• Повторные попытки удваивают счёт. Каждое «перегенерируй» — это новый полный проход по всему контексту.

Как экономить токены в нейросети

Экономия начинается не с сокращения слов, а с гигиены контекста: уберите из окна всё, что не нужно для текущей задачи.

1. 1Новый чат под новую задачу — не тащите старую переписку
2. 2В файл отдавайте только нужный фрагмент, а не весь документ
3. 3Явно задайте формат и объём ответа
4. 4Уточняйте задачу в одном сообщении, а не в десяти
5. 5Длинный текст обрабатывайте частями с коротким итогом на каждой

Пять шагов, которые сокращают расход токенов без потери качества ответа

Ещё один приём — попросить модель самой сжать промежуточный результат: короткое резюме вместо полного текста освобождает окно и позволяет продолжить работу в том же чате. Для повторяющихся задач имеет смысл собрать один компактный шаблон промпта и переиспользовать его, а не описывать условия заново каждый раз.

Токены в нейросети и токены в криптовалюте — это разные вещи

Совпадает только слово. Токен в нейросети — единица текста внутри модели; токен в криптовалюте — цифровой актив, запись на блокчейне.

Путаница живучая, потому что рядом крутится третье значение: «AI-токены» — так называют криптоактивы проектов, связанных с искусственным интеллектом. К токенизации текста они не имеют отношения. Если вас интересует именно вторая тема, начните с разбора того, как устроен и работает блокчейн.

Как считаются токены у картинок и голоса

Так же, как у текста, только куски другие: изображение делится на фрагменты-патчи, звук — на короткие отрезки, и каждый фрагмент превращается в токен.

Практическое следствие: приложенная к запросу картинка расходует токены, причём крупная и детальная — больше, чем мелкая. То же с голосовым вводом и расшифровкой: минута речи превращается в заметный объём токенов ещё до того, как модель начнёт отвечать.

Именно поэтому мультимодальный запрос с несколькими скриншотами упирается в лимит быстрее, чем кажется по объёму текста в нём.

Почему длинный контекст не всегда даёт лучший ответ

Потому что модель хуже удерживает информацию в середине длинного контекста — эффект, известный по исследованию Liu и соавторов «Lost in the Middle»: факты в начале и в конце запроса используются заметно надёжнее, чем спрятанные посередине.

Отсюда рабочее правило: не заваливайте модель всем, что нашлось по теме. Точный короткий контекст обычно даёт более верный ответ, чем максимально полный — и стоит дешевле.

И помните, что переполненное окно — одна из причин, по которым модель начинает уверенно выдумывать. Как это распознать, разобрано в материале про галлюцинации нейросетей и способы проверки.

Частые вопросы

Короткие ответы на то, что чаще всего спрашивают про токены в нейросети.

Токен — это то же самое, что слово?

Нет. Токен может быть целым словом, его частью, отдельным символом или пробелом — совпадение с границами слов случайно и для русского языка скорее исключение.

Можно ли посчитать токены заранее?

Да, но только для конкретной модели: у поставщиков есть собственные токенизаторы и счётчики, а универсальной формулы «символы разделить на четыре» для русского текста не существует.

Почему один и тот же текст стоит по-разному в разных нейросетях?

Потому что у моделей разные словари токенизации и разные тарифы на вход и выход. Тот же абзац в одной модели превратится в меньшее число токенов, чем в другой.

Влияют ли токены на качество ответа?

Косвенно — да. Чем ближе диалог к границе контекстного окна, тем выше риск, что важное условие вытеснится из памяти модели и ответ поедет.

Экономят ли токены короткие промпты?

Не всегда. Слишком краткий запрос вызывает уточнения и повторные попытки, а каждая из них — новый полный проход по контексту. Дешевле один точный промпт, чем пять коротких.

Что делать дальше

Токены — это не бухгалтерия сервиса, а способ понять, как модель видит ваш запрос. Один раз разобравшись в счёте, вы перестаёте удивляться и лимитам, и «забывчивости» чата.

• Проверьте, в чём именно у вас ошибка: пакет токенов или контекстное окно — это разные проблемы.
• Начинайте новый чат под каждую новую задачу и не тащите старую переписку.
• В файлах отдавайте фрагмент, а не весь документ; формат ответа задавайте явно.
• Для технических инструкций попробуйте английский промпт с ответом на русском.
• Помните про середину контекста: важное ставьте в начало или в конец запроса.

Следующий шаг — посмотреть, как токены и контекст работают в связке с автономными сценариями: об этом разбор про ИИ-агентов и их отличие от чат-ботов. Другие разборы о том, как устроены технологии вокруг нас, собраны в разделе Технологии, а материалы про языковые модели — по тегу LLM.

Дисклеймер: материал носит информационный характер, не является инвестиционной рекомендацией и не содержит прогнозов. Технические характеристики моделей и тарифы сервисов меняются — сверяйтесь с документацией поставщика.