Шматочок тексту, якими AI вимірює обсяг запиту й відповіді.
Модель бачить текст не буквами й не словами, а токенами — шматочками приблизно у 3–4 символи. Довге слово може стати двома-трьома токенами.
Це важливо з двох причин: у моделі є ліміт на кількість токенів за раз, і платні сервіси рахують гроші саме за них.
Ви вставили в чат велику документацію й отримали помилку про перевищення ліміту. Це не про кількість сторінок, а про кількість токенів.
Токен у AI — не те саме, що токен у програмуванні чи криптовалюті. Тут це просто одиниця виміру тексту.