Token

O que significa token

Modelos de IA não processam documentos inteiros de uma vez. Eles dividem o texto em tokens, que são pedaços pequenos - uma palavra curta pode ser um token, enquanto uma palavra mais longa se divide em vários. O modelo lê e escreve esses tokens em sequência.

Como referência aproximada, um token equivale a cerca de três quartos de uma palavra em inglês, então 100 palavras correspondem a algo entre 130 e 150 tokens. Tanto a sua entrada quanto a resposta da IA são contadas em tokens.

Por que o token importa

Tokens são a forma como o uso da IA é medido e cobrado, então o conceito importa assim que você cria ferramentas de verdade. Entendê-lo ajuda você a controlar custos e a se manter dentro de limites.