Token

Ce que signifie Token

Les modèles IA ne traitent pas des documents entiers d'un coup. Ils découpent le texte en tokens, de petits morceaux - un mot court peut représenter un seul token, tandis qu'un mot plus long se divise en plusieurs. Le modèle lit et écrit ces tokens en séquence.

Pour donner un ordre de grandeur, un token représente environ les trois quarts d'un mot en anglais, donc 100 mots correspondent à peu près à 130-150 tokens. Votre entrée comme la réponse de l'IA sont comptées en tokens.

Pourquoi Token compte

Les tokens servent à mesurer et à tarifer l'usage de l'IA, ce concept compte donc dès que vous construisez de vrais outils. Le comprendre aide à gérer les coûts et à rester dans les limites.