このガイドの内容
トークンの意味
AIモデルは文書全体を一度に処理するわけではありません。文章をトークンという小さな単位に分解します。短い単語なら1トークンになることもあれば、長い単語はいくつかに分かれることもあります。モデルはこれらのトークンを順番に読み書きしています。
おおよその目安として、英語では1トークンは単語のおよそ4分の3にあたり、100語はだいたい130〜150トークンになります。あなたの入力とAIの返答は、どちらもトークン数で数えられます。
トークンが重要な理由
トークンはAIの利用量を測り、料金を決める単位であるため、実際にツールを作るようになると重要になってきます。これを理解しておくと、コストを管理し、制限内に収めやすくなります。
AIサービスの料金は、通常トークンの使用量に基づいています
モデルのコンテキストウィンドウもトークン数で測られます
これを知ることで、自動化のコストを抑えやすくなります
AIが一度に扱えるテキスト量の制限についても説明してくれます
よくある質問
トークンは、AIモデルが実際に処理している正確な単位であるため、利用量を正確に測れます。単語は長さや構造がまちまちですが、トークン数はモデルが行っている処理量をそのまま反映します。