推論の意味
AIには大きく2つの段階があります。「学習」はモデルがデータから学ぶ段階で、一度だけ行われ、非常に負荷の高い処理です。「推論」はそれ以降のすべてを指し、完成したモデルに何かを頼むたびに、モデルは推論を行っています。
チャットボットに質問を入力して返信を受け取るたびに、その返信は推論の結果です。モデルはあなたのメッセージから学んでいるのではなく、すでに学習済みの内容を当てはめて、あなたへの答えを作り出しているのです。
推論が重要な理由
推論は、ツールを構築する際にあなたが実際にやり取りし、料金を支払うことになるAIの部分です。これを理解しておくと、速度とコストについて明確に考えられるようになります。
AIツールが使われるたびに動いているのが推論です
AIサービスの料金の多くは、推論の利用量に基づいています
大きなリクエストほど遅くなったり、コストが高くなったりする理由を説明してくれます
これを知ることで、効率的で費用を抑えた自動化を設計できます
よくある質問
一般的にはしません。推論の間、モデルはすでに学習した内容を当てはめるだけで、自分自身を恒久的に更新することはありません。学習は、それ以前の別の学習段階で行われています。