이 가이드에서
토큰이란 무엇인가요
AI 모델은 문서 전체를 한 번에 처리하지 않아요. 텍스트를 토큰이라는 작은 조각으로 쪼개는데, 짧은 단어는 토큰 하나가 될 수 있고, 긴 단어는 여러 개로 나뉠 수 있어요. 모델은 이 토큰들을 순서대로 읽고 써요.
대략적인 기준으로, 영어에서 토큰 하나는 단어의 약 4분의 3 정도이기 때문에, 100단어는 대략 130에서 150토큰 정도예요. 여러분의 입력과 AI의 응답 모두 토큰 단위로 계산돼요.
토큰이 중요한 이유
토큰은 AI 사용량을 측정하고 가격을 매기는 단위라서, 실제 도구를 만들기 시작하면 중요해져요. 이걸 이해하면 비용을 관리하고 한도 안에서 작업하는 데 도움이 돼요.
AI 서비스 요금은 보통 사용한 토큰 수를 기준으로 책정돼요
모델의 컨텍스트 윈도우도 토큰 단위로 측정돼요
이걸 알면 자동화 비용을 부담 없이 관리할 수 있어요
AI가 한 번에 다룰 수 있는 텍스트 양의 한계를 설명해줘요
자주 묻는 질문
토큰은 AI 모델이 실제로 처리하는 정확한 단위라서 사용량을 정밀하게 측정할 수 있어요. 단어는 길이와 구조가 제각각이지만, 토큰 수는 모델이 실제로 하는 작업을 그대로 반영해요.