정의
토큰(Token)은(는) AI 모델이 텍스트를 다루는 최소 단위입니다. 영어는 보통 단어의 일부, 한국어는 글자 단위에 가깝게 쪼개지며, 컨텍스트 윈도우와 이용 요금이 모두 토큰 수로 계산됩니다.
더 설명하면
같은 내용이라도 한국어는 영어보다 토큰을 더 많이 씁니다. 긴 한국어 문서가 중간에 잘릴 가능성이 상대적으로 큽니다.
실무상 의미는 분량을 늘리는 것이 공짜가 아니라는 점입니다. 같은 내용을 더 적은 분량으로 담은 문서가 통째로 읽힐 확률이 높습니다.
실무에서 문제가 되는 순간
AI 도구를 업무에 붙일 때 비용 예측의 단위가 됩니다. 같은 작업이라도 한국어로 처리하면 영어보다 토큰이 더 들어 비용과 지연이 올라갑니다. 대량 처리 파이프라인을 설계할 때 실제로 영향을 줍니다.
자주 하는 오해
- 글자 수와 토큰 수를 같게 보는 경우가 있는데 언어마다 비율이 다릅니다.