操作して学ぶ
トークナイザ可視化
LLMは文章を「トークン」という単位に分けて扱い、API料金も文脈長もトークン数で決まります。 本物のBPE辞書（GPT-4o系の o200k_base）で、テキストがどう分割されるかを色分けで見て、 英語と日本語でトークン数がどれだけ違うかを体感してください。
…
トークン
21
文字
—
文字/トークン
辞書を読み込み中…（初回のみ）
辞書は o200k_base（GPT-4o 系）。APIはトークン単位で課金されるため、同じ内容でも「文字/トークン」が小さい言語ほど割高になりがちです。 日本語や絵文字はUTF-8で複数バイトになり、1文字が複数トークンに割れることもあります。すべてブラウザ内で処理（送信なし）。
なぜ差が出るのか
- BPEは「よく出るバイト列」を1トークンにまとめる。英語の単語や語尾は頻出なので1〜2トークンに収まりやすい。
- 日本語や絵文字はUTF-8で3〜4バイトになり、学習頻度も相対的に低いため、1文字が複数トークンに割れやすい。
- だから同じ意味でも、日本語プロンプトは英語よりトークン数（＝コスト・文脈消費）が増えがち。