AIは「猫」と「犬」をどう見分けるのか？LLMとチャンクの仕組みを図解で完全解説

「ChatGPTはどうやって『猫』と『犬』を区別しているの？　感覚もないのに、なんで分かるの？」

こんな疑問を持ったことはありませんか？実はこの「なぜ？」を理解すると、AIの使い方が劇的に変わります。プロンプトの書き方が変わり、AIに任せる仕事の判断基準が変わり、AIに振り回されなくなります。

この記事では、LLMの内部構造を5つのオリジナル図解で徹底解説します。難しい数式は一切なし。AIの「見え方」が変わること保証します。

LLMとは何か？仕組みを30秒で理解する

LLM（Large Language Model）は日本語で「大規模言語モデル」と呼びます。ChatGPT・Claude・Geminiなどがすべてこれに当たります。

一言で言えば、「次に来る言葉を予測する、超巨大な予測エンジン」です。

「今日は天気が良いので、散歩に___」という文章を見たとき、次に来る言葉として「行きたい」「出かけた」「最適だ」などを確率的に予測します。この「次の単語予測」を何千回も繰り返すことで、流暢な文章を生成しているのです。

シンプルに聞こえますが、これを実現するために数千億のパラメータ（重み）を持つ巨大なニューラルネットワークが使われています。Claudeの場合、そのパラメータ数は公開されていませんが、学習に使われたデータはインターネット上の膨大なテキスト、書籍、論文など何十兆文字にも及びます。

【図解①】テキストは「チャンク（トークン）」に分解される

AIはテキストをそのまま処理しているわけではありません。最初に「トークン（チャンク）」と呼ばれる小さな単位に分解します。英語なら単語単位、日本語なら文字や語の一部になります。

GPT-4では約10万種類のトークンが存在します。日本語は英語より文字種が多いため、1文字が1〜2トークンになることが多く、同じ内容でも日本語は英語の約2〜3倍のトークン数になります。これがAPIコストにも影響する重要な知識です。

【図解②】トークンは「ベクトル」という座標に変換される

トークンのID番号のままでは、AIは「猫」と「犬」の関係性を理解できません。そこで次に「埋め込み（Embedding）」という変換が行われます。

各トークンを数千次元の空間における座標（ベクトル）に変換します。これが「言葉の意味を数値で表す」技術の核心です。

実際のLLMでは、この「空間」が数千〜数万次元あります。人間には想像もできない多次元空間の中に、すべての言葉が「意味の地図」として配置されているのです。

さらに興味深いことに、この空間では「王様 − 男性 ＋ 女性 ＝ 女王」のような「意味の演算」が成立します。意味が数値になっているからこそ、足し算・引き算ができるのです。

【図解③】LLMが「猫」と「犬」を見分ける仕組みとは

「猫はニャーと鳴く」「犬はワンと吠える」という文章を何億回も読んだLLMは、自然に「猫」と「犬」に関連する特徴パターンを学習しています。

【図解④】注意機構（アテンション）：文脈を読む革命的技術

「銀行に行った」と「川岸（bank）に沿って歩いた」——英語では「bank」が「銀行」と「川岸」の両方を意味します。同じ単語でも文脈によって意味が変わる問題を、LLMはどう解決しているのか？

その答えが「注意機構（Self-Attention）」です。2017年にGoogleが「Attention Is All You Need」という論文で発表したこの技術が、現代AI革命の核心です。

【図解⑤】テキスト入力から出力まで：LLM処理の全体フロー

これまでの知識を統合して、テキストが入力されてから出力されるまでの全体像を見てみましょう。

人間の理解とAIの理解、何が本当に違うのか

ここまで読んで、こう思った方もいるかもしれません。「AIの理解って、本当の理解じゃないんじゃないか？」

これは哲学的に非常に深い問いです。現時点での整理を示します。

この仕組みを知ると、AIがもっとうまく使える

LLMの仕組みを理解すると、次のことが直感的にわかるようになります。

• 具体的なコンテキストを与えると精度が上がる → アテンション機構が適切な部分に注目できるから
• 「誰に向けて」「どの形式で」を指定すると質が変わる → 関連トークンがより正確にアクティブになるから
• AIは「知っている」のではなく「パターンから生成」している → だから事実確認は必ず自分で行う
• 日本語より英語のプロンプトの方が精度が高いことがある → 英語の学習データが圧倒的に多いから
• 複雑な計算・論理的推論が苦手 → パターン予測であって、論理演算ではないから

よくある質問（FAQ）