AIアシスタントの検索システム構築、難易度が高い？ RAGアーキテクチャの課題、そして成功の鍵を解説！ #RAG #AIアシスタント #検索システム
動画で解説
AIアシスタントの賢い「情報検索術」を覗いてみよう！
皆さん、こんにちは！ ブログ運営者のジョンです。
最近、AIの進化がすごいですよね。ChatGPTのような「おしゃべりAI」が私たちの生活に浸透してきています。でも、AIってたまに「え？ホントに？」と思うような、ちょっとデタラメなことを言ったりすること、ありませんか？ これをAIの世界では「幻覚（hallucination）」なんて呼んだりします。
そんなAIの「うっかりミス」をなくし、もっと正確で信頼できる情報を教えてくれる魔法の技術があるんです！ それが今回のテーマ、RAG（Retrieval Augmented Generation）という技術です。
RAGって、まるで「スーパー図書館員」AI！
RAG（Retrieval Augmented Generation）は、簡単に言うと「情報を探し出して（Retrieval）、それに基づいて文章を生成する（Augmented Generation）」という技術です。
想像してみてください。AIは、まるで頭の中に膨大な知識を持っている賢い人（大規模言語モデル（LLM））のようです。でも、この賢い人も、たまには記憶違いをしたり、最新の情報に疎かったりします。
そこでRAGの出番です！ RAGは、この賢いAIに「いつでも調べられる巨大な図書館」を与えます。AIは質問を受けると、まずこの図書館から関連する情報を探し出し、その情報をもとに質問に答える、という流れです。こうすることで、AIは嘘をつかなくなり、さらに「この情報は〇〇という本に載っていますよ」と、情報の出どころまで教えてくれるようになるんです！ まさにスーパー図書館員AIですね。
このRAG、特に企業内の秘密情報や最新のニュースなど、AIが知らないはずの特定の情報を活用したい場合に、とっても役立つんです。
AIが情報を「理解」するための第一歩：埋め込みモデルと類似度
さて、AIが図書館から必要な情報を探し出すには、まず「情報を理解する」必要があります。人間は言葉で情報を理解しますが、コンピューターはそれが苦手です。そこで登場するのが、埋め込みモデル（Embedding model）という技術です。
埋め込みモデルは、文章や単語を「数字の羅列（ベクトル）」に変換する役割をします。まるで、文章の意味を表現した「特殊なバーコード」を作るようなイメージです。意味が似ている文章ほど、このバーコードも似たような並びになるように作られます。
AIは、ユーザーからの質問も、図書館にしまわれている文書も、全部この「特殊なバーコード」に変換します。そうすると、次に何をするかというと、「類似度（Similarity metric）」というもので、質問のバーコードと、図書館の文書のバーコードを比較して、「どれくらい似ているか」を測ります。
この「似ている度合い」を測る方法にも、いくつか種類があります。記事では、主に以下の3つが紹介されていました。
- コサイン類似度（Cosine similarity）：これは、バーコードが指し示す「方向」がどれだけ同じかを見る方法です。情報の「テーマが同じか」を重視する場合に有効です。例えば、「犬のしつけ方」と「子犬の訓練方法」は表現が違ってもテーマは