2025年、生成AIはビジネス活用の新たなフェーズへと突入しました。特にChatGPTをはじめとする大規模言語モデル（LLM）は、その驚異的な文章生成能力で多くの業務を効率化しています。しかし、その一方で「ハルシネーション（AIが事実に基づかない情報を生成する現象）」や「自社の独自データに対応できない」といった課題も浮き彫りになっています。

この課題を解決する鍵として、今最も注目されている技術が「RAG（Retrieval-Augmented Generation：検索拡張生成）」です。RAGは、AIに外部の正確な情報源（ナレッジベース）を参照させながら回答を生成させる技術で、これにより回答の信頼性を飛躍的に向上させることができます。

本記事では、LLMOpsプラットフォームとして人気の「Dify」が提供する強力なRAG機能、通称「ナレッジ機能」に焦点を当てます。

Difyを使えば、プログラミングの知識が少なくても、高精度なRAGシステムを構築することが可能です。今回は専門家2名の対談形式で、DifyのRAG機能の核心である「チャンク分割」「インデックス手法」「検索設定」といった詳細なパラメータについて、初心者にも分かりやすく徹底解説します。この記事を読めば、あなたのAI開発が一段とレベルアップすることは間違いありません。

DifyのRAG機能「ナレッジ」の基本

RAGが解決するLLMの課題

岡田：今回は、最近特に調べてきたDifyのRAG機能について深掘りしていきたいと思っています。秋月さんはエンジニアなので、基本的な部分はご存知かと思いますが、まずはおさらいから。そもそもRAGとは、AIアプリケーション開発においてなぜ重要なのでしょうか。

秋月：はい。RAG、つまり検索拡張生成は、LLMが持つ弱点を補うための非常に重要な技術です。LLMは大量のテキストデータで事前学習されていますが、その知識は学習時点のものであり、最新の情報や社内文書のような非公開データは持っていません。そのため、そのまま使うと情報が古かったり、当たり障りのない回答しかできなかったり、あるいは平気で嘘をつく「ハルシネーション」を起こしたりします。

岡田：そうですよね。その問題を解決するのがRAGで、LLMに回答を生成させる前に、まず質問に関連する情報を外部のデータベースから検索（Retrieval）してきます。そして、検索してきた情報を参考資料としてLLMに渡し、それに基づいて回答を生成（Generation）させるわけですね。

秋月：その通りです。これにより、LLMは正確で信頼性の高い情報源に基づいた回答ができるようになり、ハルシネーションを大幅に抑制できます。Difyでは、このRAG機能が「ナレッジ」という形で非常に使いやすく実装されています。

Difyにおける「ナレッジ」の役割

岡田：Difyでは、この「ナレッジ」機能を使って、PDFやテキストファイルなどをアップロードするだけで、簡単にRAGの参照先データベースを構築できます。実際に画面を見ながらですが、ファイルをアップロードすると、このようにテキストが抽出されますね。

秋月：はい。この抽出されたテキストが、AIが回答を生成する際の「カンペ」になります。ここからがDifyの真骨頂で、このテキストをいかにAIが検索しやすい形に加工・整理するか、そのための詳細な設定が豊富に用意されています。

高精度な検索を実現する「チャンク分割」の設定

チャンク分割の基本とオーバーラップの重要性

岡田：ナレッジの精度を左右する最初のステップが「チャンク分割」ですね。そもそも「チャンク」とは、大量の文章をAIが処理しやすいように小さな塊に分割すること、という認識で合っていますか？

秋月：はい、その通りです。長い文章をそのまま扱うと、どの部分がユーザーの質問と関連しているのかを特定するのが難しくなります。そのため、適切な長さの「チャンク」に分割し、それぞれを検索対象とするのが基本です。

岡田：Difyの設定画面を見ると、「チャンク識別子」や「最大チャンク長」がありますね。最大チャンク長を超えると自動で分割されると。ここで気になるのが「チャンクのオーバーラップ」という設定です。これはどういう役割なのでしょうか？

秋月：これは非常に重要な設定です。例えば、1024文字単位で文章を機械的に区切ると、文のちょうど切れ目で意味が通じなくなってしまうことがありますよね。文章Aの最後と文章Bの最初に重要な関連性があった場合、その情報が失われてしまいます。

岡田：なるほど。文章の境界部分の意味が壊れてしまうリスクがあると。

秋月：そこで「オーバーラップ」を設定すると、チャンクの境界部分のテキストを、前後のチャンクで少しずつ重複させることができます。例えば、チャンクAの末尾50文字を、次のチャンクBの先頭50文字にも含める、といった具合です。これにより、チャンクの境界周辺の文脈が保持され、AIがより正確に関連箇所を検索できるようになります。

Difyが推奨する「親子チャンク分割」の仕組み

岡田：そして、さらに高度な設定として「親子チャンク」があります。これは私も初めて知った概念だったのですが、どういう仕組みなのでしょうか。

秋月：これはRAGの精度を劇的に向上させる可能性がある、非常に優れたアプローチです。従来のRAGでは、検索でヒットした小さなチャンクだけをLLMに渡すため、文脈全体がわからず、十分な回答が生成できないケースがありました。

岡田：確かに、文章の一部だけを切り取られても、前後の文脈がわからないと人間でも意味を理解しにくいですよね。

秋月：親子チャンク分割は、その問題を解決します。まず、文章を段落ごとなどの大きな塊である「親チャンク」に分割します。次に、その親チャンクをさらに細かい「子チャンク」に分割します。そして、実際に検索の対象（専門用語で言うとエンベディング化してベクトル検索の対象にする）となるのは、この「子チャンク」です。

岡田：なるほど。検索は細かい「子チャンク」で行うのですね。

秋月：はい。そして、ユーザーの質問にいずれかの「子チャンク」がヒットしたら、その子チャンクが属している「親チャンク」全体をLLMに渡すのです。これにより、検索の精度は細かい子チャンクで担保しつつ、LLMには文脈をリッチに含んだ親チャンクを渡せるため、より背景を理解した質の高い回答が生成できる、というわけです。

岡田：素晴らしい仕組みですね。Difyもこの親子分割モードの方が性能が上がると公式に言及しています。

引用：https://docs.dify.ai/ja-jp/guides/knowledge-base/create-knowledge-and-upload-documents/chunking-and-cleaning-text

検索の心臓部「インデックスと検索手法」を理解する

インデックス方式の選択：経済的 vs 高品質

岡田：チャンク分割の次に重要なのが「インデックス」の設定です。Difyでは「経済的」と「高品質」の2種類が選べるようですね。

秋月：はい。この違いは、テキストをどのように検索可能なデータに変換するかの違いです。「経済的」は、キーワードベースの検索に近いイメージで、コストがかからない代わりに精度はそれなりです。一方、「高品質」は、分割されたテキストブロックを「ベクトル」と呼ばれる数値の配列に変換（エンベディング）します。これにより、単語の一致だけでなく、意味の近さで検索できるようになるため、格段に高い精度が期待できます。特別な理由がない限りは「高品質」を選択するのがおすすめです。

3つの検索手法：ベクトル検索・全文検索・ハイブリッド検索

岡田：そして、具体的な検索手法も選べますね。「ベクトル検索」「全文検索」「ハイブリッド検索」の3つです。

秋月：「ベクトル検索」は、先ほどの高品質インデックス（ベクトル）を使って、意味的に関連性の高いチャンクを探す手法です。ここでDifyの特徴的な点として、RerankモデルとしてCohere社のモデルが標準で使えることです。

岡田：Rerankモデルというと、一度検索でヒットしたチャンクを、さらに関連度の高い順番に並べ替える役割ですよね。

秋月：その通りです。これにより、検索結果のノイズが減り、より最適な情報だけをLLMに渡せるようになります。「全文検索」は、従来の検索エンジンのようにキーワードが完全に一致するものを探す手法です。そして「ハイブリッド検索」は、この意味の近さで探すベクトル検索と、キーワードの一致で探す全文検索の両方を実行し、結果を組み合わせる手法です。

岡田：一般的にはハイブリッド検索の方が性能は高いと言われていますよね。用途にもよると思いますが、まずはハイブリッド検索を試してみるのが良さそうですね。

検索結果を調整するパラメータ

岡田：最後に、検索結果の微調整として「トップK」と「スコア閾値」がありますね。「トップK」は、ヒットしたチャンクの中から上位何件を取得するかの数、という認識で正しいですか？

秋月：はい、合っています。そして「スコア閾値」は、関連性のスコアがこの値に満たないものは結果に含めない、という足切りの設定です。この2つの値を調整することで、LLMに渡す情報の量と質をコントロールできます。

応用的活用法：メタデータと外部API連携

メタデータを活用した高度なフィルタリング

岡田：DifyのRAG機能の応用として、メタデータも使えますね。これは、ナレッジにアップロードしたファイル自体に、タグのような情報を付与する機能という理解です。

秋月：その通りです。例えば、大量の資料をナレッジに登録している場合、「2025年度の報告書」や「法務部関連資料」といったメタデータを付けておくことで、ワークフロー側で「法務部関連資料の中から検索する」といった、手動での絞り込みが可能になります。これにより、検索範囲を限定し、より的確な回答を引き出すことができます。

外部API連携によるRAG機能の拡張

岡田：さらに、ナレッジを外部APIとして連携することもできるようです。これは、自前で構築した検索システムとDifyを繋げられるということでしょうか？

秋月：はい。Difyが用意したエンドポイントに対して、こちらで構築したAPIを連携させることができます。これにより、Dify標準のRAG機能では実現できない、さらに高度な検索ロジックや独自のデータソースとの連携が可能になります。例えば、社内の特殊なデータベースと接続したり、独自のランキングアルゴリズムを組み込んだりするなど、柔軟性と拡張性が飛躍的に高まります。

岡田：なるほど。基本機能で大半のことはできつつも、プロフェッショナルな要求に応えるための拡張性もしっかり確保されているわけですね。非常に強力な機能だと感じました。

まとめ

今回は、LLMOpsプラットフォーム「Dify」が提供するRAG機能（ナレッジ機能）について、その詳細な設定項目を対談形式で深掘りしました。

高精度なAIチャットボットやAIアプリケーションを開発する上で、RAG技術は不可欠です。Difyは、その核心となる「チャンク分割」「インデックス手法」「検索設定」を、GUIを通じて直感的に、かつ詳細にコントロールできる強力なプラットフォームです。

特に、文脈の理解度を飛躍的に向上させる「親子チャンク分割」や、意味検索とキーワード検索を組み合わせた「ハイブリッド検索」といった高度な機能を標準で利用できる点は、他のツールと比較しても大きなアドバンテージと言えるでしょう。

本記事で解説した各設定の意味を理解し、目的に応じて適切にチューニングすることで、AIの回答精度は劇的に向上します。ぜひ、Difyのナレッジ機能を活用して、あなたのビジネスに眠る独自データを価値ある情報へと変換し、次世代のAIアプリケーション開発に挑戦してみてください。

その業務課題、AIで解決できるかもしれません

「AIエージェントで定型業務を効率化したい」

「社内に眠る膨大なデータをビジネスに活かしたい」

このような課題をお持ちではありませんか？

私たちは、お客様一人ひとりの状況を丁寧にヒアリングし、本記事でご紹介したような最新のAI技術を活用して、ビジネスを加速させるための最適なご提案をいたします。

AI戦略の策定から、具体的なシステム開発・導入、運用サポートまで、一気通貫でお任せください。

「何から始めれば良いかわからない」という段階でも全く問題ありません。 まずは貴社の状況を、お気軽にお聞かせください。

＞＞ AI開発・コンサルティングの無料相談はこちら

FAQ

Q1: DifyのRAG機能（ナレッジ機能）を使う一番のメリットは何ですか？

A1: 一番のメリットは、プログラミングの専門知識がなくても、GUIを通じて直感的かつ詳細にRAGシステムを構築・運用できる点です。本記事で解説した「親子チャンク分割」や「ハイブリッド検索」「リランクモデルの利用」といった高度な機能を、設定を選択するだけで利用でき、AIの回答精度を大幅に向上させることが可能です。

Q2: 親子チャンク分割とは何ですか？なぜ精度向上に繋がるのですか？

A2: 親子チャンク分割は、まず文章を段落などの大きな「親チャンク」に分け、それをさらに小さな「子チャンク」に分割する手法です。検索は細かい「子チャンク」に対して行い、ヒットした場合はその親である「親チャンク」全体をAIに渡します。これにより、検索の正確さを保ちつつ、AIが回答を生成する際に前後の豊かな文脈を理解できるため、より質の高い回答が期待できます。

Q3: ベクトル検索とハイブリッド検索はどちらを使うべきですか？

A3: 一般的に、より高い検索精度を求める場合は「ハイブリッド検索」を推奨します。意味の近さで探す「ベクトル検索」と、キーワードの一致で探す「全文検索」の長所を組み合わせることで、多様な質問に対してより的確な情報を探し出すことができます。ただし、要件がシンプルな場合や、まずは試したいという場合は「ベクトル検索」から始めるのも良いでしょう。

Q4: DifyでRAGの精度が上がらない場合、最初に見直すべき点はどこですか？

A4: 精度が上がらない場合、まずは「チャンク分割」の設定を見直すことをおすすめします。「最大チャンク長」や「オーバーラップ」の値が適切でないと、文脈が途切れてしまい、うまく検索できなくなります。その上で、本記事で紹介した「親子チャンク分割」モードを試してみてください。多くの場合、これだけで精度が大きく改善される可能性があります。次に、検索手法やトップKなどのパラメータを調整していくのが効果的です。

注釈

• Dify: オープンソースのLLMOpsプラットフォーム。GUIベースでAIアプリケーションの構築、デプロイ、運用管理が可能。

• RAG (Retrieval-Augmented Generation): 検索拡張生成。LLMが回答を生成する前に、外部の信頼できる情報源から関連情報を検索し、その内容に基づいて回答を生成する技術。

• Cohere: LLM開発企業の一つ。特に多言語対応やテキストの関連度を判定するリランクモデルに強みを持つ。

• エンベディング (Embedding): 単語や文章を、その意味的な特徴を保持したまま低次元の数値ベクトルに変換する技術。

外部リンク

• Dify公式サイト：https://dify.ai/

• Cohere公式サイト：https://cohere.com/

▌【一緒に働くメンバー募集】生成AIを活用し、顧客の課題解決をしませんか？

最後までお読みいただき、ありがとうございます。

NOVEL株式会社では、生成AIを活用して企業の業務改善や新規プロダクト開発を支援しています。

私たちは「現場に眠るデータをつなぎ人とAIが協働する社会を創る」というビジョンのもと、非IT業界が抱える複雑な課題に日々向き合っています。

もしあなたが、

• 新しい技術の可能性にワクワクする方

• 困難な課題解決を楽しめる方

• 自分の手で「0から1」を創り出す経験をしたい方

であれば、私たちのチームで大きなやりがいを感じていただけるはずです。 まずは、私たちがどんな未来を描いているのか、採用ページで少し覗いてみませんか？

▶ 募集中のポジションを確認する