RAGの運用コストを見直すチェックリスト

RAG（検索拡張生成）は、社内文書やマニュアルから関連する部分を検索し、その内容を生成AIに渡して回答させる仕組みです。社内ヘルプデスクや問い合わせ対応のチャットボットなどで広く使われていますが、運用を続けるうちに「思ったより費用がかかる」という声もよく聞かれます。

RAGの費用は、主に次の4つから成り立っています。この記事では、それぞれについて確認したい項目をチェックリストの形で整理します。

• 生成：検索結果を含めたプロンプトを生成AIに渡して回答させる費用
• 検索：質問のベクトル化（埋め込み）や、リランキング（検索結果の並べ替え）の費用
• データ更新：文書を分割し、埋め込みを作成してデータベースに登録する費用
• インフラ：ベクトルデータベースや検索サーバーの利用料・保存容量

どこが大きいかは構成によって異なります。まずは利用ログと請求の内訳から、どの項目が費用の中心になっているかを確認するところから始めましょう。

1. 生成（プロンプトに渡す量）のチェック

多くのRAGでは、費用の中心は生成AIへの入力です。検索結果をたくさん渡すほど入力が長くなり、1回あたりの費用が増えます。

• 検索結果を何件（top-k）渡しているか。件数を減らしても回答の品質が保てないか
• チャンク（文書を分割した単位）が大きすぎず、質問に関係ない部分まで渡していないか
• 隣り合うチャンクの重なりが大きく、同じ文章を重複して渡していないか
• 表や定型的なヘッダー・フッターなど、回答に使わない部分を取り除いているか
• 回答生成に、タスクに対して過剰に高性能なモデルを使っていないか
• 指示文や回答例など毎回同じ部分に、提供元のプロンプトキャッシュを使えないか

プロンプトキャッシュを使う場合は、毎回変わる検索結果を後ろに、共通の指示を前に置く並び順が重要です（プロンプトキャッシュとバッチ処理の解説）。

2. 検索のチェック

• すべての質問でRAGを動かしていないか。挨拶や一般的な質問など、検索が不要なものを判定して省略できないか
• よくある質問と回答をあらかじめ用意し、同じ質問にはそれを返す仕組みにできないか
• リランキングを使っている場合、対象の件数が必要以上に多くないか
• 検索の精度が低く、そのぶん多くの検索結果を渡して補っている状態になっていないか

検索の精度とコストは密接に関係します。関連する文書を少ない件数で正確に取り出せれば、生成AIに渡す量も減らせます。コストだけを見て件数を削ると回答の品質が落ちることがあるため、精度の改善とセットで考えるのが基本です。

3. データ更新のチェック

• 文書を更新するたびに、全件の埋め込みを作り直していないか。変更のあった文書だけを更新できないか
• 古い版の文書や重複した文書が残り、検索対象と保存容量を増やしていないか
• 回答に使われない文書（利用対象外の部署の資料など）まで登録していないか
• 定期的な一括更新は、提供元のバッチ処理など割安な方法で実行できないか

4. インフラのチェック

• ベクトルデータベースのプランや性能が、実際の検索件数・データ量に対して過大になっていないか
• 開発・検証用の環境が、使われていないのに常時稼働していないか
• 埋め込みの次元数やインデックスの設定が、必要な精度に対して過剰でないか

5. 測定と評価のチェック

上記の見直しを安全に進めるには、変更の前後を比較できる状態を作っておくことが欠かせません。

1. 質問ごとに、検索件数・入力と出力のトークン数・使ったモデルを記録している
2. 代表的な質問と望ましい回答のセット（評価用データ）を用意している
3. 設定を変えたときに、評価用データで回答の品質を確認してから本番に反映している
4. 費用の推移を、機能や部署ごとに確認できる

評価の仕組みがないまま件数やモデルを変えると、費用は下がっても回答の品質が落ち、結局は利用者の手間や問い合わせが増える、ということになりかねません。

どこから手を付けるか

チェック項目が多いと、どこから始めればよいか迷うかもしれません。一般的には、品質への影響を確認しやすく、元に戻しやすいものから着手するのが安全です。

1. まず記録を整える：質問ごとの検索件数・トークン数・モデルを残し、費用の中心を特定する
2. 次に無駄を省く：重複したチャンク、不要な文書、検索が不要な質問への処理など、減らしても品質に影響しにくい部分から見直す
3. そのうえで設定を調整する：検索件数、チャンクの大きさ、モデルの選択などを、評価用データで品質を確認しながら少しずつ変える
4. 最後に構成を見直す：データベースのプラン、更新の方式、キャッシュの導入など、変更の影響が大きいものは計画を立てて進める

一度に複数の設定を変えると、費用や品質が変わった原因が分からなくなります。変更は一つずつ行い、その都度、費用と回答の品質を記録しておくと、後から振り返りやすくなります。

まとめ

RAGのコストは、生成・検索・データ更新・インフラのどこに偏っているかによって、効果的な対策が変わります。まずは記録と評価の仕組みを整え、費用の大きい部分から一つずつ見直していきましょう。生成AIのAPIコスト全般の見直し方はAPIコストが膨らむ5つの原因の記事で解説しています。

RAGの構成の見直しを専門家に相談したい場合は、無料のAIコスト診断で現状を確認したうえで、AIコスト削減プランをご検討ください。RAG最適化を得意とする専門家に、案件として相談できます。