RAG型チャットボットで誤回答を訂正した内容を蓄積し賢くする仕組みは可能か？（Gemini API・画像入力あり）

Question

コード
```### 実現したいこと
完全無料かつクレジットカード登録なしで、業務用チャットボットを構築したいと考えています。

対象は外部案件で、業務マニュアルやQ&Aが存在します。
これらをもとに、人手ではなくAIがチャット形式で回答できる仕組みを作りたいです。

現在はGeminiの無料APIを使用しており、
マニュアルやQ&AはSQLiteなどのデータベースに登録し、
検索（キーワード検索＋簡易的な意味検索）を行ったうえでAIに渡す構成にしています。



そのため、
・誤回答を訂正した内容を蓄積し、次回以降の回答精度を上げる仕組みはあるのか
・完全無料でそれに近い構成を実現する方法があるのか
を知りたいです。

### 発生している問題・分からないこと
この案件では伝票画像などの画像情報が非常に重要で、
回答は「質問文」ではなく「画像の内容」を基準に判断する必要があります。
ただし、OCRでは読み取り精度に限界があり、正確にテキスト化できないケースも多いため画像フォルダにマニュアル画像を入れてAPIに渡しています。

さらに問題として、
質問者の前提が誤っているケース（例：対象外と書かれていないのに対象外だと思い込んでいる）が多く、
AIには単なる回答ではなく「正誤判定」もさせたいと考えています。

現状では、
・質問＋画像を送信してもマニュアルと異なる回答が返ってくる
・一般知識に引っ張られた誤回答が発生する
という課題があります。

また、Gemini APIはリクエスト単位で完結するため、
誤回答に対して「それは違う」と訂正しても、その内容が蓄積されず次回に活かされません。現状、手動で調べて回答する方が精度が高く現段階のこのアプリは全く使い物になりません。

プロンプトの問題でしょうか？
マニュアルは20数ページ、Q&Aの数は100個程度あります。

よろしくお願いいたします。またより良い方法があれば教えてください。



### 該当のソースコード

```search.py
import sqlite3


# ===== マニュアル（全件取得）=====
def search_knowledge(query):

    conn = sqlite3.connect("db.sqlite")
    cur = conn.cursor()

    cur.execute("""
        SELECT content, answer, page
        FROM knowledge
        WHERE type = 'manual'
    """)

    rows = cur.fetchall()
    conn.close()

    manuals = []
    for row in rows:
        manuals.append({
            "content": row[0],
            "answer": row[1],
            "page": row[2],
        })

    return manuals


# ===== 事例（LIKE検索で取得）=====
def search_cases(query, limit=5):

    conn = sqlite3.connect("db.sqlite")
    cur = conn.cursor()

    cur.execute("""
        SELECT question, answer, keywords, image_path
        FROM knowledge
        WHERE type = 'case'
        AND (
            question LIKE ?
            OR keywords LIKE ?
        )
        LIMIT ?
    """, ('%' + query + '%', '%' + query + '%', limit))

    rows = cur.fetchall()
    conn.close()

    cases = []
    for row in rows:
        cases.append({
            "question": row[0],
            "answer": row[1],
            "keywords": row[2],
            "image": row[3],
        })

    return cases

from flask import Flask, request, render_template
import os
import requests
import base64
from dotenv import load_dotenv
from search import search_knowledge

load_dotenv()

app = Flask(__name__)

GEMINI_API_KEY = os.getenv("GEMINI_API_KEY")

# ===== Gemini呼び出し =====
def ask_gemini(prompt, image_bytes=None):

    url = f"https://generativelanguage.googleapis.com/v1/models/gemini-2.5-flash:generateContent?key={GEMINI_API_KEY}"

    parts = [{"text": prompt}]

    # 画像がある場合
    if image_bytes:
        encoded = base64.b64encode(image_bytes).decode()
        parts.append({
            "inline_data": {
                "mime_type": "image/png",
                "data": encoded
            }
        })

    payload = {
        "contents": [
            {
                "parts": parts
            }
        ]
    }

    response = requests.post(url, json=payload)

    if response.status_code != 200:
        return f"Geminiエラー: {response.text}"

    data = response.json()

    try:
        return data["candidates"][0]["content"]["parts"][0]["text"]
    except:
        return "回答生成に失敗しました"


# ===== プロンプト作成（RAGの核）=====
def build_prompt(manuals, question):

    manual_text = ""

    for m in manuals:
        manual_text += f"""
【ルール】
ページ: {m['page']}
内容: {m['content']}
処理: {m['answer']}
"""

    prompt = f"""
あなたはこの案件専用の処理判定AIです。
基本的には以下のルールに従って判断してください。

====================
【ルール一覧】
{manual_text}
====================

【質問】
{question}

【重要ルール】
・マニュアルのルールを最優先。世間のルールと相違している場合はマニュアルのルールを優先。
・質問者の前提が正しいか必ず検証する
・マニュアルと矛盾している場合は「誤り」と明確に指摘する
・画像に書かれている内容も必ず考慮する。
・判断できる場合は必ず答える
・どうしても不明な場合のみ「該当情報なし」とする


【出力形式（必須）】
① 結論：
② 理由：
③ 根拠ルール（ページ or 事例）：

※③は必ずページ番号または事例内容を明記すること
※該当なしの場合は「該当ルールなし」と書く
"""

    return prompt


# ===== メイン処理 =====
@app.route("/ask", methods=["POST"])
def ask():

    try:
        question = request.form.get("question")
        file = request.files.get("image")

        if not question:
            return render_template("index.html", answer="質問を入力してください", results=[])

        image_bytes = file.read() if file else None

        # ===== ① ハイブリッド検索 =====
        results = search_knowledge(question)

        # ===== ② プロンプト生成 =====
        prompt = build_prompt(results, question)

        # ===== ③ AI回答 =====
        answer = ask_gemini(prompt, image_bytes)

        # ===== ④ 画面表示 =====
        return render_template(
            "index.html",
            answer=answer,
            results=results
        )

    except Exception as e:
        return render_template("index.html", answer=f"エラー: {str(e)}", results=[])


# ===== トップページ =====
@app.route("/")
def home():
    return render_template("index.html")


if __name__ == "__main__":
    # ローカルPC上にWebサーバーを立てる
    app.run(debug=True)

import sqlite3

conn = sqlite3.connect("db.sqlite")
cur = conn.cursor()

# ===== カラム追加（なければ）=====
try:
    cur.execute("ALTER TABLE knowledge ADD COLUMN type TEXT")
except:
    pass

try:
    cur.execute("ALTER TABLE knowledge ADD COLUMN question TEXT")
except:
    pass


# ===== マニュアル =====外部案件のためマニュアルや事例の内容はダミーにしてあります
manual_data = [
    {
    "content": "赤線や青線がない場合の処理",
    "keywords": "赤線,青線,
    "answer": "赤線や青線がなければそのままSaveする。",
    "image_path": "3.png",
    "page": 3,
    "section":"(1) 処理手順"
    }
]


# ===== 事例 =====
case_data = [
    {
        "question": "警告マークが出ている場合は対象外ですか？",
        "answer": "対象外ボタンを押してください",
        "image_path": "receipt_sekiryō.png",
        "keywords": "警告","対象外"
    }
]


# ===== マニュアル登録 =====
for m in manual_data:
    cur.execute("""
        INSERT INTO knowledge 
        (type, question, content, keywords, answer, image_path, source, page, section)
        VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?)
    """, (
        "manual",
        None,
        m.get("content"),
        m.get("keywords"),
        m.get("answer"),
        m.get("image_path") or m.get("image"),  # ←ここ重要
        m.get("source", "manual"),
        m.get("page"),
        m.get("section")
    ))


# ===== 事例登録 =====
for c in case_data:
    cur.execute("""
        INSERT INTO knowledge 
        (type, question, content, keywords, answer, image_path, source, page, section)
        VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?)
    """, (
        "case",
        c.get("question"),
        None,
        c.get("keywords"),
        c.get("answer"),
        c.get("image_path"),
        "case",
        None,
        None
    ))


conn.commit()
conn.close()

print("登録完了")

<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>外部案件検索</title>
</head>

<body>

<h1>ナレッジ検索</h1>

<!-- ===== 検索フォーム ===== -->
<form method="POST" action="/ask" enctype="multipart/form-data">
  
  <p>質問：</p>
  <input type="text" name="question" style="width:400px;" required>

  <p>質問の画像（任意）：</p>
  <input type="file" name="image">

  <br><br>
  <button type="submit">検索</button>
</form>

<hr>

<!-- ===== AI回答 ===== -->
{% if answer %}
  <h2>AI回答</h2>
  <p>{{ answer }}</p>
  <hr>
{% endif %}

<!-- ===== 根拠表示 ===== -->
{% if results %}
  <h2>根拠（事例・マニュアル）</h2>

  {% for r in results %}
    <div style="margin-bottom:30px; border:1px solid #ccc; padding:10px;">

      <p><b>類似度:</b> {{ r.score }}</p>

      <!-- ===== 事例 ===== -->
      {% if r.type == "case" %}
        <p style="color:blue;"><b>【事例】</b></p>

        {% if r.question %}
          <p><b>質問:</b><br>{{ r.question }}</p>
        {% endif %}

        <p><b>回答:</b><br>{{ r.answer }}</p>

        {% if r.image %}
          <img src="{{ url_for('static', filename='images/cases/' + r.image) }}" width="300">
        {% else %}
          <p>画像なし</p>
        {% endif %}
      {% endif %}

      <!-- ===== マニュアル ===== -->
      {% if r.type == "manual" %}
        <p style="color:green;"><b>【マニュアル】</b></p>

        {% if r.content %}
          <p><b>内容:</b><br>{{ r.content }}</p>
        {% endif %}

        <p><b>回答:</b><br>{{ r.answer }}</p>

        {% if r.page %}
          <p><b>ページ:</b> {{ r.page }}</p>
        {% endif %}

        {% if r.image %}
          <img src="{{ url_for('static', filename='images/manual/' + r.image) }}" width="300">
        {% else %}
          <p>画像なし</p>
        {% endif %}
      {% endif %}

    </div>

    <hr>
  {% endfor %}

{% endif %}

</body>
</html>

試したこと・調べたこと

• teratailやGoogle等で検索した
• ソースコードを自分なりに変更した
• 知人に聞いた
• その他

上記の詳細・結果

LIKE検索のみだと、質問者が的外れなことを言っている場合、データベースから検索されないので意味検索も含めた。マニュアルの大量にある画像全てをリクエストごとにAIに送ると重くなり精度も落ちるため質問文や質問画像から近い場合のみ該当するデータベース情報を引き渡す方が良いと知った。

補足

特になし

Comments

[hiroki-o]

そもそも、無料APIに投げていい業務データなのですか？
学習されてしまうし、他の人の回答に出るかもしれません。

[loving]

質問ありがとうございます。
はい、そこは確認済みで許可が出ています

[loving]

無料APIにこだわりはありませんので、何らかの学習モデルを使用するなどより良い方法があればご教示頂けると幸いです。