chatGPTでのWebブラウジングのような機能を、自作のWebアプリに組み込みたい

実現したいこと

chatGPTでのWebブラウジングのような機能を、自作のWebアプリ上で実装したいです。
入力したテキストに対して、web上のデータを基に返答するという機能をAIで作成したいです。

アプリの概要としては、就職活動においての会社情報などを取り扱う機能で考えています。
以下、入出力の簡単なイメージです。

入力: 会社名をテキストでユーザーが入力 + Webサイトが提示した選択肢の中から知りたい情報を選ぶ
出力: Webサイト上から検索した会社情報などを、AIが返答する

発生している問題・分からないこと

ChatGPTをはじめとした言語生成AIなどは、最新のWeb上からのデータを参考に返答できる機能を持っていないケースが多く、APIとしての利用ができません。

スクレイピング機能を持つ他のAPIを、chatGPTなどと組み合わせて作るのか
はたまた私が知らないだけでWeb上のデータを基に出力できるAIのAPIがあるのか。
実現性が無い思い付きなどでも良いのでアイデアがある方は、教えていただきたいです。

また、得たい情報が会社情報のため、会社の基本情報(gBizINFOなど)を取得できるAPIなどと組み合わせて、実装できそうなAPIがあれば教えていただきたいです。

試したこと・調べたこと

teratailやGoogle等で検索した
ソースコードを自分なりに変更した
知人に聞いた
その他

上記の詳細・結果

Google Search APIの利用などが可能性として挙げられるのですが、
運用上の費用の予想がつかず、個人開発で利用できるかわからないです。

meg_

2024/08/01 16:41

> web上のデータを基に返答するという機能をAIで作成したいです。 web検索との相違は何でしょうか？

R_question

2024/08/01 17:17 編集

コメントありがとうございます。質問を修正したのでご確認よろしくお願いいたします。 web検索との相違といたしましては、調べるべき情報をこちら側で提示できることです。また、生成AIなどを使用する際に発生する「プロンプトがうまくできない」といった点も、開発者側が設定することでの解決でします。

winterboum

2024/08/01 23:19

できるでしょうが莫大な資源（つまり費用）がかかりますよ。＞ChatGPTをはじめとした言語生成AIなどはWeb上からのデータを参考に返答できる機能を持っていないというのは認識がまちがえてます。Webからも集めた情報を元にしています。ただし、質問を受けてから探しに行くのではなく事前に集めて整理して莫大な情報として持っていてそれらを元にしています。リアルタイムにWebを探しに行くのでは待ち時間が莫大になる。どのサイトを探せば良いか、が事前に判っているのなら別ですが。時間の短縮を目指すか、保存情報の削減を目指すかで道は別れます。

dodox86

2024/08/01 23:48

質問者さんが言う「WEB検索」とは、例えば何かしらAIに訊ねたいことができ、AIに要求したらAIがリアルタイムにWEBを検索して、レスポンスを返してくれるようなことを望んでいるのだと思いますが、Microsoft Copilotは一応、そのようなことをしています。その辺りがChatGPTとは違いますね。以下、私がCopilotさんに訊ねてみた例です。(つたない英語ですみません) 質問: Does Copilot collect information from web at realtime when we ask something ? > Copilotの返信 > web > を使用しています > 回答を生成しています… > > Copilot が送信しました: > Yes, Microsoft Copilot leverages data from the public web in real time when generating responses. It uses OpenAI’s GPT-4 model, which has been trained on vast amounts of data to provide natural language understanding and generation capabilities1. Unlike some other AI services, Copilot doesn’t have access to organizational resources or content within Microsoft 365 Graph, such as documents in OneDrive or emails2. So, when you interact with Copilot, it doesn’t directly access your private data; it relies on publicly available information from the web. Keep in mind that it’s essential to verify the accuracy of any information retrieved from external sources. If you have specific tasks or questions, feel free to ask, and I’ll do my best to assist! 尚、そんな機能を提供してくれる公開されたAPIはないという返答でした。詳しくは自分でCopilotさんに訊ねてみてください。

dodox86

2024/08/02 00:03

余談になりますが、上記コメントのCopilotさんとの質疑応答は、「SNSに公開しても良いか?」とCopilotさんに確認した内容でしたが、まだ"Bing Copilot"の名前の頃に使い始めたときは「公開してはダメ」と答えられた記憶があります。内容にもよるでしょうが、WEBの検索結果をもとに生成された情報をさも自分のもののように扱うのは、難しい問題でしょうね。