常連

### 実現したいこと
OpenAIをAPIから動かすプログラムを作成したい。
TXTファイルを読み込み、アップロードし、そのファイルを要約して出力して欲しい

具体的には、```client.uploads.upload_file_chunked（）```

関数を用いてTXTファイルをアップロードして、アップロードしたファイルのIDを取得し、そのIDを用いて、```openai.chat.completions.create()```関数で出力(今回は、TXTファイルの要約)をしたい

### 発生している問題・分からないこと
エラーは出ないが、出力したファイルには、アップロードしたファイルにアクセスできないと書かれている

### エラーメッセージ
```error
---download_file.md---

申し訳ありませんが、ファイルのアップロードや直接的な内容の確認はできません。ただし、論文の要約や数式の解説などについてお手伝いすることは可能です。論文の内容や主要なテーマを教えていただければ、それに基づいて詳しく要約することもできます。具体的な情報を提供していただけますか？
```

### 該当のソースコード

```python
import webbrowser
import requests
import threading
import signal
from flask import Flask, send_file, request, jsonify
import os
import openai
import rich
from pathlib import Path
import pdfplumber

openai.api_key = "省略"

app = Flask(__name__)

pdf_path = Path("省略.pdf")

txt_path = Path("省略.txt")

def extract_text_from_pdf_and_save_as_txt(pdf_path, txt_path):
    """PDFファイルからテキストを抽出してTXTファイルに保存する関数"""
    with pdfplumber.open(pdf_path) as pdf:
        text = ''
        for page in pdf.pages:
            page_text = page.extract_text()
            if page_text:  # 抽出したテキストがNoneでないことを確認
                text += page_text

    # 抽出したテキストをTXTファイルに保存
    with open(txt_path, 'w', encoding='utf-8') as txt_file:
        txt_file.write(text)

def from_disk(client,txt_path) -> None:
    print("uploading file from disk")

    upload = client.uploads.upload_file_chunked(
        file=txt_path,
        mime_type="txt",
        purpose="batch",
    )
    rich.print(upload)

    # アップロードされたファイルのIDを取得
    return upload.id

def generate_text_from_chatgpt(file_id):
    """ChatGPT APIを使ってテキストを生成する関数"""
    response = openai.chat.completions.create(
    model="gpt-4o-mini-2024-07-18",
    messages=[
        {"role": "system", "content": "あなたは経験豊富な大学教授です。"},
        {"role": "user", "content": f"次のアップロードされたファイルの論文を、できるだけ詳細に、論文中の数式をたくさん引用して要約してください。ファイルID: {file_id}"},

    ],
    stream=False,
    )
    return response.choices[0].message.content.strip()

def generate_markdown(text):
    """テキストをMarkdownに変換し、そのパスを返す関数"""
    markdown_output = "generated_file.md"
    with open(markdown_output, "w") as file:
        file.write(text)
    return markdown_output

@app.route('/download', methods=['GET'])
def download_file():
    """生成したPDFファイルをクライアントに送信するエンドポイント"""
    # OpenAIのAPIキーを設定
    client = openai.OpenAI(
    # This is the default and can be omitted
    api_key="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",
    )
    
    text = extract_text_from_pdf_and_save_as_txt(pdf_path, txt_path)  # ChatGPTからテキストを生成
    file_id = from_disk(client,txt_path)
    text = generate_text_from_chatgpt(file_id)
    file_path = generate_markdown(text)  # テキストをPDFに変換
    response = send_file(file_path, as_attachment=True)  # ファイルを送信
    os.remove(file_path)  # ファイルを削除（オプション）
    return response

def run_flask():
    """Flaskサーバーを実行する関数"""
    app.run(debug=True, use_reloader=False)

if __name__ == '__main__':
    # Flaskサーバーをバックグラウンドで実行
    flask_thread = threading.Thread(target=run_flask)
    flask_thread.start()
    
    # ブラウザでURLを開く
    webbrowser.open('http://127.0.0.1:5000/download')
    
    # ファイルをダウンロードする（オプション）
    response = requests.get('http://127.0.0.1:5000/download')
    if response.status_code == 200:
        with open('downloaded_file.md', 'wb') as file:
            file.write(response.content)
        print("ファイルがダウンロードされました。")
    else:
        print("ファイルのダウンロードに失敗しました。")


```

### 試したこと・調べたこと
- [x] teratailやGoogle等で検索した
- [ ] ソースコードを自分なりに変更した
- [ ] 知人に聞いた
- [ ] その他

##### 上記の詳細・結果
参考にしたGitのリポジトリ
https://github.com/openai/openai-python/blob/main/examples/uploads.py
この公式のリポジトリのExampleファイルのように、```Python
client.uploads.upload_file_chunked（）
```
関数を用いている

### 補足
openai 1.44.0
python 3.12.4

[OpenAI]ファイルをアップロードした後に、ファイルを参照する方法がわからない

## AI活用について

高校受験向け現代文の文章問題を自動で採点するシステムを作ろうと考えております。
IBM社のwatosonやchatgptのapiの活用が実現しやすいかと思ってますが、他の方が
どのように開発するか知見を集めたいです。



AIを活用した現代文文章問題正誤チェックの自動化

# 実現したいこと
chatGPTのAPIを利用して質問をして得られた回答を、正規表現で切り取って利用したいです。

山田太郎の生年月日と出身地を教えてください という旨の質問に対し、
この後正規表現でほしい部分を切り取れるように、下記のような決められた形式の回答が欲しいです


```php
$str = "生年月日:20001224, 出身地:東京都";

/* もしくは */
$str = "生年月日は「20001224」です。出身地は「東京都」です。";

```

# 補足
質問に、「生年月日は: xxxxです」と回答してくださいと付け加えると、そのように回答してくれる時もありますが、してくれない時もあります。。それで、確実にしてくれるような方法があればと思い質問させて頂きました。

ChatGPTからの回答を決まりきった形式で頂くにはどのようにすれば良いでしょうか？

### 実現したいこと
音声データのスペクトログラムの表示

### 発生している問題・分からないこと
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2024-07-25/d3ed89ec-9183-45bd-823f-1e7d14e67374.png)
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2024-07-25/4e0b28f3-a6e0-4b5b-9d22-cf086d2902fc.png)
（３）まで結果が表示されているのに（４）だけ表示されないのってなんでですか？

### エラーメッセージ
```error
It seems like I can't do more advanced data analysis right now.Please try again later.
If you have any other questions or need further assistance,feel to ask!
```

### 該当のソースコード

```
特になし
```

### 試したこと・調べたこと
- [ ] teratailやGoogle等で検索した
- [ ] ソースコードを自分なりに変更した
- [ ] 知人に聞いた
- [x] その他

##### 上記の詳細・結果
使ってる途中でデータ分析の上限みたいなのに達しましたと表示されたので、それが原因かと思いました。

### 補足
特になし

ChatGPTにデータ分析をさせようと考えています

## 大規模言語モデルのファインチューニングについて

大規模言語モデルに製品マニュアルの内容をファインチューニングして、基礎知識を与え、
その後、質問応答できるようなシステムを作りたい。

## 背景、状況

私の会社では自社製品を作っており、その製品Xに対して、日本語マニュアルがあります。
さらに、客先からの質問に回答した内容がデータとして蓄積されています。

ここで、rinnna, Bert GPTなどのモデルに1.日本語マニュアルをファインチューニングして、製品Xに対する基礎知識を学習させ、
さらに2.QAタスクができるようにQA集をファインチューニングさせることは可能でしょうか？
1.の場合、どんなモデルを用いたらよいでしょうか？
　例えば、rinnaであれば、汎用モデルと対話モデルがありますが、汎用モデルにチューニングしたらよいですか？


※ChatGPTのGUIではなく、固有の自社のGUIでシステムを作りたいため、
GPTのプラグインではなくファインチューニングをしたいと思っています。



大規模言語モデル　ファインチューニングの方法

時事ネタクソ質問すみません。

chatgptが3から4になったらしいです。
alpacaも気になる昨今皆様如何お過ごしでしょうか？

私は、developerが幼子で最愛のchatgptをプールで抱き上げる中、stackoverflowが海底でお亡くなりになってる画像を見て、ココ、teratailはどうなってしまうんだろう？と不安を禁じえない毎日です。私はchatgpt使ったこともないのですが、どうやらgpt4の評判はかなり良いようで(もちろん不得手もあるらしい)、ググるより速く疑問に答えてくれるし、いっそうまく訂正していけばそこそこ実装までしてくれるらしいとのこと。

### これ一体どうなると思うのか予想してみませんか？
初心者の方もプロの方も予想なので自由にお願いします。

※議論ではなく雑談です。あなたの未来予想を聞いてみたい！
※私は返事もしないし、仕切ったりもしません。議題の修正を要求された場合のみ何かアクションする可能性があります。

> 議論を求めても、あまり得るものはないでしょう。
求めてません。返事だってなくても私は困りません。あえて説明するなら、書きたい人に書く場所を与えるのが目的です。
きっかけとしては回答にchatgptを使う人が増えたから。何か思うことがあってそうしてるのかと思ってこんなお題を出してみた次第です。

chatgptとteratailの今後について

分からないことはteratailなどに聞けばChatGPTは必要ない。
なぜ、ChatGPTはここまで人気か?
質問すらまともにできない無能が多すぎる気がする。
私は人類の知能低下を危惧する。

分からないことはteratailなどに聞けばChatGPTは必要ない。なぜ、ChatGPTはここまで人気か? 質問すらまともにできない無能が多すぎる気がする。

### 実現したいこと
Python3.10.12
Flask3.0.2
openai(モジュール)1.12.0
を使用しております。

こちらでopenai chatgpt3.5にメッセージを送信したい


### 発生している問題・分からないこと
現バージョンのopenaiモジュールにはChatCompletionがないみたいでエラーになる

できれば、最新バージョンのモジュールを使用したいので、このバージョンでメッセージを送るにはどうすればよいかが知りたい

### エラーメッセージ
```error
AttributeError: module 'openai' has no attribute 'ChatCompletion'
```

### 該当のソースコード

```
   response = openai.ChatCompletion.create(
      engine="text-davinci-003",
      prompt=question,
      max_tokens=500
    )
```

### 試したこと・調べたこと
- [x] teratailやGoogle等で検索した
- [x] ソースコードを自分なりに変更した
- [ ] 知人に聞いた
- [ ] その他

##### 上記の詳細・結果
最新のopenaiにはChatCompletionがないらしい
openaiのバージョンを戻せば出来るらしい


### 補足
最新バージョンのopenaiで動作するようにしたい