【curl -F hoge=・・】に対応する【Python Requestsモジュール】の書き方がわからない..

Question

背景

現在、python requestsライプラリを用いて、Boxと呼ばれるクラウドサービスにおける、
ファイルアップロードAPIエンドポイント(BoxAPIリファレンス)へPOSTリクエストを行っております.

問題

下記のPython upload_file関数を実行して、Box APIから発行されたアクセストークンを用いて、
ファイルアップロードしようとしています.
ここで、問題として、pythonのRequestsモジュールを使用したときにcurl -Fオプションコマンドに対応するコードは、どう書いたら良いのか??です。
もし知っている方がいらっしゃいましたら、教えていただけないでしょうか??

def upload_file(self, mime_type, file_path, newfile_name, parent_id):
        """
        Boxサービスに対して、ファイルをアップロードする関数

        Parameters
        ----------
        mime_type : str
            アップロードするファイルのMIME TYPE
        file_path : str
            アップロードするファイルパス
        newfile_name : str
            アップロード後のファイル名
        parent_id : str
            アップロードするファイルの親フォルダID

        Returns
        ----------
        Http Responseの内容
        """
        headers = {
            "Authorization": f"Bearer {self.access_token}",
            "Content-Type": "multipart/form-data"
        }       
        file_bin = open(file_path, 'rb').read()
        files_json = {'file': (newfile_name, file_bin, mime_type)}
        item_data = {
            "attributes" : {
                "name" : newfile_name,
                "parent" : {
                    "id" : parent_id
                }
            }
        }
        # TODO (curl -Fオプションの場合、requests.postはどう対応されるのか)
        response = requests.post(self.UPLOAD_API + "files/content/", json=item_data, files=files_json)

        print(response.status_code)
        print(response.content)

400  # クライアント側エラー..
b'{"code":"bad_request","help_url":"http://developers.box.com/docs/#errors","status":400,"message":"Invalid API request path /api/2.0/files/content/","type":"error"}'

Comments

[toast-uz]

curl -F でBOXにアップロードはできているのでしょうか？

[oppai]

toast-uz さんへ、ご質問ありがとうございます！たった今、curlコマンドで試してみたのですが、同様のエラーが出てきていたので、Python側の問題ではないとわかりました。そして、curlコマンドをより精査したところ、ダブルクオーテーションの中にダブルクオーテーションがあるという単純なミスであったことがわかり、curl 側で通すことができたので、今からPython側も修正しようと思います。もし解決できた場合は、回答を載せておこうと思います。すみません、ありがとうございます！！

Answer 1

BOXのリファレンス上のcurlでのポスト例には

    -F attributes="{"name":"Contract.pdf", "parent":{"id":"11446498"}}"

という行がありますが、この例文のようにattributesオプションの構造をそのまま辞書化またはJSONフォーマット文字列にしてrequestsで指定しまうと、
うまくattributesの内容がBOX APIに渡らないようです。

したがって、下記のように、parent_idだけ別途、requestsモジュールのdataパラメータに指定してPOSTしてやるか、json.dumpsを使用して、ネストされたパラメータを文字列化して渡す必要があります。

＜全文＞

import requests
class Uploader:
    def __init__(self, access_token):
        # API エンドポイント
        self.UPLOAD_API = "https://upload.box.com/api/2.0/"
        
        self.access_token = access_token

    def upload_file(self, file_path, newfile_name, parent_id):
            headers = {
                "Authorization": f"Bearer {self.access_token}"
            }
            file_bin = open(file_path, 'rb').read()
            data = { "parent_id": parent_id }
            '''
            または、下記のようにする。
            data = {
                "attributes" : json.dumps({
                    "name" : newfile_name,
                    "parent" : {
                        "id" : parent_id
                    }
                })
            }
            '''
            # requestsでファイルアップロードするときの構成
            files = {"file" : (newfile_name, file_bin)}

            # requests.postのやりかた
            response = requests.post(self.UPLOAD_API + "files/content", data=data, files=files, headers=headers)

            # status_code 201 が返ってくれば正常にアップロードされているはず。
            print(response.status_code)
            print(response.content)

# プログラムのエントリポイント
# 開発者トークンを引数に指定
uploader = Uploader("YOUR_DEVELOPER_TOKEN")

# parent_idは文字列で指定。この例では"0"すなわちBOXのルートディレクトリを指定している。
uploader.upload_file(file_path="C:/temp/test.bin", newfile_name="test.bin", parent_id="0")

（その他）
元質問文では、APIエンドポイントのURLが(コピペミスなのか)誤っています。
"files/content/"　ではなく　正しくは"files/content"（末尾スラッシュなし）です。

（まとめ）
そもそもcURLとpythonのrequestsは完全に一対一対応するものではありません。
cURLは原始的な手段であり、上記のようなURLコピペミス１つでも、正常に動作しないことがあります。

また今後、APIの仕様が変わる可能性もあります。
したがって、pythonでBOXを使用する場合は、cURLではなく、BOXのpython ライブラリ（https://github.com/box/box-python-sdk）を使用されることを強く推奨します。

Comments

[oppai]

sfdustさん、非常に詳細かつ素晴らしいご指摘ありがとうございます。curlとpython requestsでは完全一致ではないこと、身を以てしりました。すみません、真夜中なのに再度ご質問させてください。upload_file()関数の中にある、data辞書内の、"parent_id"キーは、python sdk内のプログラムから、探したものなのでしょうか??

[sfdust]

回答ソース内にdataの別の指定方法も追記しました。（「または下記のようにする」以下）。これならばcURLの記述と似た形になります。

data辞書内の、"parent_id"キーですが、ソースに
attributes = request.forms.get('attributes') or request.forms.get('metadata')
という行があり、これによりattributeの中に指定しても、直接parent_idキーを指定しても同じとして解釈されるようだったので、
直接指定したところうまく行っただけです。

正攻法は回答ソースのコメント中にあるjson.dumpsを使う方法になります。

[oppai]

なるほど、sfdustさん、すごいですね.. 自分も貴殿のようなエンジニアになれるよう精進します! ありがとうございました.