常連

Salesforceの添付データを取得し、新規フォルダを作成ご保存数するプログラムを作っているのですが、下記のエラーを解決できず詰まっています。

 File "autotmp.py", line 50, in <module>
    resp = sfdc.get(urlpath).decode('utf-8')
  File "/usr/local/lib/python3.5/dist-packages/salesforce/api.py", line 49, in get
    return self.__get_api(soap).get(get_url, params)
  File "/home/dbcon/utils.py", line 188, in authenticate_and_call
    return func(self, *args, **kwargs)
  File "/home/dbcon/salesforceRestApi.py", line 104, in get
    params=params)
  File "/home/dbcon/salesforceRestApi.py", line 137, in __send_request
    **kwargs)
  File "/home/dbcon/utils.py", line 159, in send_request
    resp = response.json()
  File "/usr/lib/python3/dist-packages/requests/models.py", line 740, in json
    return json.loads(self.content.decode(encoding), **kwargs)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x89 in position 0: invalid start byte

どなたか解決策を教えていただけないでしょうか。
宜しくお願いします。

```python3.5

#!/usr/bin/env python
# -*- coding: utf-8 -*-
#Automatically download attached files from records
#To download multiple files as zip use:
#  https://fsi-america-dev-ed.my.salesforce.com/sfc/servlet.shepherd/document/download/<id>/<id>/...

import salesforce as sf
import os
import urllib.request

sfdc = sf.Salesforce()
sfdc.authenticate(client_id=client_id,client_secret=client_secret,username=username,password=password)

#get api sobjects
api_objects = []
urlpath = "/sobjects/"
resp = sfdc.get(urlpath,'utf-8')
for record in resp["sobjects"]:
  api_objects.append(record["name"])

#get id, filename from contentversion
version = {}
query_results = sfdc.query("SELECT Id, ContentDocumentId, Title, FileExtension FROM ContentVersion")
for record in query_results["records"]:
  if record["ContentDocumentId"] not in version:
    version[record["ContentDocumentId"]] = []
  version[record["ContentDocumentId"]].append({"Id":record["Id"],"Filename":record["Title"] + "." + record["FileExtension"]})

#download
for api_object in api_objects:
  print("processing:" + api_object, 'utf-8')
  query_results = None
  try:
    query_results = sfdc.query("SELECT Id, ContentDocumentId, LinkedEntityId FROM ContentDocumentLink where LinkedEntityId in (SELECT Id FROM " + api_object + ")")
  except:
    continue
  for record in query_results["records"]:
    if record["ContentDocumentId"] in version:
      vlist = version[record["ContentDocumentId"]]
      for v in vlist:
        print("  downloading:" + v["Id"], 'utf-8')
        urlpath = "/sobjects/ContentVersion/" + v["Id"] + "/VersionData"
        filepath = base_folder + api_object + "/" + record["LinkedEntityId"] + "/" + v["Filename"]
        resp = sfdc.get(urlpath, 'utf-8')
        os.makedirs(os.path.dirname(filepath), exist_ok=True)
        with open(filepath, "wb", encoding='utf-8') as f:
          f.write(resp.content)
          



```

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x89 in position 0: invalid start byte

### 実現したいこと
･今までC++Builderの色々なバージョンでプログラミングしてきましたが､10.3までは気付かなかったのですが､11.3 にてプログラムすると､Windows API関数のところで､警告が出ていることに気付きました｡WindowsAPI関数にはA型(ナロウ文字型)とW型(ワイド文字型)と分かれている関数で警告表示されています｡勿論警告をなくしたいのが目標です｡

### 発生している問題・分からないこと
･C++Builder11.3 VCL 環境で､Windows API 関数がA型(ナロウ文字型)を要求していることです｡警告は出ますが､ビルドしてもエラーは出ずに､動作は特に問題は内容です｡
･説明しやすいように以前のバージョンで検討用に作成したショートプログラムを探したところ､以下のリストでも再現できましたので掲載します｡但し本件の問題自体はプログラム内容に直接は関係していないと思います｡
･マウスをWindows API関数に移動すると､以下の警告メッセージが表示されます｡他のAPI関数でも同様です｡
警告メッセージ: 下記(1)を参照ください｡
本来 SHGetFileInfo のまま使用できるはずではありますが､強制的にW型(SHGetFileInfoW)を指定しても警告メッセージが出ます｡(2)を参照ください｡
警告メッセージ:  下記(2)をご参照ください｡
W型に設定しても警告が出るのは深刻な気がします｡
どの様にすれば､Windows API 関数を警告なく使用できるのかご教授ください｡お願いします｡
問題の本質は､プログラムの内容には関係なく､IDEツールの環境設定が関係しているのかと考えています｡

### エラーメッセージ
```error
警告メッセージ(1): no matching function for call to SHGetFileInfoA
警告メッセージ(2): no matching function for call to SHGetFileInfoW
```

### 該当のソースコード

```例) C++Builder
#include <vcl.h>
#include <windows.h>
#include <shellapi.h>
#pragma hdrstop
#include "Unit1.h"
void __fastcall TForm1::Button1Click(TObject *Sender)
{
	if (OpenDialog1->Execute()){
		TIcon *icon = new TIcon;
		SHFILEINFO fileinfo = {0};
		SHGetFileInfo(OpenDialog1->FileName.c_str(), 0, &fileinfo, sizeof(fileinfo), SHGFI_ICON | SHGFI_LARGEICON);
		icon->Handle = fileinfo.hIcon;
		Image1->Picture->Icon->Assign(icon);
		delete icon;
	}
}
```

### 試したこと・調べたこと
- [x] teratailやGoogle等で検索した
- [x] ソースコードを自分なりに変更した
- [ ] 知人に聞いた
- [x] その他

##### 上記の詳細・結果
■1.C++Builderのバージョン違いによる比較
上記のリストを以下のように設定変更してビルドし確認をしました｡プログラムリスト自体はどの条件でも同一です｡
(1) バージョン10.3､32bit(Release)で､以前作成したリストをそのまま使いビルドしましたがエラーなく動作も問題ない｡警告表示もなし｡
    マウスを SHGetFileInfo の所に持っていっても警告など何も表示されません｡
(2) バージョン11.3､64bit(Release)で､上記(1)のソースをそのまま使い､ビルドと動作には問題はないですが､警告が発生しました｡64ビットでのビルドはバージョン11.3で初めて行いました｡
(3) バージョン11.3､32ビット(Release)/64ビット(Release)で､新たなファイルでプロジェクトを作り(1)のソースをマニュアルでコピーし実行したところ､ビルド及び動作は問題ないが､警告(1)が発生しました｡
･上記の結果から､C++BuilderのバージョンによるUNICODEの扱いが変わっているようですが､本件に関係する情報は見つかりませんでした｡
■2.プロジェクト>オプション>C++(共通オプション)でのインクルードパス と ライブラリパスの確認
C++Builder 11.3は標準インストールしただけでカスタマイズはしていませんが､パスの設定は以下のようになっています｡
･Debug構成･32ビット: インクルードパス: $(BDSINCLUDE)\windows\vcl
･Debug構成･32ビット: ライブラリパス: $(BDSLIB)\$(PLATFORM)$(CC_SUFFIX)\debug;$(BDSLIB)\$(PLATFORM)\debug
･Release構成･32ビット: インクルードパス: $(BDSINCLUDE)\windows\vcl
･Release構成･32ビット: (空白)
･Debug構成･64ビット: インクルードパス: $(BDSINCLUDE)\windows\vcl
･Debug構成･64ビット: ライブラリパス: $(BDSLIB)\$(PLATFORM)\debug
･Release構成･64ビット: インクルードパス: $(BDSINCLUDE)\windows\vcl
･Release構成･64ビット: (空白)
■3.Unicode設定
#include <windows.h> には以下の構文があるので､本来ならばUnicode 対応に問題はないはずですがWindows API関数でA型(ナロウ文字型)として認識され､W型(ワイド文字型)と認識されません｡
#if defined(__CODEGEARC__)
#    ifndef _WIN32_WINNT
#        define _WIN32_WINNT 0x0500  /* If not set, assume NT 5.00  */
#    endif
#    if defined(__cplusplus)
#       define NOMINMAX              /* for WINDEF.H */
#    else
#        define NONAMELESSUNION      /* for OAIDL.H, OBJIDL.H,...  */
#    endif
#    if defined(_UNICODE)
#        if !defined(UNICODE)
#            define UNICODE
#        endif
#    endif
#endif /* __CODEGEARC__ */
念のため以下の指定を追加したところ､Unicodeの2重定義エラーが出ましたのでUnicode指定はされていると判断しています｡
#define UNICODE    //(追加)
#define _UNICODE  //(追加)
#include <windows.h>

### 補足
C++Builder 11.3 は現状 Community Edition でこうした問題が生じているので有料版へのアップグレードを躊躇しています｡現在は既にバージョンが12.xxですが｡
念のため､ChatGPT 4oでも確認したところ､IDEの設定の見直しを勧められ､上記の通りパスを確認しました｡さらに提案がありパスを追加しましたが今度はエラーが多数出てらちがあかない状況に至りました｡
問題のキーは､バージョンによるビルド後のプロジェクトファイルの内容の違いにあるように感じています｡
標準インストールで本件の問題が生じているのに､関連情報がネット上にないのは何故かなと合点がいっていないのも事実です｡以上何卒ご教示賜りたくお願いいたします｡
質問の要点はいかです｡
1: 警告を止める方法
2: インクルードとライブラリのパスの設定のご確認

Windows API各種関数での C++Builder の Unicode 対応方法について教えてください

### 日本語文字列を格納した変数を、パスに使用したい
Pythonにて、ファイル操作を行うGUIを作っています。

ダイアログボックスで指定したフォルダの名前を変数に格納したあと、そのフォルダに対して操作を行うとき、フォルダ名に日本語が含まれているとフォルダ名が文字化けし、以下のようなエラーが発生します。

当該のフォルダはきちんと存在しています。

調べたところ、文字列では
```python
t = u"abc"
```
のように書けばutf-8型（unicode型？）で変数を扱えるようですが、これをダイアログボックスから取得したフォルダ名にどのように作用させればいいか検討がつきません。

どなたかお詳しい方、ご回答よろしくお願いします。

### ソースコード
```python
import tkinter as tk
import os

path = os.getcwd()
dir = path

win = tk.Tk()
win.resizable(False, False)

#中略

fle = filedialog.askdirectory(initialdir = dir, title="保存先フォルダの選択")
img = "sample.tiff"
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) 
gray_path = fle + "gray.tiff"
cv2.imwrite(gray_path, gray)

win.mainloop()
```

### 発生しているエラーメッセージ
```
TIFFOpen X:/~文字化けしたフォルダ名~~~: No such file or directory.
```

### 追記
ご指摘いただいた通り、当該のコードを抜粋して記載しました。
メニューからダイアログボックスを開き、指定したファイル名をテキストボックスに挿入し、その文字列を変数fle取得しています。

このファイル名を格納した変数tに日本語が含まれているとき、fleをファイル名に含む部分の操作で上のエラーが発生してしまいます。




### 補足情報（FW/ツールのバージョンなど）
Windows10
Python 3.8.3

【Python】変数に格納した日本語文字列をパスに用いると文字化けしてしまう

WindowsのコマンドプロンプトからUTF-8でファイルに書き込むことは
できないのでしょうか。
コマンドプロンプトから直接実行するとTeraPadでは「Unicode」と
表示されました。
なぜ、バッチファイルからの実行では「SJIS」（日本語があると「UTF-8N」）で
コマンドプロンプトからでは「Unicode」になるのでしょうか。
「バッチファイルを作る」または「UTF-8で書き込めるエディタを使う」
の方法で解決はしています。ただ、しっかりわかっておかないと後々困りそうで
質問しました。


バッチファイルsamplewrite.batを作成し、ファイルに書き込みを
行って、TeraPadで開き文字コードを参照すると「SJIS」と表示されました。

samplewrite.bat
```
@echo off
chcp 65001
echo 1 > sample.txt
echo 2 >> sample.txt
echo 3 >> sample.txt
```
実行
```
PS C:\Users\hoge .\samplewrite.bat
```
TeraPadでは「SJIS」

```
set HOGE=ほげ
echo %HOGE%>>sample.txt
```
の２行を追加すると
を行うと、TeraPadでは「UTF-8N」と表示されました。


同様のことをバッチファイルではなく、コマンドプロンプトから
直接実行するとTeraPadでは「Unicode」と表示されます。


```
PS C:\Users\hogek> chcp 65001
Active code page: 65001
PS C:\Users\hoge> echo 1 > sample2.txt
PS C:\Users\hoge> more .\sample2.txt
﻿1
PS C:\Users\hoge> echo 2 >> sample2.txt
PS C:\Users\hoge> echo 3 >> sample2.txt
PS C:\Users\hoge> more .\sample2.txt
﻿1
2
3
```
TeraPadでは「Unicode」

Windows10コマンドプロンプトからUTF-8で書き込むには

c言語超初心者です。
課題で文字コードを変換するプログラミングを書けと言われました。
UnicodeからSJISに変換したいのですが、どこから手をつけたらいいか全くわかりません。大まかな全体の流れとヒントがほしいです。

追記

与えられた変更式は以下の通りです

ぁ〜み(0x3041〜0x307F)の範囲では

1バイト =- 0xAE
2バイト =- 0xA2

至らないとこが多々あるにも関わらず丁寧に回答してくださりありがとうございます。

文字コードを変換するプログラミング

# 実現したいこと

UTF-8のデータが保存されたDBからレコードを取得し、Shift-JISでCSVに書き込み、出力したい。

# 困っていること

データの量が膨大なため、CSVを複数ファイルに分割して出力しているのですが、時々
`'shift_jis' codec can't encode character '\u3396' in position XXX: illegal multibyte sequence`
のようなエラーが出てCSVの作成に失敗します。
その都度、Pythonの出力部ではDBから取得したデータに対して`.replace('\u3396', '\uXZXZ')`のような変換処理をかませているのですが、この調子だとUnicode -> Shift_JISの全ての変換不能文字について上記のようなリプレイス処理を追記することになってしまい、あまりスマートでは無くなってしまうことを懸念しています。

UTF-8 から Shift-JIS に変換しつつ大量のデータを出力する場合、変換不能文字について上記のように代替となる文字に変換する以外に最適な対応策などありますでしょうか。また、代替文字に置き換える方法をとる場合、スマートな実装などあればご教示いただきたいです。

ご助力いただけると幸いです。
よろしくお願いします。

Shift-JIS - Unicode 間の文字化けについて

### 実現したいこと

文字列とUnicodeが混ざったテキストでUnicodeだけをアンエスケープして、文字列を完成させたい。

#### 例
「私は\u5c71\u7530\u592a\u90ceです。\u3088\u308d\u3057\u304f\uff01」
　　　　　　　↓案エスケープ
「私は山田太郎です。よろしく！」

### 前提
JavascriptでUnicodeと文字列が混合されたテキストファイルで、Unicodeの部分を文字列へアンエスケープし、取得するコードを作っています。

### 試したこと

Unicode部分だけを取得して、アンエスケープするコードはかけています。（**Code１参照**）
また、Unicode以外の文字列も配列として抜き出し、取得することもできています。（**Code２参照**）

ですが、ここからどう処理させれば、希望通り動くのかがわかりません。
分かる方がいらっしゃいましたらお力添えいただけますと幸いです。

##### 該当のソースコード
```Javascript
// Code1
function unicodeUnescape(str) {
    let result = '', strs = str.match(/\\u.{4}/ig);
    if (!strs) return '';
    for (var i = 0; i < strs.length; i++) {
        result += String.fromCharCode(strs[i].replace('\\u', '0x'));
    }

    return result;
}
```
```Javascript
// Code2
function getString(str) {
    let spl_str = str.split(/\\u.{4}/);
    let arr = [];
    for (let i = 0; i < spl_str.length; i++) {
        if (spl_str[i] != '') {
            arr.push(spl_str[i]);
        }
    }
    return arr;
}
```


JavascriptでUnicodeを文字列にアンエスケープしたい

### 実現したいこと

pythonのコードのエラーを直したい。

### 前提

Anacondaのspyderを用いて画像認識のプログラム作成を行ったところエラーが表示されました。
おそらく文字についての不適合があるのだと思いますが、対処法がわかりません。
ご教授いただけると嬉しいです。


### 発生している問題・エラーメッセージ

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xfd in position 41: invalid start byte

### 該当のソースコード

```python
import keras
import sys, os
import numpy as np
from PIL import Image
from keras.models import load_model

imsize = (32, 32)

testpic   ="C:\\Users\\ユーザ名\\"
keras_param = "./cnn.h5"

def load_image(path):
    img = Image.open(path)
    img = img.convert('RGB')
    # 学習時に、(64, 64, 3)で学習したので、画像の縦・横は今回 変数imsizeの(64, 64)にリサイズします。
    img = img.resize(imsize)
    # 画像データをnumpy配列の形式に変更
    img = np.asarray(img)
    img = img / 255.0
    return img

model = load_model(keras_param)
img = load_image(testpic)
prd = model.predict(np.array([img]))
print(prd) # 精度の表示
prelabel = np.argmax(prd, axis=1)
if prelabel == 0:
    print(">>> true")
    print(prd)
elif prelabel == 1:
    print(">>> false")
    print(prd)

```

### 試したこと

\や"をほかの文字に変えたがエラーがそのまま吐き出された。

### 補足情報（FW/ツールのバージョンなど）

python 3.10.9
Anaconda-spyder
