python 上の SJIS 文字列を utf-8 でファイル出力したい

windows 上の python プログラムで SJIS 文字列を含むバイナリデータから
文字列をCSVで取り出して MySQL に UTF-8 で入れたいです

http://web.wakayama-u.ac.jp/~kazama/lab/python/i18n.html
こちらを参考にして

b = f.read(strlen).split(b'\x00', 1)[0]
s = b.decode('cp932')
with codecs.open('test.csv', 'w', 'utf-8', 'replace') as f:
   writer = csv.writer(f)
   writer.writerows([s])

という感じでCSV出力して

MySQL workbench の import wizard でCSVからテーブル作成しようとしたんですが
以下の画像のようなエラーになります
https://gyazo.com/d5fea8942ea82c36a602438c478df168

with codecs.open('test.csv', 'w', 'utf-8', 'replace') as f:
これを書いてる以上ファイルの中身は完全にUTF-8になってると思うんですがそういうわけではないんでしょうか

出力されたCSVをメモ帳で開くと UTF-8 で認識されてて日本語も表示されています

どう修正すれば MySQL にインポートできる文字列になるでしょうか

quickquip

2023/04/13 00:05

MySQL workbench の問題ではない、という切り分けは出来ているんでしょうか? つまりPythonのコードと関係なく、自分の手でUTF-8で書いたcsvはインポートできるのでしょうか?

mypt

2023/04/13 11:49

申し訳ありません原因の切り分けができていませんでした

行動規範の内容に同意します

回答2件

「ChatGPT(GPT-4)]により生成された文章です」

MySQL Workbenchのインポートウィザードでエラーが発生している原因は、CSVファイルのエンコーディングと、MySQLが期待するエンコーディングの違いの可能性があります。

CSVファイルがUTF-8で保存されていることを確認したので、MySQL Workbenchでインポートする際に、正しいエンコーディングを指定してみてください。

１．MySQL Workbenchを開き、インポートウィザードを起動します。
２．対象のCSVファイルを選択します。
３．[Advanced]タブをクリックし、[File Encoding]オプションを見つけます。
４．ドロップダウンリストから、utf8（またはutf8mb4）を選択してください。
５．インポートウィザードの残りの手順を完了し、CSVデータをMySQLにインポートします。

これで、エラーが解決され、CSVデータが正常にMySQLにインポートされるはずです。

ただし、この方法で問題が解決しない場合は、CSVファイルに不正なデータが含まれている可能性があります。その場合、CSVファイルを詳細に確認して、不正なデータを特定して修正してください。不正なデータが修正されれば、再度インポートを試みてください。

投稿2023/04/13 01:22