Pythonの文字列の長さ制御(文字コード・バイト数・全角半角)

Question

概要
Pythonプログラムの中で文字列を加工して、指定したバイト数で切り出しデータベースに格納する処理を組んでいます

質問1
ShiftJISは半角1バイト・全角2バイトですが、UTF8のバイト数は2～6バイトとバラバラだと聞きました。Mysqlの文字コードはShiftJISです。よって、UTF8の文字列をPython側で制御すると、ShiftJISの文字列を処理するより、短い文字列が生成されませんか？どうしたらよいでしょうか？扱う文字列を全てShiftJISにエンコードしたら解決するのでしょうか(文字化けが心配ですが)
参考URL：https://www.saintsouth.net/blog/truncate-strings-by-specified-bytes-in-python3/
上記URLでもある通り、CP932とUTF8では同じバイト数でも取得できる文字数が異なります

質問2
Pythonで適切なバイト数に揃えた文字列をMysqlに格納していますが、現在のMysqlは文字数でしか指定できませんよね？そうした場合、256バイトの文字列を格納するときは、varchar(256)とかにする感じでしょうか？

Answer 1

nvarchar を使ってください。バイト数でなく文字数でサイズ指定します。

Comments

[Zuishin]

最新のバージョンでは varchar も文字数指定だそうですが、どのバージョンかからは自分で調べてみてください。

Answer 2

ShiftJISでもUTF８でも、最初から読んでいけば、文字の区切りというのがわかるので、とにかくバイト数で切り出し、その後で文字チェックを掛けて後尾の中途半端なデータを捨てる、という処理を入れます

ShiftJISにあってUTF8にない文字もあれば、UTF8にあってShiftJISにない文字がありますんで、そこらへんをどうするのかはあらかじめ決める必要がありますねー

Comments

[Zuishin]

後から見た人のために書いておきます。

MySQL 5.0.3 以降は varchar(5) に「あいうえお」が入るので、このようなことをする必要はありません。

この質問のようにエンコードしたバイナリを扱う場合には varchar ではなく blob を使います。

また、Shift_JIS にあって UTF8 に無い文字は存在しません。