質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
Unicode

Unicodeはエンコーディングの標準規格です。1つの文字コード体系で多国語の表現を可能にすることを目指して作られています。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

2回答

1780閲覧

Python|文字列に含まれるUnicodeエスケープされたバイト列を部分的に変換する方法

aaidehacktik

総合スコア7

Unicode

Unicodeはエンコーディングの標準規格です。1つの文字コード体系で多国語の表現を可能にすることを目指して作られています。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

1クリップ

投稿2020/09/15 12:36

編集2020/09/15 13:50

Pythonで文字列の中に含まれるUnicodeエスケープされたバイト列を部分的に文字列に変換する方法をご教示いただきたいです。

具体的には、挨拶 == "\u3053\u3093\u306b\u3061\u306fというような形式の文字列をスクレイピングで取得するのですが、
この文字列をPandasのDataFrameに挿入すると、エスケープされたバイト列がそのまま表示されてしまいます。

最終的には '挨拶 == "こんにちは"' というように、文字列に含まれたバイト列が部分的にデコードされた状態で、DataFrameに挿入したいです。

ご回答のほどよろしくお願いいたします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

quickquip

2020/09/15 12:52

s = r'挨拶 == "\u3053\u3093\u306b\u3061\u306f"' じゃないのですか? (今のままだと s = '挨拶 == "\u3053\u3093\u306b\u3061\u306f"' の時点で欲しいものが達成されているので)
aaidehacktik

2020/09/15 13:33 編集

実際の実装としては、スクレイピングで取得する値の形式が文字列型で部分的にバイト列が含まれている状態です。 print()で出力する分には問題ないのですが、この値をpandasのDataFrameに挿入する場合は変換がされないため、前処理を行いたいと思っています。
quickquip

2020/09/15 13:35

必要なら「質問を書き換えてください」という依頼です。何に困っているか伝わっていません。
toast-uz

2020/09/15 14:07

import pandas as pd df = pd.DataFrame([['', ''], ['', '']]) 挨拶 ="\u3053\u3093\u306b\u3061\u306f" df.iat[0, 1] = 挨拶 print(df) で、普通に こんにちは が出力されます。 問題発生のコードを記載お願いします。
guest

回答2

0

ご回答いただいた皆様、申し訳ございません。
こちら事象の再現ができなかったため、以下のような対応を行いました。

Python

1s = r'挨拶 == "\u3053\u3093\u306b\u3061\u306f"' 2for r in re.findall(r'\"([^\"]*)\"', s): 3 s = s.replace(r, bytes(r, encoding='utf-8').decode('unicode-escape'))

投稿2020/09/16 00:55

編集2020/09/16 10:02
aaidehacktik

総合スコア7

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

quickquip

2020/09/16 05:08

s = r'挨拶 == "\u3053\u3093\u306b\u3061\u306f"' ですか?
aaidehacktik

2020/09/16 05:55

コメントありがとうございます。rはつかないですね。
quickquip

2020/09/16 06:31

解決したというのはなんとなく想像できるのですが、このコードを実行すると '挨拶 == "ã\x81\x93ã\x82\x93ã\x81«ã\x81¡ã\x81¯"' という文字列になるんです。(Pythonリテラルで書くと) これが欲しかったのでしょうか? という疑問が残ります。後から検索などでこのページに来る人も困るでしょうし。
aaidehacktik

2020/09/16 06:55

実際はスクレイピングで処理したときに取得する文字列がsなのですが、ここでは省略して直接代入するような書き方をしました。 回答で記載した処理だとご記載いただいた文字列になるのですが、スクレイピングで取得した場合はraw文字列ではなく普通の文字列として部分的にUnicodeエスケープシーケンスが含まれている形になるため、上述の処理でsを「'挨拶 == "こんにちは"'」とすることができました。 スクレイピングで取得する場合と文字列を直接代入する場合とで動作が異なる原因が把握できておらず申し訳ございません。
quickquip

2020/09/16 07:39

それは想像できているのですけれど、 > 省略して直接代入するような書き方をしました。 その「直接代入するような書き方」は間違っていて、「スクレイピングで取得する場合」sに入る文字列は s = r'挨拶 == "\u3053\u3093\u306b\u3061\u306f"' と等しいですよね? (おそらくですが) そうであれば、この回答を修正して1行目にrを付けていただければそれでよいかと思います。
aaidehacktik

2020/09/16 10:03

ありがとうございます、修正いたしました。
guest

0

そのままで。

Python

1s = '挨拶 == "\u3053\u3093\u306b\u3061\u306f"' 2print(s) 3挨拶 == "こんにちは"

投稿2020/09/15 13:11

otn

総合スコア84538

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

aaidehacktik

2020/09/15 13:33

実際はスクレイピングで取得されるのが上記のような文字列の形式で、print()で出力する分には問題ないのですが、この値をpandasのDataFrameに挿入する場合は変換されないため、前処理を行いたいです。
otn

2020/09/15 13:38

現象が再現できるコードを示して下さい。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問