【Python】長文を指定キーワードでディクショナリ(JSON)化する方法。

お世話になっております。Ezです。
Pythonで長文を指定キーワードでディクショナリ(JSON)化する方法を探しています。

lang
1変数tmpの中身↓
2売ります カメラ（高級品） 売ります 10年間使った中古の冷蔵庫 買います 新品のMacBookAir １０万円以内で その他 hogehoge・・・

上記を指定したキーワード（売ります買いますその他の３つ）を元に下記のような形にしたいです。

lang
1{売ります:"カメラ（高級品）", 売ります:"10年間使った中古の冷蔵庫", 買います:"新品のMacBookAir １０万円以内で", その他:"hogehoge"}

まずは、キーワード毎にsplitさせようかとおもい
print tmp.split("売ります")
これを記載したところ、下記エラーが出ました。
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe5 in position 0: ordinal not in range(128)

そこで
print tmp.split(u"売ります")
と、uを付け加えたところエラーはでなくなりましたがprint結果が文字化けしていました。

[u'', u' \u672a\u77e5\u306e\u30d6\u30ed\u30f3\u30ba\u30d6\u30ec\u30b9\u30ec\u30c3\u30c8\uff08\u30b5\u30d5\u30a1\u30a4\u30a2\uff06\u30a8\u30e1\u30e9\u30eb\u30c9\uff09\u300016M ', u' \u4fdd\u8b77ES\u30002m@2\u3000\・・・]

長文をディクショナリ化させる方法をご存知の方いらっしゃいましたらご教授いただけないでしょうか？
よろしくお願い致します。

行動規範の内容に同意します

回答1件

ベストアンサー

まず、dict化の前にpythonの文字コードの扱いについて学ばれたほうがよいように思います。
Pythonドキュメント UNICODE HOWTO

単純にdictをprintする場合、個々のkeyやvalueに対してprint文の暗黙の文字コード変換が機能しないため文字化けします。ループさせて個々のkey,valueをprintする場合はterminalの文字コードに変換しようとするため、ユニコード文字列の場合(=u"hoge hoge")はきちんと表示されるはずです。

ちょっとやってみました。（入力がよくないため、あまり綺麗な実装とは言えませんが。。。）

lang
1# -*- coding: utf-8 -*-
2u'''文字列を辞書化する関数
3以下の書式のみに対応
4"[PLACEHOLDER] [value] [PLACEHOLDER] [value]...."
5前提条件：各要素がスペースで区切られており、必ずPLACEHOLDERSのいずれかの要素とvalueがペアで渡されることを想定
6'''
7from collections import defaultdict
8
9PLACEHOLDERS = [u"売ります", u"買います", u"その他"]
10
11
12def to_dict(s, splitter):
13    d = defaultdict(list)
14    items = s.split(splitter)
15    key = ""
16    lastindex = 0
17    for index, item in enumerate(items):
18        if(item in PLACEHOLDERS):
19            if(key != ""):
20                d[key][len(d[key]) - 1] = " ".join(items[lastindex:index])
21            key = item
22            lastindex = index + 1
23            d[item].append(items[index + 1])
24    return d
25
26if(__name__ == '__main__'):
27    # test
28    temp = u"売ります カメラ（高級品） 売ります 10年間使った中古の冷蔵庫 買います 新品のMacBookAir １０万円以内で その他 hogehoge"
29    for key, item in to_dict(temp, u" ").items():
30        for value in item:
31            print key, value
32

追記

おそらくスクレイピングの結果なのかな、と思います。
なので、スクレイピングで取得するときに少し工夫をして以下のような形式で取得できるのであれば、もっと綺麗な方法で実装することができます。

lang
1# -*- coding: utf-8 -*-
2u'''文字列を辞書化する関数
3以下の書式のみに対応
4['PLACEHOLDER', 'value', 'PLACEHOLDER', 'value',....]"
5前提条件：必ずPLACEHOLDERSのいずれかの要素とvalueがペアで渡されることを想定
6'''
7from collections import defaultdict
8
9PLACEHOLDERS = [u"売ります", u"買います", u"その他"]
10
11
12def to_dict(valuelist):
13    d = defaultdict(list)
14    for key, value in zip(valuelist[0::2], valuelist[1::2]):
15        d[key].append(value)
16    return d
17
18if(__name__ == '__main__'):
19    # test
20    temp = [u"売ります", u"カメラ（高級品）", u"売ります", u"10年間使った中古の冷蔵庫", u"買います", u"新品のMacBookAir １０万円以内で", u"その他", u"hogehoge"]
21    for key, item in to_dict(temp).items():
22        for value in item:
23            print key, value

こんなものでどうでしょうか？
どのような入力があるのかもう少し細かな仕様を提示していただければ、他の回答者の方がもっとよい回答をくださるかもしれません。

参考になれば幸いです。

投稿2014/12/28 15:29

ShinpeiYamamoto

総合スコア540

EzrealTrueshot

2014/12/28 16:11

回答ありがとうございます！試したところそれらしい形に近づくことができました！ただ、重複したキーの場合最後のキー&バリューだけが表示されるようなので、これを全部表示させるようにしようと思います。売ります　10年間使った中古の冷蔵庫買います　新品のMacBookAir １０万円以内でその他　hogehoge （「売ります　カメラ（高級品）」の部分がなくなってしまいました。） Python初心者向けのおすすめ勉強サイトなどご存知でしたら教えて頂けるとうれいいです！まずは教えて頂いた公式ドキュメントを見ながらすこし自分でいじってみます。ありがとうございます！

ShinpeiYamamoto

2014/12/28 16:24

ああ、ごめんなさい。辞書は重複したキーが持てないデータ構造です。当然そうなります。と指摘すべきだったのですね、ごめんなさい。

ShinpeiYamamoto

2014/12/28 16:40

回答に貼り付けたコードの内容を更新しました。単純な辞書では無理なので、辞書のvalueをlistとし、ひとつのkeyに対応する複数のvalueをもつように変更しています。

EzrealTrueshot

2014/12/28 18:27

Shinpei様・・・ありがとうございます。。。完璧すぎます。この時間まで一人で悩んでいたのですが全然解決できませんでした。ふとteratailを覗くと、そこには100点満点の回答が＞＜本当にありがとうございます！

ShinpeiYamamoto

2014/12/29 05:03

追記です。pythonの勉強用サイトですね。 - Dive Into Python https://sites.google.com/site/diveintopythonjp/ 3.x系用のDive Into Pythonの方が内容が新しくてよいかもですが、2.x系では動作しないコードも時折あるようなので注意です。 - Dive Into Python 3 http://diveintopython3-ja.rdy.jp/

行動規範の内容に同意します