質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.34%

  • Python

    9158questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • Python 3.x

    7370questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Python - Pickleの使い方について

解決済

回答 4

投稿 編集

  • 評価
  • クリップ 1
  • VIEW 1,718

starrow1103

score 103

pickleモジュールを使うと、バイナリデータとしてデータを保存することができますが、
複数データの取り扱いについての情報が少ないので、求めています。

 例えば

with open("test.pickle","wb") as f:
        for i in range(10):
            data = {i:"<<<data%d>>>" % i}
            pickle.dump(data,f)

このtest.pickleファイルには以下の情報が格納されたわけですが。

{0: '<<<data0>>>'}
{1: '<<<data1>>>'}
{2: '<<<data2>>>'}
{3: '<<<data3>>>'}
{4: '<<<data4>>>'}
{5: '<<<data5>>>'}
{6: '<<<data6>>>'}
{7: '<<<data7>>>'}
{8: '<<<data8>>>'}
{9: '<<<data9>>>'}

こいつらをload()するには、

with open("test.pickle","wb") as f:
        for i in range(10):
            yield pickle.load(f)

とかなんとかやってやりゃあいいんですが、

たとえば、3番目のでーただけ欲しいぜ!って時は上から読み込まなきゃいけないのかな。
そこら辺の使い方がどうも転がっていない様子。

だれかご存知でしたら、ご教授ください。

 追記

一応、以下のようにして1行ずつ読み込んでいるのかは知らないけれど、目的の行のでーたのみ取得は可能

def get():
    with open("test.pickle","rb") as f:
        while True:
            try:
                yield pickle.load(f)
            except:
                break

data = get()
    d = list(data)[3]
    print(d)
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 4

+3

pickleでは、複数回に分けてオブジェクトを対象ファイルに書き出すということは想定されていないと思います。

pickle.dump() 1回の呼び出しで出力されるデータは、pickleのフォーマットとして完結しています。このため、複数回実行した場合、ファイル上では追記されていくので「複数のpickleデータを並べた状態」になっています。そのようなフォーマットを直接的に扱う便利な機能はpickleモジュールにはなさそうです。

(これは、同等のインターフェースをもつjsonモジュールでも同じ事が言えます)

Databaseにpickleデータを保存する、という手法は時々見掛けます。
他には、pickleをDB的まとめて扱うZODBというのがあったりします。探せばそういった便利なライブラリが他にもあるかも知れません。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/04/05 11:01

    >そのようなフォーマットを直接的に扱う便利な機能はpickleモジュールにはなさそう
    自分で作ってみるのも面白そうなんでちょっとやってみます。

    ご紹介いただいたZODBも面白そうですね。とりあえずdocument読んでみますね。

    キャンセル

checkベストアンサー

+2

Python 標準ライブラリの shelve が目的にあうと思います。
内部では pickle が使われます。

“シェルフ (shelf, 棚)” は辞書に似た永続性を持つオブジェクトです。 “dbm” データベースとの違いは、シェルフの値 (キーではありません!) は実質上どんな Python オブジェクトにも — pickle モジュールが扱えるなら何でも — できるということです。これにはほとんどのクラスインスタンス、再帰的なデータ型、沢山の共有されたサブオブジェクトを含むオブジェクトが含まれます。キーは通常の文字列です。

import shelve

# Write
with shelve.open('test.shelve', 'c') as db:
    for i in range(10):
        db[str(i)] = {i:"<<<data%d>>>" % i}

# Read
with shelve.open('test.shelve', 'r') as db:
    data9 = db['9']

print(data9) # -> {9: '<<<data9>>>'}

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/04/06 11:29

    これは便利そうですね!まさにpickleを使いこなした感じのライブラリ・・・。

    少し触ってみますね。

    キャンセル

+1

pickle.dump するところで、複数回dumpしていますが、うまく保存されていますか?

私なら以下のように保存し、呼び出す側で取得しやすいようにします。

>>> with open('test.pickle', 'wb') as f:
...     data = []
...     for i in range(10):
...         data.append({i:"<<<data%d>>>" % i})
...     pickle.dump(data,f)
... 
>>> with open('test.pickle', 'rb') as f:
...     obj = pickle.load(f)
... 
>>> print(obj)
[{0: '<<<data0>>>'}, {1: '<<<data1>>>'}, {2: '<<<data2>>>'}, {3: '<<<data3>>>'}, {4: '<<<data4>>>'}, {5: '<<<data5>>>'}, {6: '<<<data6>>>'}, {7: '<<<data7>>>'}, {8: '<<<data8>>>'}, {9: '<<<data9>>>'}]
>>> obj[2]
{2: '<<<data2>>>'}

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/04/05 10:42

    >複数回dumpしていますが、うまく保存されていますか?
    dumpを繰り返すと、追記できることを発見したのですが、なかなかその情報がありません。

    回答にいただいた方法は直列化(というのでしょうか)でしょうか。
    確かに、そのやりかたで楽なのですが、、、

    例えば、いくつかの膨大なデータ(といっても数メガ程度だと思うのですが)をpickleでちょいちょいしたいなと思った時に、全部読み込むのはメモリ的にやさしくないとおもいまして。
    1行ずつ読み込めるのであればそればベストだと思っていたのです。

    キャンセル

  • 2017/04/05 11:15

    shimizukawaさんが指摘している通り、取り出すいい方法が無いようですね。
    ZODBのpersistentオブジェクトであれば可能だと思います。

    キャンセル

+1

シリアライズしてシーケンシャルなファイルに保存してるわけですから、少なくとも内部的には先頭から読んでいくしかないと思います。省略的な記法はあるのかもしれませんが、知りません。
ご承知の上で書いているとは思いますが、例に上がっているコードならリスト型かひとつの辞書型にした方がいいと思います。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/04/05 11:02

    >少なくとも内部的には先頭から読んでいくしかない
    結局はこれですよね。CSVの読み込みでも同じようなことが言えますが、
    最近「メモリ的に優しい」使い方に興味を持っていて、この投稿をした次第です。

    データベース使えやって話ですね

    キャンセル

同じタグがついた質問を見る

  • Python

    9158questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • Python 3.x

    7370questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。