質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.12%

pandasの読み込みに失敗する理由がさっぱりわからない

解決済

回答 2

投稿 編集

  • 評価
  • クリップ 1
  • VIEW 363

KojiDoi

R総合1位

https://teratail.com/questions/180478
の続きです。試行錯誤の結果、伺いたいことが変わってきたため、質問を立て直すことにしました。

現在直面している問題

ubuntuで、 pandasをimportしているpythonスクリプトがエラーを吐いて動いてくれません。
その原因と対処方法が皆目見当がつかないため、お知恵を拝借したいと考えています。

# dftest1.py
import pandas as pd

df1 = pd.DataFrame({"date":(
"2012-01-01 00:00:00",
"2012-01-01 00:00:00",
"2012-01-02 00:00:00",
"2014-04-18 00:00:00")})

print(df1)


これをコマンドラインで実行しようとすると以下のようになってしまいます。python2.7と3.4が入っているのですが、どちらでもエラーとなってしまいます。

$ python3.4 ~/work/dftest1.py                                                                        [ ~/raid/kiwa/analysis3 ] 
Traceback (most recent call last):
  File "/home/kdoi2/work/dftest1.py", line 2, in <module>
    import pandas as pd
  File "/usr/lib/python3/dist-packages/pandas/__init__.py", line 7, in <module>
    from pandas import hashtable, tslib, lib
  File "pandas/src/numpy.pxd", line 157, in init pandas.hashtable (pandas/hashtable.c:38262)
  File "/usr/lib/python3/dist-packages/numpy/__init__.py", line 153, in <module>
    from . import add_newdocs
  File "/usr/lib/python3/dist-packages/numpy/add_newdocs.py", line 13, in <module>
    from numpy.lib import add_newdoc
  File "/usr/lib/python3/dist-packages/numpy/lib/__init__.py", line 8, in <module>
    from .type_check import *
  File "/usr/lib/python3/dist-packages/numpy/lib/type_check.py", line 11, in <module>
    import numpy.core.numeric as _nx
  File "/usr/lib/python3/dist-packages/numpy/core/__init__.py", line 6, in <module>
    from . import multiarray
SystemError: initialization of multiarray raised unreported exception

 $ python2.7 ~/work/dftest1.py                                                                        [ ~/raid/kiwa/analysis3 ] 
PyCapsule_Import could not import module "datetime"
Traceback (most recent call last):
  File "/home/kdoi2/work/dftest1.py", line 2, in <module>
    import pandas as pd
  File "/usr/lib/python2.7/dist-packages/pandas/__init__.py", line 6, in <module>
    from . import hashtable, tslib, lib
  File "numpy.pxd", line 157, in init pandas.hashtable (pandas/hashtable.c:21706)
  File "/usr/lib/python2.7/dist-packages/numpy/__init__.py", line 153, in <module>
    from . import add_newdocs
  File "/usr/lib/python2.7/dist-packages/numpy/add_newdocs.py", line 13, in <module>
    from numpy.lib import add_newdoc
  File "/usr/lib/python2.7/dist-packages/numpy/lib/__init__.py", line 8, in <module>
    from .type_check import *
  File "/usr/lib/python2.7/dist-packages/numpy/lib/type_check.py", line 11, in <module>
    import numpy.core.numeric as _nx
  File "/usr/lib/python2.7/dist-packages/numpy/core/__init__.py", line 6, in <module>
    from . import multiarray
ImportError: PyCapsule_Import could not import module "datetime"

試したこと

実のところ以前は問題なくpandasが使えていました。今週、別のスクリプトを試そうとして動かなかったため原因を究明しようとしてこの事態に気づきました。

不思議なことにipythonから%runで呼び出すとちゃんと実行されます。更に、先の質問の後で試行錯誤したところ、次のようにすれば問題なく実行されることを確認しました。

$ python2.7 < ~/work/dftest1.py                                                                      [ ~/raid/kiwa/analysis3 ] 
                  date
0  2012-01-01 00:00:00
1  2012-01-01 00:00:00
2  2012-01-02 00:00:00
3  2014-04-18 00:00:00

先の質問では、共有ライブラリの読み込み失敗の可能性を示唆していただきましたが、なぜ失敗するのか。ライブラリのインストールに失敗している、あるいは関連ファイルを誤って消去したり破壊したりと言ったことは考えられません。それでは上記のうまく行く状況が説明がつかないですから。

https://teratail.com/questions/180478">https://teratail.com/questions/180478 にも書いた通り、ライブラリの再インストールもやってみましたが事態は変化しません。既にライブラリはインストールされてるよというメッセージが返ってくるばかりです。

補足情報(FW/ツールのバージョンなど)

環境:

$ uname -a
Linux kdoi 3.13.0-163-generic #213-Ubuntu SMP Thu Nov 15 02:19:07 UTC 2018 x86_64 

ライブラリの確認:

#apt install python3-pandas
Reading package lists... Done
Building dependency tree       
Reading state information... Done
python3-pandas is already the newest version.
(中略)
Use 'apt-get autoremove' to remove them.
0 upgraded, 0 newly installed, 0 to remove and 173 not upgraded.

まとめ

あらためて質問項目を列挙しておきます。

  1. pythonスクリプト実行時にpandasの関連ライブラリ読み込みに失敗する理由として何が考えられるか。
  2. python script.pypython < script.pyで挙動が異なるのはなぜか。
  3. 事態を解決し、つつがなくpython script.pyできるようにするには何をすればよいか。

解決

まず質問文に不正確な記述があったことをお詫びせねばなりません。実際に行った確認作業は次のようなものでした。

cd ~
python2.7 ~/work/dftest1.py
...
python2.7 < ~/work/dftest1.py


問題の直接の原因は~/workにdatetime.pycというファイルが存在していたことにありました。当該ディレクトリは実験や勉強のために試作スクリプトを色々作り置いている場所で、自分でも覚えていませんがおそらくpythonを勉強し始めた初期のころに間違えて作ってしまったのだと思われます。datetime.pyというファイルが悪さをしている可能性は疑っていたのですが、.pycは盲点でした。
そして、モジュールのサーチパスに関して私は認識不足でした。
スクリプト名を引数として直接指定した場合は、そのスクリプトが存在するディレクトリがサーチパスの先頭に追加される。しかし、標準入力からリダイレクトで流し込んだ時は、スクリプトファイル名をpython自体は与り知らないので、その場所がサーチパスに追加されることはない。これが「挙動が異なった」原因でした。
~/work/datetime.pycを消去したところ、あっさり実行に成功です。わかってみれば下らない理由でした……。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

checkベストアンサー

+1

直接の答えではありませんが、検索してこのあたり ↓ のページを見ると、カレントディレクトリに datetime.py といった、既存のモジュール/パッケージと重複する名前の .py ファイルがある場合に発生しうる、といったことが言われています。

インストールは間違いなく成功しているとのことであれば、 import sys; print(sys.path) といった行をスクリプト内に挿入して sys.path の中身を確認されてみてはいかがでしょうか(特に 2 の問題はこのあたりが絡んでいるような気がします)。

追記: hayataka2049 さんとポイントがかぶったので hayataka2049 さんのご回答をご覧ください。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

+1

ImportError: PyCapsule_Import could not import module "datetime"

でググってみました。

間違ってubuntu14.04を16.04にupgradeしてしまった場合の対応 - Qiita

OSの更新とかはやっていませんかね・・・

   from . import multiarray
ImportError: PyCapsule_Import could not import module "datetime"

字義的に考えると、拡張モジュールの中でdatetimeをimportしようとしてこけているのだと思いますが、標準モジュール全般が拡張モジュールの中から見えないか、見えててimportに失敗している感じでしょうか。

とりあえず、引数に渡したときとリダイレクトで流し込んだときでsys.pathが違わないか見てみるとかはどうでしょうか。もし違っていたら収穫です。

https://docs.python.org/ja/3/c-api/import.html#c.PyImport_ImportModule

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.12%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

同じタグがついた質問を見る