phpでPythonを実行、大容量のcsvを使用

Question

phpからPythonを実行、Pythonにおいて大容量のcsvファイルを読み取り検索するシステムを作っています。

import csv
import pandas as pd


df = pd.read_csv('zikken4.csv',chunksize = 800000,names=('id','time','lati','long','url','tag'),usecols=['time','lati','long','url','tag'])
for r in df:
    for row_index,row in r.iterrows():
        if row[4] == 'art':
        #if row[4] == sys.argv[1]:
            for i in range(0,4):
              print(row[i])
        
            
      

上記のプログラムを実行したところ、正しく動作します。しかし、phpと連携すると実行しなくなってしまいます。
phpプログラムが誤っていると考えるのが普通だと思いますが、より容量の小さいファイルで実行すると成功するのでその線はないと思います。

考えられる点としては
1.途中でメモリが足りなくなってしまう(メモリ1GBしかないです)
2.なにかしらのプログラムミス

2は考えにくいので1だと思うのですが、chunkをもっと小さくするなどの処置をすればよろしいのですか。何もわからなくなってしまいました…お願いします

Comments

[takasima20]

タイムアウトじゃないスか?

Answer 1

ブラウザを使った検索システムを作っている。
サーバー側の開発環境は PHP を使用している。
その中から既存の Python スクリプトを呼んでいる。
実行したらなんかエラーになった。
ただし、データが少ない場合はうまくいく。

ってことでしょうか。
まず、標準的な Web システムでは、処理にある程度の時間が
かかってしまう場合、タイムアウト(時間切れ)となり
結果が正しく表示されないことがあります。

その Pythonスクリプトの実行にどれくらいの時間がかかるか
わかりませんが、状況からみて上記の制限にかかっていると
推測されます。対応としては…

案１）タイムアウトの制限を緩和する
手っ取り早い方法ですが、利用者からみて使い勝手のわるい
システムと評価されてしまうような気がします。

案２）csvデータをデータベースに入れる
うまくいけば実行速度は劇的に改善されますが、
既存の Python スクリプトは使わなくなります。

案３）csvデータを分割する
適当な条件で適当な量に csv を分割して利用します。
検索条件に合わせて該当 csv を特定する仕掛けが必要になります。

背景が分からないのでとりあえずこのくらいで。
自分なら案２をとりますが、開発になれてない場合は…
がんばってください。
--- 追記 ---
//了解しました。つまり実験的なものを作っているってことスね。

データをcsvで保持し、その中から該当するものを抜き出す
という発想は少量の場合はOKでも大量になると使えないでしょう。
で、csvはある程度元の形をとどめなくても大丈夫ですかね?

まず、csvの分割ですがハッシュを利用します。
図書館方式といってもいいかもしれません。
分野や作者別に分類し、そのようにcsvを分割します。
それでもまだ粒度が足りない場合は、さらに発行年代別に分割します。

一般的にハッシュといった場合、特定の項目の値を計算し
結果を元に分類する方式を指すことが多いようですがね。
例えば10で割った余りによって分類するとか。

次に、シリアライズを考えます。
csvは(いわゆる)テキストファイルなので読み込みが遅いです。
Python でも PHP でもいいのですが、配列オブジェクトを
各言語で理解しやすい形で出力しておき、利用する際は
それを読み込んで使います。

あとは、各csvファイルのプロパティ的な情報をペアで生成しておき
ある程度はcsvを読まなくても対応できるようにしておく
とかですかね。

ポリシーとかもあるでしょうから、どこまでやるかは
自分で決めてください。CODASYL型のDBMSみたいなやつの
参考書とかあったらいいんでしょうけど、いまだとむりかなあ。

Comments

[Parco1021]

回答ありがとうございます！返信が遅れてしまってすみません。
状況としてはその通りです。

今回、「csvからデータを読み込んで作る検索システム」を「データベースを用いる検索システム」よりも高速にするという課題に取り組んでいます(Pythonを選んでいる時点でお察しですが…)。タイムアウトの時間を無制限にし、確認したところやはり動作が果てしなく遅くなってしまっています。
二千万行もある膨大なデータのためcsvを条件で分割することに無理があると感じ試していないのですが何か良い方法があるのならば教えていただきたいです。

Answer 2

単体で動作する事が確認できてるならphpを二つに分解してシェルで呼び出すだけでよくないですか？

php proccess.php（python読み込む手前までの処理）
pytnon python.php（phpから呼ぶと動かないって言ってるpythonの処理、で最後に処理内容をファイルにでも出力）
php proccess2.php（python読み込んだあとの処理）