Python: fetchall()の動作が無反応？？　でも.fetchone()に切り替えると　次ステップへ移る

OS:Windows10x64
Language:Python:3.6.6
IDE:Eclipse

DBからのSELECT結果=データ量が単純に多いからかなぁ...？と　.fetchall()の部分から次のステップへ移らない状況をある程度我慢して待っていたのですが、いっこうに進展みられずこれは尋常じゃない！！と思いはじめ　問い合わせに至りました。

Eclipseのステップ実行（デバッグ）で試しています。PIDという番号がふられWindowsのタスクマネージャで明細に表れていることは確認できていますが、実際動作が進展していっているのか否か分からない状況です。

試しに.fetchone()へ　切り替えてみたら　次ステップへすぐさま移ることも確認できています。
当方、どういった確認をとって、事態の克服を行うべきでしょうか？

以下コーディングは　tryの中に入っています。異常終了でもしれくれれば　内容の把握・対策着手に入れるのですが、進行中なのか・保留されているのかさえ認識できず　頭を悩ましています。

DBMSはOracleですが、単純に確認方法という面で、幅広いご見解を頂けますと幸いです、よろしくお願いいたします。　　

Python
1cur = con.cursor()   
2cur.execute(sql)
3 
4    
5# 抽出結果を取得
6#fetch_dat = cur.fetchall()　　　　こちらだと　次のFor文に　いつになっても　移らない
7fetch_dat = cur.fetchone()
8
9for r in fetch_dat:
10        print (r)
11

hayataka2049

2020/03/06 06:38

死ぬほどたくさん取れてる可能性とかはありますか？　何百万とか

saya24

2020/03/06 06:43

hayataka2049さん　レコード数： 10,000件の項目数が56列のデータ群を　JSON文字列で取り出そうとしています。つまりは...　死ぬほど、ということになりますかね？？？　各列の属性も長いものは長いです。

行動規範の内容に同意します

回答1件

ベストアンサー

fetchmanyが全部のデータを取ってきてから返るのであれば、実行中に使用メモリが徐々に増えていくのが簡単にはタスクマネージャーなどで観察できると思います。fetchallから返るのが遅いので解決法を得る上でその原因を探りたく、更に確認方法を知りたいのが本質問の主旨なのだと思いますが、fetchmanyの利用でバランスを取ることを考えても良いかと思います。その方がその時々で取ってくるデータ量の大小に大きく影響しない作りにできるのではないでしょうか。

Python Oracle SQL(select文)データ取得方法(fetchall、fetchmany、fetchone)とチューニングパラメータ - Qiita

投稿2020/03/06 07:06