pythonで銘柄コード一覧ファイル(StockCode.txt)を順に読み込み，impalaを用いて　　　　株価データをダウンロードするpythonコードを作成

###前提・実現したいこと
銘柄コード一覧ファイル(StockCode.txt)を順に読み込み，impalaを用いて
株価データをダウンロードするpythonコードを作成したいです。

###発生している問題・エラーメッセージ
for文でファイルを読み込み、impalaを操作しようとしても、結果が空となって返ってきてしまいます。

エラーメッセージ
[]
[]
[]
[]
[]

###該当のソースコード
pythonです。

f = open('/home/user/bootcamp/StockCode.txt')
lines2 = f.readlines() # 1行毎にファイル終端まで全て読む(改行文字も含まれる)
f.close() # lines2: リスト。要素は1行の文字列データ
for line in lines2:
    from impala.dbapi import connect
    conn = connect(host='172.16.102.6', port=21050) #接続
    cur = conn.cursor()
    cur.execute('use tse_d_yf') #テーブルの選択
    cur.execute('SELECT * from sec1 where code_id = \'int(line)\' limit 10 ') #select
    cur.fetchall() #全ての結果を返すexit()

###試したこと
①型をstrにしてみてもダメでした。
②ループのところをSQLだけ実行する。

from impala.dbapi import connect
conn = connect(host='172.16.102.6', port=21050) #接続
cur = conn.cursor()
cur.execute('use tse_d_yf') #テーブルの選択
cur.execute('SELECT * from sec1 where code_id = \'9007\' limit 10 ') #select
cur.fetchall() #全ての結果を返すexit()

実行結果
[('9007', '20150403', Decimal('1255.00'), Decimal('1257.00'), Decimal('1239.00'), Decimal('1244.00'), 1292000.0, Decimal('1244.00'), '9007'), ('9007', '20150402', Decimal('1236.00'), Decimal('1279.00'), Decimal('1236.00'), Decimal('1262.00'), 1994000.0, Decimal('1262.00'), '9007'), ('9007', '20150401', Decimal('1216.00'), Decimal('1235.00'), Decimal('1200.00'), Decimal('1221.00'), 2214000.0, Decimal('1221.00'), '9007'), ('9007', '20150331', Decimal('1275.00'), Decimal('1279.00'), Decimal('1225.00'), Decimal('1225.00'), 2020000.0, Decimal('1225.00'), '9007'), ('9007', '20150330', Decimal('1273.00'), Decimal('1291.00'), Decimal('1267.00'), Decimal('1271.00'), 1439000.0, Decimal('1271.00'), '9007'), ('9007', '20150327', Decimal('1300.00'), Decimal('1312.00'), Decimal('1255.00'), Decimal('1268.00'), 2474000.0, Decimal('1268.00'), '9007'), ('9007', '20150326', Decimal('1336.00'), Decimal('1336.00'), Decimal('1308.00'), Decimal('1311.00'), 2571000.0, Decimal('1311.00'), '9007'), ('9007', '20150325', Decimal('1327.00'), Decimal('1343.00'), Decimal('1326.00'), Decimal('1341.00'), 1506000.0, Decimal('1341.00'), '9007'), ('9007', '20150324', Decimal('1336.00'), Decimal('1338.00'), Decimal('1317.00'), Decimal('1336.00'), 1692000.0, Decimal('1336.00'), '9007'), ('9007', '20150323', Decimal('1344.00'), Decimal('1348.00'), Decimal('1335.00'), Decimal('1343.00'), 1095000.0, Decimal('1343.00'), '9007')]
③code_id=の変数を?にしてみる。

f = open('/home/user/bootcamp/StockCode.txt')
lines2 = f.readlines() # 1行毎にファイル終端まで全て読む(改行文字も含まれる)
f.close() # lines2: リスト。要素は1行の文字列データ
for line in lines2:
    from impala.dbapi import connect
    conn = connect(host='172.16.102.6', port=21050) #接続
    cur = conn.cursor()
    cur.execute('use tse_d_yf') #テーブルの選択
    cur.execute('SELECT * from sec1 where code_id = \'?\' limit 10 ', line) #select
    cur.fetchall() #全ての結果を返すexit()

実行結果
Traceback (most recent call last):
File "<stdin>", line 6, in <module>
File "/usr/local/lib/python2.7/dist-packages/impala/hiveserver2.py", line 248, in execute
configuration=configuration)
File "/usr/local/lib/python2.7/dist-packages/impala/hiveserver2.py", line 289, in execute_async
self._execute_async(op)
File "/usr/local/lib/python2.7/dist-packages/impala/hiveserver2.py", line 308, in _execute_async
operation_fn()
File "/usr/local/lib/python2.7/dist-packages/impala/hiveserver2.py", line 280, in op
parameters)
File "/usr/local/lib/python2.7/dist-packages/impala/interface.py", line 262, in _bind_parameters
raise ProgrammingError("Query parameters argument should be a "
impala.error.ProgrammingError: Query parameters argument should be a list, tuple, or dict object

###補足情報(言語/FW/ツール等のバージョンなど)
より詳細な情報

argius

2016/09/04 18:29

ループのところをSQLだけ実行するとどうなりますか。SQLのcode_id = のところに直接コードを入れて、"SELECT * from sec1 where code_id = 1234 limit 10"（1234のところはデータに実在するコード）を実行してみて下さい。

argius

2016/09/04 18:29

コード部分は``` ```で囲んで下さい。コード部分を選択してから編集画面の上部にある<code>ボタンを押すと自動で囲んでくれます。囲まないと、特にPythonの場合は、インデントやコメント行が正しく表示されません。

jiro260260

2016/09/05 00:33

アドバイスありがとうございます。 code_id=の部分に直接銘柄コードを入力すると、上記のように正しく結果が返ってきます。ファイルには5つの銘柄コードが入っております。空の結果が5つ返ってきてしまうということは、ファイルは正しく読み込めてはいるものの、code_id=の部分に銘柄コードを正しく代入できていないのではないかと推測しています。

行動規範の内容に同意します

回答1件

ベストアンサー

impalaを試せる環境が無いので動作確認はしていませんが、
lineには改行文字が含まれるのでそれを取り除く必要があると思います。

strip()は前後の不要な空白文字（改行文字含む）を取り除くメソッドです。
そして、SQLをPython側で組み立てます。

lang
1# （前半省略）
2for line in lines2:
3    id = line.strip()
4    from impala.dbapi import connect
5    conn = connect(host='172.16.102.6', port=21050) #接続
6    cur = conn.cursor()
7    cur.execute('use tse_d_yf') #テーブルの選択
8    sql = 'SELECT * from sec1 where code_id = \'%s\' limit 10 ' % id
9    cur.execute(sql) #select
10    cur.fetchall() #全ての結果を返すexit()