質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.53%

  • Python 3.x

    6290questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Pythonで CSVをCGIからPandasにファイルごと読み込む方法

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 623

KenMizu

score 1

お世話になります。

Python3.5.2
win7 64bitの環境です。

1000行×6列のcsvファイルのデータをPandasに読み込ませる作業を行っています。

ローカル環境にて、
PCのディレクトリ指定から読み込むことは、下記のコードにて
問題なく動作できています。

#coding:utf-8

import pandas as pd

if __name__ == '__main__':

    filepath = "C:\\user\\cgi-bin\\20170205123938.csv"
    df = pd.read_csv(filepath, encoding="CP932")

    pd_len = len(df)

    print('Content-type: text/html\n\n')
    print(pd_len)         #1000


同じ作業を、
PCのディレクトリからではなく、
htmlのformタグからcsvファイルを指定し、
読み込む作業を、下記のコードにて行いました。

CSVファイルを1行ずつ読み込むコードのせいか、
読み込みが安定しません。

認識している問題点は2点です。

1.読み込みの行数が不安定です。
200行や600行など、まちまちの行数で止まったり、
1000行全部を読み込める時もあります。

2.ファイルを読み込んだ後にスクレイピングをしているのですが、
スクレイピングの動作がTimeOutしたり、しなかったりします。

CSVファイルを1行ずつ読み込むのではなく、
ファイルごと読み込む方法はありませんでしょうか?

また、もしくは、下記のコードの
どこを修正すれば、安定しますでしょうか?

<html>
<head>
<meta http-equiv="content-type" content="text/html;charset=utf-8"> </head>
<body>
  <form method="post" action="cgi-bin/yahoo_ean.py" enctype="multipart/form-data">

  <p>csvファイルを選択してください<br>
  <input type="file" name="y_csv"></p>
  <input type="submit" name="submit" /><br /><br />

  </form>
</body>
</html>


↓↓↓formタグを受け取り

#coding:utf-8

import pandas as pd
import cgi

if __name__ == '__main__':

    form = cgi.FieldStorage()    
    fileitem = form["y_csv"]

    in_data = []
    if fileitem.file:

        linecount = 0
        while True:
            line = fileitem.file.readline()
            if not line: break
            linecount = linecount + 1

            line = line.decode('CP932')
            line = line.split(",")
            in_data.append(line)

        df = pd.DataFrame(in_data)

        pd_len = len(df)

        print('Content-type: text/html\n\n')
        print(pd_len)        #読み込む行数が不安定です

どうぞよろしくお願いします。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

0

while文の中で、readline() を行っており、流れがおかしい気がします。

fileitem.file は、直接for文で繰り返しできるので以下のように行ったほうが良いと思います。

for line in fileitem.file:
    line.decode('cp932')
...

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/03/06 00:28

    terapyon さま

    お返事遅くなり申し訳ございませんでした。

    たしかに、While ではなく、For文にすべきです。
    ありがとうございます。

    ちょうど、別のコードでもWhile True文で思う通りに動作しないコードもありますので、合わせて検証してみます。

    ありがとうございました!

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.53%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る

  • Python 3.x

    6290questions

    Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。