質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.49%

  • Python

    12220questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • Python 2.7

    1470questions

    Python 2.7は2.xシリーズでは最後のメジャーバージョンです。Python3.1にある機能の多くが含まれています。

python2.7,beautifulsoupでのスクレイピングデータのcsvへの出力が、うまく出来ません。

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 2,774

akakage13

score 80

前提・実現したいこと

python超初心者でございます。
netkeiba.comから競馬データをスクレイピングしております。
スクレイピング自体はうまく出来たのですが、csvに保存する時に、
アウトプットに、「一致しない列数を検出しました。」というメッセージが出現して、
列と行が合わずに苦慮しております。

発生している問題・エラーメッセージ

アウトプットに、「一致しない列数を検出しました。」というメッセージが出現します

該当のソースコード

# -*- coding:utf-8 -*-

import urllib2
import codecs
import time
from bs4 import BeautifulSoup
f = codecs.open('race.csv', 'w', 'utf-8')
f.write('frame_number,horse_number,horse_name,sex_age,weight,jockey_name,horse_house,horse_weight,horse_odds,popularity'+u"\n")

url='http://race.netkeiba.com/?pid=race_old&id=c201604020801'

soup = BeautifulSoup(urllib2.urlopen(url).read(),"lxml")

tr_arr = soup.select("table.race_table_old > tr ")

for tr in tr_arr:
    time.sleep(1)    
    tds = tr.findAll("td")
    if len( tds ) > 1:
        frame_number=tds[0].text        #枠番
        horse_number=tds[1].text        #馬番
        horse_name=tds[3].text        #馬名
        sex_age=tds[4].text        #性齢
        weight=tds[5].text        #負担重量
        jockey_name=tds[6].text        #騎手  
        horse_house=tds[7].text        #厩舎
        horse_weight=tds[8].text        #馬体重
        horse_odds=tds[9].text      #単勝オッズ
        popularity=tds[10].text    #人気

        print frame_number.strip(),horse_number.strip(),horse_name.strip(),sex_age.strip(),weight.strip(),jockey_name.strip(),horse_house.strip(),horse_weight.strip(),horse_odds.strip(),popularity.strip()
        cols = [frame_number,horse_number,horse_name,sex_age,weight,jockey_name,horse_house,horse_weight,horse_odds,popularity]
        f.write(",".join(cols) + "\n")

f.close()

試したこと

print のスクリプトを、frame_number.strip()の場合と、.strip()を削除した場合の両方試しましたが、どちらもcsvの行、列が整列しません。

該当のソースコードで動かしますと、コマンドプロンプトでの出力は上手く出来ました。

(参考)em editorのヘルプを参照いたしました。結果は下記の通りです。

セル内改行を含む CSV の認識に失敗することがある

https://jp.emeditor.com/forums/topic/%E3%82%BB%E3%83%AB%E5%86%85%E6%94%B9%E8%A1%8C%E3%82%92%E5%90%AB%E3%82%80-csv-%E3%81%AE%E8%AA%8D%E8%AD%98%E3%81%AB%E5%A4%B1%E6%95%97%E3%81%99%E3%82%8B%E3%81%93%E3%81%A8%E3%81%8C%E3%81%82%E3%82%8B/

上記のヘルプの回答は以下の通りでした。

再現条件がどうにも分らないのですが,セルの中に改行を含む CSV の認識にときどき失敗するようです。
CSV は RFC 4180 に従ったものです。

現象としては,カンマ区切りテキストとしておおむね正しく認識するものの,セル内の改行のあとが次の CSV 行とみなされてしまいます。
したがって,「一致しない列数を検出しました」がだーっと出ます。

結果が安定しないので,再現手順や再現データは今のところ提示できません。

気の付いたことを箇条書きにします:

  • 既に書いたように CSV は RFC 4180 に従っている。(セル内改行を含むセルの値はダブルクオートで囲んでいる)
  • 同じファイルでも,正常に認識したり,現象(不具合)が出たりする。
  • 正常に認識されることのほうが多い。
  • 現象(不具合)が起きているとき,いったん「通常モード」に切り替えたあと,再び「カンマ区切り」にすると直ることがある。
  • 正常に認識している場合でも,いったん「通常モード」に切り替えたあと,再び「カンマ区切り」にすると現象(不具合)が再現することがある。
  • 要するに安定しない。
  • 最近のバージョンから起き出したような気がする。
  • Version 15.3.0 で現象を確認した。
  • CSV 行の区切りの改行とセル内改行とで改行コードが違っている場合に起きるのかと思ったが,そういうわけでもなさそうだった。
  • ファイルサイズによって起きやすいかどうかは不明。とりあえず今日は 12 KB 程度のファイルで現象を認めた。

なお,この件と関係するかどうか分りませんが,正常に認識できたとき,改行を含むセル値を持った行の行番号が太字になります。
これってそういう仕様ですか? 行番号の太字って,修正した行を示すものですよね?

3行目から5行目の現象が、まさに、今、小生が苦慮している現象でございます。
上記のヘルプも参考にはしましたが、不具合は解決しませんでした。

他の上手く動く競馬情報のスクレイピングのスクリプトと同じ手法で作成しましたが、他のスクリプトでは上手くcsv出力が出来ます。ソースコードを並べて確認しましたが、.strip()の有無の違いくらいでした。
上手く動く他のスクリプトはprintのスクリプトに.strip()がないスクリプトでございます。

何が原因なのか、小生の出来る範囲で調べたつもりでございます。

御教示、ヒント、よろしくお願いいたします。

補足情報(言語/FW/ツール等のバージョンなど)

python2.7

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • Lhankor_Mhy

    2016/09/04 12:29

    print 文のコードに関わらず、cols = ... のコードでは strip メソッドを使っていないようですが、何か理由はありますか?

    キャンセル

  • akakage13

    2016/09/04 13:36

    Lhankor_Mhy様、書き込み、ありがとうございます。
    cols = ... のコードでも strip メソッドをつかいましたところ、うまく動きました。本当にありがとうございました。

    キャンセル

回答 1

check解決した方法

0

Lhankor_Mhy様の御教示通りに、cols = ... のコードでも strip メソッドをつかいましたところ、うまく動きました。本当にありがとうございました。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

同じタグがついた質問を見る

  • Python

    12220questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • Python 2.7

    1470questions

    Python 2.7は2.xシリーズでは最後のメジャーバージョンです。Python3.1にある機能の多くが含まれています。