Q&A
配列にするというのは、例えば、<a>が含む部分を配列にして、そこから抽出したい部分を加工していくということですか？
RubyのNokogoriでweb上から特定の情報を抜き出す作業をしています。
HTMLがとてもシンプルで、
<html> <body> <h1>It works!</h1> <a href="#href1" class="#class1">Link1</a> <a href="#href2" class="#class2">Link2</a> <a href="#href3" class="#class3">Link3</a> </body> </html>上のようであると、問題なく情報を抽出することができます。
しかし、HTMLがとても複雑で、bodyの中にdivが何個もあり、さらにその中にspanもいくつもある場合、抽出したい情報があるspanが上から何番目にあるかを数えなくてはならないのでしょうか？
それだととても時間がかかりますし、上の方にあるspanだと確かに数えることができますが、奥の方になると時間がかかりますし、数え間違いをしてしまいます。
何か方法はありますでしょうか？
回答2件
0
適切な、idやclassが付いていないケースですよね？
手で数えてるのでしょうか？そうであれば、プリントしてマーカーで印を付けながら数えるのでしょうかね。
数えるしかない場合は、私は、nokogiriコマンドをnokogiri http://～～のようにして、irbで手実行を試行錯誤してXPathを決めてます。
$ nokogiri http://～～～ Your document is stored in @doc... irb(main):001:0>@doc.xpath("//～～～～")
数えない方法としては、含まれるテキストを指定するとかも使いますね。
xpath("//～～/a[text()='次へ']")
とか。
あと、見つけやすいノードをまず指定して、そこを起点に..を使って相対で指定するとか。
投稿2017/07/19 17:16
総合スコア84498
0
ベストアンサー
1.プログラムで調べたいものの数を数える。
2.正規表現で適当に集めてしまって結果を加工する。
という方法を私は思いつきます。
人力で数えるときはhtmlをテキストエディタに張り付けて
数えた部分までを削除しながら数えていきます。
もしかしたら、テキストエディタによってはCtrl+Fなどで
表示される検索欄が強力で何番目の「一致する要素」か
表示してくれるものがあるかも。
Chromeの検索欄なら「一致する要素」が何番目の「一致する要素」
なのか確認できるみたいです。
Ctrl+Uでソースコードを開いて、Ctrl+Fで検索欄を表示、spanと入力して
目的のspanがある位置までEnterを連打で私の場合はできます。
検索欄の横に「数字（何番目か）/数字（全体でいくつあるのか）」で
表示されます。
#追記
もしかしたら正規表現でとりたい情報を配列化して
その配列の何番目かで情報を加工されているのかもと
今、思いました。
さっきまではXpathで何番目の要素かとかを調べるのが
大変という話だと思っていました。
正規表現で行われている場合は
aro10様がおっしゃっておられるように
Xpathを使うと楽になるかもしれません。
私はXpathを使ったことがないので
詳しいことは分かりません。
Xpathについてはこちらのページの説明が分かりやすかったです。
クローラ作成に必須！XPATHの記法まとめ
投稿2017/07/19 11:39
編集2017/07/19 12:12
退会済みユーザー
総合スコア0
そうです。私はこれまでに画像収集クローラしか作ったことがないのですが
その時は、正規表現でページ内の画像のURLを取り出していらない画像のURLを
取り除くということをしました。
とりあえず画像であれば何でもOKみたいな場合はXpathで書くよりも
正規表現の方が簡単かもということです。
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2017/07/20 11:32