現在クローリングについて勉強中です。
https://next.rikunabi.com/ → 「求人一覧を見る」のリンク先、各企業のリンク先の情報から
数千件の代表者、従業員数、業種を取得しようと思っています
HTML
1 <tbody><tr class="rnn-tableGrid"> 2 <th class="rnn-col-2">設立</th> 3 <td class="rnn-col-10"> 4 <p>19xx年xx月</p> 5 </td> 6 </tr> 7 8 <tr class="rnn-tableGrid"> 9 <th class="rnn-col-2">代表者</th> 10 <td class="rnn-col-10"> 11 <p>代表取締役社長 ○山 X夫</p> 12 </td> 13 </tr> 14 15 <tr class="rnn-tableGrid"> 16 <th class="rnn-col-2">資本金</th> 17 <td class="rnn-col-10"> 18 <p>100億円</p> 19 </td> 20 </tr> 21 22 <tr class="rnn-tableGrid"> 23 <th class="rnn-col-2">売上高</th> 24 <td class="rnn-col-10"> 25 <p>1兆円</p> 26 </td> 27 </tr> 28 29 <tr class="rnn-tableGrid"> 30 <th class="rnn-col-2">従業員数</th> 31 <td class="rnn-col-10"> 32 <p>65,535名</p> 33 </td> 34 </tr> 35 36 <tr class="rnn-tableGrid"> 37 <th class="rnn-col-2">事業所</th> 38 <td class="rnn-col-10"> 39 <p>東京都大阪区名古屋</p> 40 </td> 41 </tr> 42 43 <tr class="rnn-tableGrid"> 44 <th class="rnn-col-2">業種</th> 45 <td class="rnn-col-10"> 46 <p>ニート</p> 47 </td> 48 </tr> 49 50 <tr class="rnn-tableGrid"> 51 <th class="rnn-col-2">事業内容</th> 52 <td class="rnn-col-10"> 53 <p>食う・寝る</p> 54 </td> 55 </tr> 56 </tbody> 57
現在テーブルタグの中の2個目(代表者)、5個目(従業員数)、7個目(業種)を取得する考え方で配列にしたのですが
2割ほどの求人がこの場所にありません。
なので<th>~</th>の中にある 代表者・従業員数・業種 などの文字列を見て
php
1$xpath_delegate = '/html/body/div[@class="rnn-wrapper"]/div[@class="rnn-offerInfoMain rnn-group rnn-group--xxl"]/div/div[@class="rnn-stage js-offerInfoMain"]/div[@class="rnn-row rnn-row--gutter-xm"]/div[@class="rnn-col-9 rnn-group rnn-group--Ll"]/div[@class="rnn-group rnn-group--xm js-cmpnyInfo"]/div[@class="rnn-group rnn-group--s"]/div[@class="rnn-group rnn-group--xs rnn-textM"]/table[@class="rnn-detailTable"]/tr[@class="rnn-tableGrid"][2]/td/p/text()'; 2$xpath_employees = '/html/body/div[@class="rnn-wrapper"]/div[@class="rnn-offerInfoMain rnn-group rnn-group--xxl"]/div/div[@class="rnn-stage js-offerInfoMain"]/div[@class="rnn-row rnn-row--gutter-xm"]/div[@class="rnn-col-9 rnn-group rnn-group--Ll"]/div[@class="rnn-group rnn-group--xm js-cmpnyInfo"]/div[@class="rnn-group rnn-group--s"]/div[@class="rnn-group rnn-group--xs rnn-textM"]/table[@class="rnn-detailTable"]/tr[@class="rnn-tableGrid"][5]/td/p/text()'; 3$xpath_industry = '/html/body/div[@class="rnn-wrapper"]/div[@class="rnn-offerInfoMain rnn-group rnn-group--xxl"]/div/div[@class="rnn-stage js-offerInfoMain"]/div[@class="rnn-row rnn-row--gutter-xm"]/div[@class="rnn-col-9 rnn-group rnn-group--Ll"]/div[@class="rnn-group rnn-group--xm js-cmpnyInfo"]/div[@class="rnn-group rnn-group--s"]/div[@class="rnn-group rnn-group--xs rnn-textM"]/table[@class="rnn-detailTable"]/tr[@class="rnn-tableGrid"][7]/td/p/text()';
現在のXPathの書き方は配列場所直書きですが
このなかに「thの文字列を見て一致したらtdの文字列を取得する」という書き方はできるでしょうか?
できないとすればどのような対処法がありますでしょうか?
よろしくお願いいたします。
回答2件
あなたの回答
tips
プレビュー
バッドをするには、ログインかつ
こちらの条件を満たす必要があります。
2018/06/13 15:18
2018/06/14 13:54
2018/06/15 00:12
2018/06/15 09:02
2018/06/15 09:14 編集
2018/06/15 12:16