Q&A
> 転職サイトから企業名やURL等をスクレイピングしようとしています。
そのサイトはスクレイピングしても良いサイトでしょうか？
###やろうとしていること
転職サイトから企業名やURL等をスクレイピングしようとしています。サイト上でxpathを調べると求めている情報をきちんと指定できているのですが、pythonで実装して実行するとデータが空欄となってしまい、うまく情報が取れません。
pythonのscrapyを使用しており、spiderの中身は以下の通りです。
どなたか原因のわかる方がいらっしゃいましたら、ご教授お願い致します。
Python
1class MynaviTensyokuSpider(scrapy.Spider): 2 name = 'mynavi_tensyoku' 3 allowed_domains = ['tenshoku.mynavi.jp'] 4 start_urls = ['https://tenshoku.mynavi.jp/engineer/list/p11+p12+p13+p14/o16+o17/e01/pg{0}/?soff=1&ags=0'.format(i+1) for i in range(2)] 5 6 def parse(self, response): 7 item = MynaviScrapyItem() 8 url = 'https://tenshoku.mynavi.jp' 9 10 def format_nsp(strs): 11 return re.sub('<.*?>|\s', '', strs) if strs is not None else None 12 13 for article in response.xpath('//section[@class="recruit engineer"]/div[contains(@class,"box")]'): 14 info = article.xpath('div[@class="recruit_head"]/h2') 15 16 url_tmp = format_nsp(''.join(info.xpath('p[@class="sub_title"]/a/@href').extract())) 17 item['url'] = url + str(url_tmp)
###確認したこと
上記のコードで指定しているxpathは以下の通りであり、欲しい情報が指定できていることを確認済みです。
xpath
1//section[@class="recruit engineer"]/div[contains(@class,"box")]/div[@class="recruit_head"]/h2/p[@class="sub_title"]/a/@href
素人質問で恐縮ですが、宜しくお願いします。
ご指摘ありがとうございます。
事前にrobots.txt及び利用規約を確認したところ、スクレイピングしても問題ありませんでした。
なお、現在アクセス間隔は３秒に設定しております。
宜しくお願いします。
Scrapy は使ったことがないので分かりませんが、
取得したい要素は JavaScript で生成された要素だったりしないでしょうか？
軽く調べた感じですと、動的な要素は取得できないようです。
https://doc-ja-scrapy.readthedocs.io/ja/latest/topics/dynamic-content.html
コメントありがとうございます。遅くなり申し訳ありません。
JavaScriptで生成された要素というのは<script type="text/javascript">タグが付いているものということですよね。
確認したところ、取ろうとしているデータ付近には上記のタグはありませんでした…????
ですが今後の参考にさせていただきます、ありがとうございます。
動的に生成された要素、という意味だと思います。元々のhtmlにはなくてjavascript等で作成された要素もscrapyで取得出来ますか？scrapyは使わないので分からないのですが、requestsでは取得できないがseleniumを使えばできる、とかはあります。
再びのコメントありがとうございます。Scrapyの使い方を習ったのでこれにこだわっていましたが、考えてみれば違うパッケージを使うという手段もありましたね…！他の手段で解決できないか試してみます、ありがとうございます。
あなたの回答
tips
プレビュー
