こんにちは。現在、googleのスクレイピングのプログラムを構築しております。
その中でページのタイトルを取得後、『次へ』を取得したいのですが、なかなかそのプログラムを構築できずに困っております。
以下、私のプログラミングです。
next_page_tag = soup.find_all("td",{"class","b d6cvqb"}) next_page = '' if next_page_tag == []: pass else: # 次ページがある場合 for tags in next_page_tag: for pages in tags: if(pages.find("a") != -1 and pages.find("a") is not None): for page in pages: tmp = page.find("span") if(tmp is not None): if(tmp.get_text().find("次へ") != -1): next_page = top + pages.get('href')
以下はgoogleの次への部分のプログラムです。
[<a class="G0iuSb" href="/search?q=%E3%83%86%E3%83%AC%E3%83%9E%E3%83%BC%E3%82%B1%E3%83%86%E3%82%A3%E3%83%B3%E3%82%B0%E4%BB%A3%E8%A1%8C&biw=1322&bih=662&ei=Z7mSXoSvGIu2mAXS5r-YAQ&start=10&sa=N&ved=2ahUKEwjE_qespeLoAhULG6YKHVLzDxM4FBDx0wN6BAgMEC0" id="pnprev"> <span class="SJajHc NVbCr" style="background:url(/images/nav_logo299.png) no-repeat;background-position:0 0;width:53px;float:right"></span> <span style="display:block;margin-right:35px;clear:right">前へ</span></a>, <a class="G0iuSb" href="/search?q=%E3%83%86%E3%83%AC%E3%83%9E%E3%83%BC%E3%82%B1%E3%83%86%E3%82%A3%E3%83%B3%E3%82%B0%E4%BB%A3%E8%A1%8C&biw=1322&bih=662&ei=Z7mSXoSvGIu2mAXS5r-YAQ&start=30&sa=N&ved=2ahUKEwjE_qespeLoAhULG6YKHVLzDxM4FBDw0wN6BAgMEEI" id="pnnext" style="text-align:left"> <span class="SJajHc NVbCr" style="background:url(/images/nav_logo299.png) no-repeat;background-position:-96px 0;width:71px"></span> <span style="display:block;margin-left:53px">次へ</span></a>]
見づらくてすみません。
よろしくお願い致します。