pythonでのwebスクレイピングが動作しません。

Question

前提・実現したいこと

プログラミング初心者です。
google scholorから、論文の基本情報を50件分取得し、csvファイルに出力するプログラムを組んでいるのですが、プログラムが動作しません。
サイトは下記を参考にしました。
https://qiita.com/kuto/items/9730037c282da45c1d2b
https://arakan-pgm-ai.hatenablog.com/entry/2018/01/17/080000

エラーメッセージは特に出力されず、項目のみが記載された、中身の要素が空のcsvが生成されてしまいます。
もう4日ほど取り組んでいるのですが解決できず、途方に暮れています。
何卒、よろしくお願い致します。

該当のソースコード

from bs4 import BeautifulSoup
import requests
import pandas as pd
import re

def get_search_results_df():
    columns = ["rank", "title", "writer", "year", "citations", "url"]
    df = pd.DataFrame(columns=columns) #表の作成
    list_keywd = ['脳', '神経']
    html_doc = requests.get('https://scholar.google.co.jp/scholar?num=50&q=' + ' '.join(list_keywd)).text
    soup = BeautifulSoup(html_doc, "html.parser") # BeautifulSoupの初期化
    tags1 = soup.find_all("h3", {"class": "gs_rt"})  # title&url
    tags2 = soup.find_all("div", {"class": "gs_a"})  # writer&year
    tags3 = soup.find_all(text=re.compile("引用元"))  # citation
	
    rank = 1
    for tag1, tag2, tag3 in zip(tags1, tags2, tags3):
        title = tag1.text.replace("[HTML]","")
        url = tag1.select("a")[0].get("href")
        writer = tag2.text
        writer = re.sub(r'\d', '', writer)
        year = tag2.text
        year = re.sub(r'\D', '', year)
        citations = tag3.replace("引用元","")
        se = pd.Series([rank, title, writer, year, citations, url], columns)
        df = df.append(se, columns)
        rank += 1
    return df
    
search_results_df = get_search_results_df()
filename = "Google_Scholar.csv"
search_results_df.to_csv('/Users/xxxx/OneDrive/filename', encoding="utf-8")
    

試したこと

変数soupや、変数tgas1を出力したところ、適切な値は入っていなかったので、
恐らくhtml_docにgoogle scholorのパスを代入するところから、既にコードが機能していないのだと思います。

Comments

[meg_]

該当サイトはスクレイピング禁止されていませんか？

[YYJP]

参考にしたソースでは、まさに自分がスクレイピングしたいサイトでプログラムを実行できているので、特に禁止等はされていないようです。

[meg_]

技術的には可能でもサイト側では禁止にしていることはあります。
サイトの「robots.txt」を確認してください。

Answer 1

'https://scholar.google.co.jp/scholar?num=50&q=' + ' '.join(list_keywd)

これでは正しいURLが生成されません。スペース文字なら%20で表現するようにしないとダメですね。

Comments

[YYJP]

サイトから情報を取得できるようになりました。
ありがとうございました！