python で YouTubeLive のコメントが取得できなくなった

Question

以下のページを参考にYouTubeLiveのコメント取得をしていました．

http://watagassy.hatenablog.com/entry/2018/10/08/132939

一週間前まで普通に動作していたのですが，ある日を堺に最初の live_chat_replay が取得できなくなってしまいました．

まる一日無限ループを使って連続でアクセスしていたため，ブラックリストのようなものに入ってアクセスが拒否されているのでしょうか？

わかる方がいらっしゃいましたらアドバイスいただけると幸いです．

ちなみにブラウザからYouTubeは普通に見られます．

以下，実際に使っているコード

while 1==1:
    for vid in videoIdList:
        print(vid)
        target_url = f'https://www.youtube.com/watch?v={vid}'
        dict_str = ""
        next_url = ""
        comment_data = []
        session = requests.Session()
        headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}

        html = requests.get(target_url)
        soup = BeautifulSoup(html.text, "html.parser")

        for iframe in soup.find_all("iframe"):
            if("live_chat_replay" in iframe["src"]):
                next_url= iframe["src"]  # ←これが取得できない

        while(1):
            try:
                html = session.get(next_url, headers=headers)
                soup = BeautifulSoup(html.text,"lxml")

                for scrp in soup.find_all("script"):
                    if "window[\"ytInitialData\"]" in scrp.text:
                        dict_str = scrp.text.split(" = ")[1]

                dict_str = dict_str.replace("false","False")
                dict_str = dict_str.replace("true","True")

                dict_str = dict_str.rstrip("  \n;")
                dics = eval(dict_str)

                continue_url = dics["continuationContents"]["liveChatContinuation"]["continuations"][0]["liveChatReplayContinuationData"]["continuation"]
                next_url = "https://www.youtube.com/live_chat_replay?continuation=" + continue_url
                for samp in dics["continuationContents"]["liveChatContinuation"]["actions"][1:]:
                    comment_data.append(str(samp)+"\n")
            except:
                break

        comment_data = pd.DataFrame(comment_data)

Answer 1

まる一日無限ループを使って連続でアクセスしていたため，ブラックリストのようなものに入ってアクセスが拒否されているのでしょうか？

多分そうでしょうね。

間隔やサイト規約を考慮せずに
無限ループで絶え間なくスクレイピングをする行為は、威力業務妨害になりかねない迷惑行為ですのでやめましょう。

としか言いようが無いです。

Comments

[退会済みユーザー]

なるほど．ありがとうございます．

これって何を元にブロックしているのでしょうか？

本当にこのコードの実行だけが弾かれて，ブラウザからはなんの違和感もなく表示することができるのですが…

[tanat]

実際のところ何でブロックしているのかを知る方法はありませんが、
UA、IPアドレス、アクセス方法、アクセス間隔の傾向などを見て総合的にブロックするパターンを作っているんだと思われます。
BOTっぽかったら人間判定をするような画面やJSを挟むとか色々方法はあります。

[退会済みユーザー]

勉強になりました．ありがとうございます．

[m.ts10806]

YouTubeLiveに対して事情説明して謝罪するところからでは。
抜け道探ろうとしてませんかね。

Answer 2

そもそもYouTubeの利用規約に違反しています。

利用規約 - YouTube

本サービスの利用には制限があり、以下の行為が禁止されています。

1. 自動化された手段（ロボット、ボットネット、スクレーパなど）を使用して本サービスにアクセスすること。ただし、（a）公開されている検索エンジンを YouTube の robots.txt ファイルに従って使用する場合、または（b）YouTube が事前に書面で許可している場合を除きます。

Googleはほとんどのサービスについてスクレイピングを禁止する代わりにAPIを用意しています。下記のYouTube Live Streaming APIを使用してください。

YouTube Live Streaming API Overview | Google Developers

なお、時間や日あたりのAPI呼び出し回数には制限がありますが、一般的な使用では十分な数のはずです。

Answer 3

---

miss