YoutubeのAPIで特定のチャンネルの動画を全て取得したい

Question

    # チャンネル内の動画をリサーチメソッド
    search_response = youtube.search().list(
        part = "snippet",
        channelId = CHANNEL_ID,
        type = 'video',
        # eventType = 'completed',    # 'completed':完了したブロードキャストのみ　'live':アクティブなブロードキャストのみ  'upcoming':今後配信予定のブロードキャスト、live中を取得可能
        maxResults = 50,
        order = "date", #日付順にソート
        pageToken = nextpagetoken #再帰的に指定
        ).execute()  

こちらのコードで特定のチャンネルの動画を全て取得したいのですが、650以上動画を持つチャンネルから,
500ちょっとした取得できません。
差が片手ほどならまだしも、150は流石に差がありすぎです。
理由がお分かりの先輩方、教えていただけませんでしょうか？

よろしくお願い致します。

Comments

[sfdust]

実際に問題となっているコードは可能な限りすべて示してください。
・api操作のためのimportや、APIの取得部分が書かれていない。
・掲題のコードだけでは、動画を50しか取れないはず。500とれたということは、forループか何かで複数回回しているはずだが、それが記載されていない。
そもそもnextPageTokenのところの処理が入っていない。
・チャンネルIDが不明のため、150の差が出る理由は、チャンネルID固有の問題かもしれない。

以上より情報が全然足りず、原因について調べることができません。
質問をする以上きちんと準備してください。

大方、APIの割り当てを超過しているか、forループ周りのミスかと思いますが。

[kuma_kuma_]

https://developers.google.com/youtube/v3/docs/search/list?hl=ja
帰ってきたJSONの中にnextPageTokenがありませんでしたか？
pageTokenパラメータとして再度送信すれば次が取得できるはずです。

[kipipipi]

お返事が遅れて申し訳ありません。
pagetokeを取得しまわしているので、一度回せば500数件取得できます。
他のチャンネルを試したところ、全件取得できています。（500件以下のチャンネル)

また、問題の起こったチャンネルの動画を手動で確認したところ、最新の10件だけの内でも1件取得洩れがあるようなのでチャンネル固有(動画固有）の問題か、検索パラメータが引っかからないものなのかな？と思っています。

何度かやっているうち日によって取得できない動画も出てきており、動画の数は前後している状態です。
このコメントを書いた日は500件ぴったりでした。

そして調べたところ、このような記事が見つかりました。
https://ja.stackoverflow.com/questions/6481/youtube-data-api-v3-%E3%81%AE%E3%83%90%E3%82%B0
おそらくこれかなと思います。
なのでスクレイピングで一覧を取ってしまうのが早いかなと思っています。(取得洩れがある時点で信用性にかけるので。。。）
最新の動画は別の方法で取得できているので、そちらでDBを更新していこうかと考えています。

[sfdust]

ちなみにどのチャンネルでしょうか？(チャンネルID)

[kipipipi]

sfdust様
案件先がばれる恐れがある可能性がある為IDを出すことを控えさせてください。申し訳ありません。。。

[sfdust]

承知しました。

Answer 1

今回の件はAPIの仕様？っぽいので諦めて(日付で回し直す方法もありそうですが）、
今回は動画のリストが欲しいだけだったのでスクレイピングで解決しました。。。
2020/9/26付で使用できるスクレイピングコードはこちらです。
いろいろ汚いですが、ご容赦ください。

# 
#  特定のチャンネルの動画を全て取得する
# 
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.select import Select
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.alert import Alert
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
import time

from bs4 import BeautifulSoup
import requests

from pprint import pprint

#
# Seleniumをあらゆる環境で起動させるオプション
#
options = Options()
options.add_argument('--disable-gpu')
options.add_argument('--disable-extensions')
options.add_argument('--proxy-server="direct://"')
options.add_argument('--proxy-bypass-list=*')
options.add_argument('--start-maximized')
# options.add_argument('--headless') # ※ヘッドレスモードを使用
options.add_argument('--kiosk')


#
# Chromeドライバーの起動
# 
DRIVER_PATH = 'ドライバーパス'
driver = webdriver.Chrome(executable_path=DRIVER_PATH, chrome_options=options)

#
# YouTubeにアクセスする
#
url = 'https://www.youtube.com/channel/' + 特定のID + '/videos'
driver.get(url)
time.sleep(3)

for i in range(50): #回数は調整してください
    # # # 一番下までスクロールする
    driver.find_element_by_tag_name('body').send_keys(Keys.PAGE_DOWN) 
    time.sleep(2)

html = driver.page_source.encode('utf-8')
soup = BeautifulSoup(html, "html.parser")
elems = soup.select('#thumbnail')
result_video_list = []

for elem in elems:
   result_video_list.append(elem.get("href"))

for test in result_video_list:
    try:
        pprint('https://www.youtube.com' + test)
    except:
        continue

# ブラウザを終了する(全てのウィンドウを閉じる）
# Chromeのショートカットキー(Command+Q)と同じ動作
driver.quit()

Comments

[sfdust]

Youtubeはスクレイピング対策しているため、例えば上記のコードではPAGE_DOWNがうまく作用せずに取得に失敗したり、正しい動画一覧ページ自体がかえってこない場合があることを申し添えておきます

[kipipipi]

スクレイピング対策されているのですね、教えていただきありがとうございます。
現在のところローカルでは動いているので（問題のあったチャンネルでは全件取得できたようです。多いので数が合っているとだけしかまだ分かっておりませんが。。。）
一度回せば以降使用しなさそうですが、APIが安定しないのであれば再度使用もあるかもしれないので確認しなくてはいけないですね。。。
初心者には壁が次々現れて大変苦しいですが、ご助力大変助かりました！誠にありがとうございます。