海外サイトのスクレイピングについて

Question

Goutteというphpのライブラリを使用して海外サイトのスクレイピングを試みています。
例としてYoutubeの急上昇3件を取得しようとしましたが、URLが日本、アメリカ、英国全て一緒である為、切り替えが出来ずに困っております。
それぞれの国の急上昇を3件ずつ取得するにはどのようにすべきでしょうか。
よろしくお願いいたします。

Answer 1

普通に API でだめなんですかね？

https://stackoverflow.com/questions/30475309/get-youtube-trends-v3-country-wise-in-json

定期的に変更するグーグルさんを追いかけるのは辛いと思うが（というかグーグルのサイトって基本スクレイピングはNGです。
逮捕とかされても自己責任でお願いします。

Answer 2

YouTubeの海外版を見る方法！日本から世界各国のYouTubeを簡単に見られます！

上記サイトの方法は有効でしょうか？

有効であれば、下記のようにURLのパラメーター変更でいけませんか？
https://www.youtube.com/?gl=**JP**&hl=ja
上記の ?gl=JP を変えて ?gl=US（米国）、?gl=GB（英国） ではダメですか？

Comments

[supermaruetsu]

早速のご回答ありがとうございます。しかしながらこれでは切り替えが発生しないようです。何か別の判別要素があるように思います。

[miyakichi]

そうですか・・
YouTubeの海外版を見る方法！世界のYouTubeアドレス一覧（https://netacore.jp/overseas-edition-of-youtube/）←　これもダメですか？
例）https://www.youtube.com/channel/UCF0pVplsI8R5kcAqgtoRqoA　(米国）
　　https://www.youtube.com/channel/UCR44SO_mdyRq-aTJHO5QxAw　（英国）

[退会済みユーザー]

(JP) https://www.youtube.com/feed/trending?gl=JP&hl=ja-JP
(US) https://www.youtube.com/feed/trending?gl=US&hl=en-US
(UK) https://www.youtube.com/feed/trending?gl=GB&hl=en-GB

こっちじゃないといけないんじゃね

Answer 3

YouTube は、接続元IPアドレスで、利用者の国を判定している(と思われる)ので、対象国の IP アドレスからアクセスする必要があると思われます。
(日本にいる時とアメリカ滞在中で見れた内容が一部変わったのでおそらく...)

対策としては、例えば AWS の 北米や欧州(ロンドン)の IPアドレス付きサーバーを契約して、対象国のIPアドレスのついたサーバーでとかでしょうか。

Comments

[supermaruetsu]

ローカル開発環境からこれらのIPを切り替える方法があったりするのでしょうか。
インフラ面があまり詳しくなく、もしご存知であればご教示頂ければ有難いです。

[退会済みユーザー]

つ VPN サービス