前提・実現したいこと
C#にてseleniumを利用しあるサイトのスクレイピングを行っています.
そのサイトは無限スクロールとなっていて最下部までスクロールすると
追加のページが読み込まれるはずなのですがエラーになってしまいます。
何か足りない情報がございましたら、教えていただけると幸いです。
どうぞよろしくお願いいたします。
発生している問題・エラーメッセージ
Access to XMLHttpRequest at 'https://xxxx' from origin 'https://yyyyy' has been blocked by CORS policy: No 'Access-Control-Allow-Origin' header is present on the requested resource.
該当のソースコード
C#
1ChromeDriverService service = ChromeDriverService.CreateDefaultService(); 2var options = new ChromeOptions(); 3options.AddArgument("--disable-blink-features=AutomationControlled"); 4var WebDriver = new ChromeDriver(service, options); 5WebDriver.Url = @"サイトURL";
試したこと
・上記コードにて
options.AddArgument("--disable-blink-features=AutomationControlled");
を追記したところ。seleniumでChromeを起動し、手動でのスクロールでは正常に動作
するようになりましたが
IJavaScriptExecutor js = (IJavaScriptExecutor)WebDriver; js.ExecuteScript("window.scrollTo(0, document.body.scrollHeight);");
などで最下部へ移動すると同じエラーが出力されます。
補足情報(FW/ツールのバージョンなど)
Selenium.WebDriver ver3.141.0
Chrome ver88.0.4324.150 x64
あなたの回答
tips
プレビュー