C#でseleniumを活用してMySQLへデータ保存

Question

前提・実現したいこと

現在、seleniumでスクレイピングを活用しMySQLに取得したデータを保存したいと考えております。

発生している問題・エラーメッセージ

①C#のコンソールアプリで試した際は特に支障なくデータの取得ができたのですが、
ASP.NET MVCに移行するとPathの部分でエラーが出てしまいましたので解決方法が知りたいです。
②C#/selenium/MySQLの3つのキーワードで調べると、自分の知識不足もあるのですが参考となる
サイトが中々見当たりません。皆様が参考にされたサイトをお伺いしたいです。

該当のソースコード

        public int testcreate(Hoge hoge)
        {
            using (connection)
            using (MySqlCommand command = new MySqlCommand())
            {
 //GMB
                IWebDriver driver = new ChromeDriver(Path.GetDirectoryName(Assembly.GetEntryAssembly().Location));
                driver.Navigate().GoToUrl(@"https://www.hogehoge.co.jp");

                //画面最大化
                driver.Manage().Window.Maximize();

                driver.FindElement(By.Name("identifier")).SendKeys("hoge");
                driver.FindElement(By.ClassName("piyo")).Click();
                System.Threading.Thread.Sleep(2500);
                driver.FindElement(By.Name("piyo")).SendKeys("hoge");
                driver.FindElement(By.ClassName("piyo")).Click();
                System.Threading.Thread.Sleep(2500);

                //店舗名検索
                driver.FindElement(By.XPath("//*hogehoge")).SendKeys("hogehoge");
                driver.FindElement(By.XPath("//*hogehoge")).SendKeys(Keys.Enter);

                //タブ変換
                driver.FindElement(By.ClassName("rpiyo")).Click();
                System.Threading.Thread.Sleep(3000);
                driver.FindElement(By.XPath("//a[@title='huga']")).Click();


                //名前
                string name = driver.FindElement(By.ClassName("piyo")).Text;

---------------------------------------------ここより下はSQL------------------------------------------------------

補足情報（FW/ツールのバージョンなど）

開発環境
windows10 home
visualstudio 2022
.NET Framework4.8

chromeのバージョンとchrome driverのバージョンは一致しています。

Comments

[退会済みユーザー]

ASP.NET とどこがどのように関係しているのでしょうか？　質問文からは全く見えません。

スクレイピングとのことですが、相手のサイトの所有者・管理者から許可を得てますか？　クローラを作ってアクセスしたら業務妨害とかで逮捕された事例もありますので甘く考えない方が良さそうです。

[KOZ6.0]

このコードを ASP.NET で実行しているのでは？
Assembly.GetEntryAssembly() は null を返しそうですよね。
Assembly.GetExecutingAssembly() だとどうなんでしょう？
そもそも selenium が ASP.NET で動作するんんでしょうか？

[dodox86]

> C#/selenium/MySQLの3つのキーワードで調べると、自分の知識不足もあるのですが参考となる
サイトが中々見当たりません。皆様が参考にされたサイトをお伺いしたいです。

こういうものは、それぞれの知識を理解した後に自分なりに組み合わせて応用するものです。

[退会済みユーザー]

SurferOnWww様
お返事遅くなって申し訳ございません。
ASP.NETで作成していましたので、タグを拝借致しました。
スクレイピングの件に関しましては訳あって自社サイトの分の情報取得なので大丈夫かと思っております。
ご心配して頂き、ありがとうございます。

KOZ6.0様
ご指摘頂いた所を直したところ、別のエラーが出ましたがそこを解消したところ無事seleniumが動きました。
ありがとうございました。
回答の方に記述させて頂こうと思います。

dodox86様
ぐうの音も出ません。
精進してまいります。

Answer 1

KOZ6.0様の仰る通り、"Assembly.GetEntryAssembly() "Assembly.GetExecutingAssembly()"に直したところ所定のフォルダ(SeleniumBasicではない別のtempフォルダ)にchrome driverがないとのエラーが出ました。
結果としては所定のフォルダにchrome driverを放り込んだところ無事エラーがなくなりました。

Comments

[退会済みユーザー]

> ASP.NETで作成していましたので

実行すると Chrome が立ち上がるのでは？

そうだとすると、開発環境で Visual Studio から実行して IIS Express で動かすならともかく、運用環境で IIS で運用する場合は動かないと思います。

ASP.NET で selenium というそもそもの考え方が間違っているのでは？

[退会済みユーザー]

なるほどですね。。。
よく考えたらtempファイルを操作している時点で気付くべきでした。。。

となるとやはりAngleSharp辺りを使用するのがベターでしょうか。

[退会済みユーザー]

少なくとも自分には ASP.NET でスクレイピングという発想がまずないです。世の中広いので、それがどうしても必要というケースはゼロではないかもしれませんが、

> 自社サイトの分の情報取得

ということであれば、常識的にはそれ用の API を作るという発想になると思います。