質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.44%
Chrome

Google Chromeは携帯、テレビ、デスクトップなどの様々なプラットフォームで利用できるウェブブラウザです。Googleが開発したもので、Blink (レンダリングエンジン) とアプリケーションフレームワークを使用しています。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

selenium

Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。

Q&A

解決済

2回答

2211閲覧

pythonでのスクレイピングの準備段階で急にエラーが出るようになりました

nin_niku

総合スコア1

Chrome

Google Chromeは携帯、テレビ、デスクトップなどの様々なプラットフォームで利用できるウェブブラウザです。Googleが開発したもので、Blink (レンダリングエンジン) とアプリケーションフレームワークを使用しています。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

selenium

Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。

0グッド

0クリップ

投稿2023/01/19 02:17

前提

スクレイピングをするため、chromeで操作をしたていたのですがその準備段階で同じコードで今までで起きなかったエラーが起きるようになりました。

実現したいこと

スクレイピングをするキーワードをサイト内の検索ボックス打ち込みたいです。

発生している問題・エラーメッセージ

エラーメッセージ

WebDriverException Traceback (most recent call last)
<ipython-input-6-f4fabb882eed> in <module>
24
25
---> 26 driver = webdriver.Chrome('chromedriver',options=options)
27
28 driver.implicitly_wait(10)

3 frames
/usr/local/lib/python3.8/dist-packages/selenium/webdriver/common/service.py in assert_process_still_running(self)
117 return_code = self.process.poll()
118 if return_code:
--> 119 raise WebDriverException(f"Service {self.path} unexpectedly exited. Status code was: {return_code}")
120
121 def is_connectable(self) -> bool:

WebDriverException: Message: Service chromedriver unexpectedly exited. Status code was: -6

該当のソースコード

python
ソースコード
!apt-get update
!apt install chromium-chromedriver
!cp /usr/lib/chromium-browser/chromedriver /usr/bin
!pip install selenium

from selenium import webdriver
from selenium.webdriver.common.by import By
from bs4 import BeautifulSoup
import time
import re
import requests
import chromedriver_binary

options = webdriver.ChromeOptions()

options.add_argument('--headless')

options.add_argument('--no-sandbox')

options.add_argument('--disable-dev-shm-usage')

driver = webdriver.Chrome('chromedriver',options=options)

driver.implicitly_wait(10)

試したこと

googleやTwitterなどで検索しましたが、出てこず、手も足も出ない状況です。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

もし環境がColabであれば、ubuntuバージョンが更新された影響だと思われます。
詳細は以下の回答を参照ください。
Python:Colabにてスクレイピングを行う際にエラーが発生

投稿2023/01/19 02:24

can110

総合スコア38298

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

nin_niku

2023/01/19 02:38

ご回答ありがとうございます! 環境はColabです!初心者で申し訳ございません。このやり方だと修正を待つしかないのでしょうか? また恐れ入りますが、Colabだと検索欄等にキーワード入れてボタンをクリックする動きはこの他の方法がございましたらご教示いただきたいです。。
can110

2023/01/19 02:44

参照先の回答に記載したとおり「fallback runtime version」上だと動作するかもしれません。 具体的な手順についてはリンク先など確認ください。 また、「検索欄等にキーワード入れて~」など具体的な操作についてはよく知らないので分かりません。
quickquip

2023/01/19 03:43 編集

githubのissueの方にdebianのレポジトリから同等のパッケージを持ってくるやり方も紹介されてます。 ここからは余談です。 「やりたいこと」に対してどれがよりよい方法か? は第三者には判断できません。また、現在進行形で「どうしていくのがいいか?」が議論されている事柄です。それに対して「自分で調べていろいろ試す」か「誰かが対応してくれるまで待つ」かは、自分で決めることではないでしょうか?
nin_niku

2023/01/19 09:33

ご回答ありがとうございます! 知識不足で大変申し訳ございません、ご親切に教えてくださりありがとうございます!
guest

0

ベストアンサー

このコードを追記すれば対策できます。
https://github.com/kaliiiiiiiiii/Selenium-Profiles/issues/10#issuecomment-1387618009

同じように困っている人のため解説すると、colabのUbuntuのバージョンが18から20に上がりました。
この関係で、chromium-browserがnon snap版からsnap版に置き換わってます。
colabではsnapは動作しておらず、chromium-browser起動してもエラーが発生します。

URL先の対処では、debianのレポジトリを追加して、そこから、non snap版のchromiumをインストールしてます。

投稿2023/01/19 04:41

naka1234

総合スコア14

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

nin_niku

2023/01/19 09:29

ありがとうございます!このやり方で無事回すことができました!
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.44%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問