pythonのseleniumでfacebookのスクレイピングができない

Question

Qiitaの記事を参考に、スクレイピングに挑戦してみたのですが、うまくいきません。Facebookにログインしてユーザー名をとってきたいです。

最後に書いてあるコードを実行すると、以下のようなエラー？が出てきます。文字化けしていて読みづらいのですが、Stop!と読めます。Facebookではスクレイピングが禁止されていてなにか警告されているとかでしょうか？

Facebookのスクレイピングの可否についての記事を読んだのですが、禁止されているのはスクレイピングなのかクローリングなのかよくわからなかったので詳しい方がいらっしゃったら教えていただきたいです。（全体的に禁止っぽい文面ですが、記事の後半に「10年以上にわたり、世界中の研究者やビジネス専門家がスクレイピング技術を利用してFacebookから収集した情報で、個人、グループ、社会を理解できる代表的なサンプルを作成し、データに隠されたまったく新しい機会を探っています。」とありよくわかりませんでした...。）

.\facebook_scraping.py:25: DeprecationWarning: use options instead of chrome_options
  driver = webdriver.Chrome(executable_path=r"C:\Webdriver\Chromedriver\chromedriver.exe", chrome_o
ptions=op)

DevTools listening on ws://127.0.0.1:61031/devtools/browser/5096f12a-7584-444c-b379-001115a79910
[0511/184103.902:INFO:CONSOLE(17)] "
.d8888b.  888                       888
d88P  Y88b 888                       888
Y88b.      888                       888
 "Y888b.   888888  .d88b.  88888b.   888
    "Y88b. 888    d88""88b 888 "88b  888    縺薙ｌ縺ｯ髢狗匱閠・髄縺代・繝悶Λ繧ｦ繧ｶ繝ｼ讖溯・縺ｧ縺吶
€・acebook讖溯・繧呈怏蜉ｹ縺ｫ縺吶ｋ縺溘ａ縺ｾ縺溘・隱ｰ縺九・繧｢繧ｫ繧ｦ繝ｳ繝医ｒ繝上ャ繧ｭ繝ｳ繧ｰ縺吶ｋ縺
溘ａ縺ｫ縲√％縺薙↓菴輔°繧偵さ繝斐・繝ｻ雋ｼ繧贋ｻ倥￠縺吶ｋ繧医≧縺ｫ險€繧上ｌ縺溷ｴ蜷医€√◎繧後・
隨ｬ荳芽€・′縺ゅ↑縺溘・Facebook繧｢繧ｫ繧ｦ繝ｳ繝医∈縺ｮ繧｢繧ｯ繧ｻ繧ｹ繧貞ｾ励ｋ縺溘ａ縺ｮ隧先ｬｺ繝ｻ荳肴ｭ｣
陦檎ぜ縺ｧ縺吶€・
      "888 888    888  888 888  888  Y8P
Y88b  d88P Y88b.  Y88..88P 888 d88P
 "Y8888P"   "Y888  "Y88P"  88888P"   888
                           888
                           888

                           888


(中略)

from unknown error: web view not found
  (Session info: headless chrome=74.0.3729.131)
  (Driver info: chromedriver=74.0.3729.6 (255758eccf3d244491b8a1317aa76e1ce10d57e9-refs/branch-head
s/3729@{#29}),platform=Windows NT 10.0.17134 x86_64)

URL      = "https://ja-jp.facebook.com/login/" # <= ここにスクレイピングしたい対象URLを書いてください
ID       = "[e-mail]"                        # <= ここにログインIDを書いてください
ID_sel   = "#email"               # <= ここにログインID欄のCSSセレクタを書いてください
PASS     = "Obiwan7face"                        # <= ここにログインパスワードを書いてください
PASS_sel = "#pass"               # <= ここにログインパスワード欄のCSSセレクタを書いてください
Selector = "_1vp5"# <= ここにスクレイピングしたい対象URLを書いてください

# 必須
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from bs4 import BeautifulSoup

# Selenium用オプション
op = Options()
op.add_argument("--disable-gpu");
op.add_argument("--disable-extensions");
op.add_argument("--proxy-server='direct://'");
op.add_argument("--proxy-bypass-list=*");
op.add_argument("--start-maximized");
op.add_argument("--headless");
driver = webdriver.Chrome(executable_path=r"C:\Webdriver\Chromedriver\chromedriver.exe", chrome_options=op)

# ログインページアクセス
driver.get(URL)
WebDriverWait(driver, 30).until(
    EC.presence_of_element_located((By.CSS_SELECTOR, PASS_sel))
)
driver.find_elements_by_css_selector(ID_sel)[0].send_keys(ID)
driver.find_elements_by_css_selector(PASS_sel)[0].send_keys(PASS)
driver.find_elements_by_css_selector(PASS_sel)[0].send_keys(Keys.ENTER)

# ターゲット出現を待機
WebDriverWait(driver, 30).until(
    EC.presence_of_element_located((By.CSS_SELECTOR, Selector))
)
soup = BeautifulSoup(driver.page_source, features="html.parser")
el = soup.select(Selector)[0]
print(el.get("alt"))

Comments

[yamato_user]

エラー内容はすべて掲載してください

Answer 1

スクレイピングが禁止されているかどうかの問題ではないと思います。
確かに、Facebookのスクレイピングが相当難しいです。
趣味なら、ご自分の技術を上達しなければなりませんね。
仕事なら、専門の方に任せるほうがいいと思います。
OctoparseはFacebookのスクレイピングテンプレートをリリースしたそうです。
自動でデータを取得できます。

Answer 2

Facebook側の問題を疑うより、まず先にすることがあるはずですよね。
あなたの技術は未熟です。エラーが起こっているのはあなたの技術に問題があります。今後もこのような問題に直面した際は、まず、自分の技術力を疑ってください。

エラー全文がわからないので推測で答えますが、、、
chrmedriverのバージョンの問題のようです。
解決法