pythonでスクレイピングの実装してみたいんですけども

Question

python初心者です。
webスクレイピングってやつをやってみたくてpython触りたいと思います。

そこで、スクレイピングを簡単に実装できるフレームワークなどがあれば教えていただけますでしょうか。
（またはpythonフレームワークでスクレイピングを実装している参考書）

無ければ素のpythonで書きます！(参考書とか見ながら）

以上、よろしくお願いいたします。

Answer 1

素のPythonで書くよりはrequestsを使ったほうが幾分楽です。スクレイピングには、使用上の注意がないので自分の頭でよく考え、用法・用量を守って正しくお使い下さい。

Answer 2

以下の記事を参考にしてください。

PythonでWebスクレイピングする時の知見をまとめておく

requests
BeautifulSoup
Mechanize
PyQuery
Robobrowser
Selenium.webdriverとPhantomJS
Selenium
PhantomJS
SeleniumとPhontomJSを利用した実装
urllib.parse
chardet, cchardetによるエンコーディング検出
timeout_decoratorによるタイムアウト
retryingデコレータによるリトライ
joblib, multiprocess, asyncio, threadingで並列処理
multiprocessing
joblib
aiohttp, grequests, requests-futures
aiohttp
grequests
requests-futures
scrapy
SimpleHTTPServerとThreadを使ったunittest

いろいろありますが、とりあえず Requests と BeautifulSoup が使えればスクレイピングできるので、まずはそこからやっていくと良いと思います。

Answer 3

安直にpython web scraper frameworkでぐぐってみました。

こんなサイトのこんな記述を見つけました。どの程度正しいのかはよくわかりませんが、大きく外してはないだろうと考えておきます。

• Scrapy
• Urllib
• Python Requests
• Selenium
• Beautifulsoup
• LXML

Python Frameworks and Libraries for Web Scraping | ScrapeHero

フレームワークと言えるのはScrapyだけで、あとはライブラリですかね。

urllibは標準モジュール。requestsはHTTPリクエストを楽に送れます。seleniumは中でブラウザを走らせて動的webを解釈して動くもの。beautifulsoupとlxmlはhtmlから情報を取り出すのに向いています。

Answer 4

pythonでする前にWindowsをお使いでしたら一度Uipathを使ってみることをおすすめします。
まずpythonではじめてもやりたいことの半分もできないと思います。

Uipathでは選択するだけでセレクタを作ってくれますので一度uipathで作成して
データを抽出するためのセレクタの選び方を勉強してから
pythonに移植してみるようにすると上達が早くなると思います。

UiPathの使い方～Webサイトから最新株価を取得
https://ai-note.biz/2018/08/31/get-stock-price/

【できるUiPath】データスクレイピングでWebページの表データを読み取ろう
https://dekiru.net/article/17705/