Q&A
> と書いても、全く反応しません
"反応しない"とは、スクリプトをどのように実行されて、どうなったのでしょうか？
> サイトを見て書いてみたんですが
状況の確認のためサイトURLを追記ください。
python スクレイピングに挑戦しようと思ってまず基礎から覚えようとサイトを見て書いてみたんですが
import requests
from bs4 import BeautifulSoup
url = 'https://www.yahoo.co.jp/'
response = requests.get(url)
response.text
と書いても、全く反応しません。。。その参考サイトではYAHOOさん内のデータが表示されるはずなのですが。
もちろん requests BeautifulSoup は、インストール済みで、
別のサイトのソースを丸々コピーだとうまくいったりします。
でもできれば基礎くらいは自分で一から書いて覚えたいと思っているので質問させていただきました。
何がいけないのでしょうか？
よろしくお願いします。
こんにちはmeg_さんいつもありがとうございます。
Visual Studio Code上で質問のままです。
URLは https://www.yahoo.co.jp/
エラーは出ていなくて
PS C:\Users\■■■■> と表示されるのみです。
解決したようですが、おそらく参考にしたサイトと実行環境が異なるのでしょう。(サイトが不明なので憶測ですが)
再コメントありがとうございます！
そうなんです、単なる凡ミスのようでした＾＾；ただ今回の質問では出来たということもさることながら理解することも目的だったので皆さんのご意見にとても感謝しています！いつもありがとうございます。
回答3件
0
おはようございます。
問題文読ませていただきました。
以下の手順を踏まえて目的を明確化するところから初めてください。????♂️
- スクレイピングとは「どこかのWebページへアクセスしてそのページ上のデータを取得すること」ですので、今回ならばYahooページ内のどのデータを取得したいか考える必要があります。
- Webページはどのような構成でできているか知っておく必要があります。(参考 : https://udemy.benesse.co.jp/design/web-design/what-is-html.html)
- データをいい感じに整形してくれるように、BeautifulSoupは利用されます。以下記事を熟読してチャレンジされると良さそうです。(https://ai-inter1.com/beautifulsoup_1/, https://qiita.com/itkr/items/513318a9b5b92bd56185, )
- 私の方でサンプルを作りましたので、こちらのコードを真似て色々試してみてください。
- Yahooのどのテキストを取得したいのか決めて、BeautifulSoupを利用してスクレイピングを行う。
ご確認のほど、よろしくお願いいたします。????♂️
投稿2021/06/08 22:18
退会済みユーザー
総合スコア0
KUROROさん素早いご回答と丁寧な解説を頂きいつもありがとうございます！
初心者すぎる私にはとてもありがたいです。
まだ頂いたファイルを咀嚼できていないのでまたよく読んでからコメントをお返ししたいと思います。
よろしくお願いいたします！！
いえいえ。
また困ったこととかありましたら、気軽にご相談ください。
すごい。とってきたデータをエクセルに落とすまで書いていただいていたんですね！
私の頭ではまだこのコードを応用するところまで追いついていませんが、DLして大事に残して少しずつ応用できるようにやってみます！いつもありがとうございます！
0
もしかすると、サイト側の仕様かもしれません。
私も以前、調べてみましたが、同じように『失敗』しました。
スクレイピング自体は違法とまでは言わないまでも、サイト持ちの人からすると**『迷惑』に感じる**ようです。
Webの原理を知ると納得できますね。
詳細は【PHP超入門】HTTP（GET・POST）についてとかで調べてください。
キーワード:『リクエスト』『レスポンス』
簡単に言えば、閲覧者(厳密にはWebブラウザ)がサーバに問い合わせをし、サーバ側はその結果を渡す。というもの。
スクレイピングはそのリクエストを一秒間に何度もやるような感じです。
(もちろん、やり方とかによるけど)
そのため、サーバに負担をかけやすいので、あまり好まれません。
したがって、サイト側が対策を練っている場合があります。
実際、岡崎市立中央図書館事件のような事件も起こっているようですし。
Yahooさん側が用意しているかわかりませんが、存在するなら、公式が発表したWeb APIなるものを使っての実装のほうが安全ですよ。
投稿2021/06/08 22:35
総合スコア4962
0
ベストアンサー
私のところでは、質問のコードを実行すると35055文字の文字列を取得できています。
最後の行の、
response.text
を
print(response.text)
に変更して実行するとどうなりますか？
投稿2021/06/08 22:32
編集2021/06/08 23:02
総合スコア24670
あなたの回答
tips
プレビュー
