前提・実現したいこと

スクレイピングについて質問です。requestsモジュールでurlを送って、帰ってきたresponseに対してなぜbeautifulsoupをするのか疑問なので質問します。ブラウザなどでurlを送るとそのままそのurlのページが帰ってくるので僕はてっきりrequests.getをした時点で返り値にはそのurlのhtmlがかえってきていると思いましたがprintで中身を見た感じ違いました。これを見たときに僕の考え的にはrequestsで返ってくるのは機械語に近いデータであり、それをbeautifulsoupの変換によってhtmlに直されているみたいなイメージかなと思いました。

発生している問題・エラーメッセージ

soup=BeautifulSoup(res.text)

content="BeautifulSoup\xe3\x82\xaa\xe3\x83\x96\xe3\x82\xb8\xe3\x82\xa7\xe3\x82\xaf\xe3\x83\x88\xe3\x81\xab\xe3\x81\xa4\xe3\x81\x84\xe3\x81\xa6\xe3\x81\xae\xe5\x82\x99\xe5\xbf\x98\xe9\x8c\xb2 - Qiita"><meta property="og:image" content="https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9QmVhdXRpZnVsU291cCVFMyU4MiVBQSVFMyU4MyU5NiVFMyU4MiVCOCVFMyU4MiVBNyVFMyU4MiVBRiVFMyU4MyU4OCVFMyU4MSVBQiVFMyU4MSVBNCVFMyU4MSU4NCVFMyU4MSVBNiVFMyU4MSVBRSVFNSU4MiU5OSVFNSVCRiU5OCVFOSU4QyVCMiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9OGE4YmNlMDEzM2I5ZmZiMTVhZjY4ZDNkOGY1ZGMzNWU%26mark-x%3D142%26mark-y%3D112%26s%3D2b0d4e50e33777ce8e37dd1ded9010db?ixlib=rb-4.0.0&w=1200&mark64=aHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwU2VucGxlJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1mZWI3MmE3ZTYwYmYwMjhhYWY5MDZiNjNhNzBmOGE0Zg&mark-x=142&mark-y=491&s=a8f936f989dda71a164484ca271c063c"><meta property="og:description" content="\n\nIntroduction\n\n\n\xe3\x81\x8d\xe3\x81\xa3\xe3\x81\x8b\xe3\x81\x91\n\n\xe6\x9c\x80\xe8\xbf\x91\xe3\x82\xaf\xe3\x83\xad\xe3\x83\xbc\xe3\x83\xa9\xe3\x83\xbc\xe3\x81\xae\xe9\x96\x8b\xe7\x99\xba\xe3\x82\x92\xe5\xa7\x8b\xe3\x82\x81\xe3\x81\x9f\xe3\x81\xae\xe3\x81\xa7\xe3\x81\x99\xe3\x81\x8c\xe3\x80\x81\xe3\x81\x84\xe3\x81\x8b\xe3\x82\x93\xe3\x81\x9b\xe3\x82\x93web\xe3\x82\xb9\xe3\x82\xaf\xe3\x83\xac\xe3\x83\x94\xe3\x83\xb3\xe3\x82\xb0\xe3\x81\xab\xe9\x96\xa2\xe3\x81\x97\xe3\x81\xa6\xe4\xb8\x8d\xe5\x8b\x89\xe5\xbc\xb7\xe3\x81\x99\xe3\x81\x8e\xe3\x81\x9f\xe3\x81\x9f\xe3\x82\x81\xe3\x80\x81BeautifulSoup4\xe3\x81\xae\xe5\x85\xac\xe5\xbc\x8f\xe3\x83\x89\xe3\x82\xad\xe3\x83\xa5\xe3\x83\xa1\xe3\x83\xb3\xe3\x83\x88(\xe6\x97\xa5\xe6\x9c\xac\xe8\xaa\x9e\xe8\xa8\xb3)\xe3\x81\xa8\xe3\x81\xab\xe3\x82\x89\xe3\x82\x81\xe3\x81\xa3\xe3\x81\x93\xe3\x81\x97\xe3\x81\xa6\xe3\x81\x84\xe3\x81\xbe\xe3\x81\x97\xe3\x81\x9f\xe3\x80\x82Beauti..."><meta content="https://qiita.com/Senple/items/c8faf02a944945529f6b" property="og:url" /><meta content="Qiita" property="og:site_name" /><meta content="564524038" property="fb:admins" /><meta content="Python,BeautifulSoup,Web\xe3\x82\xb9\xe3\x82\xaf\xe3\x83\xac\xe3\x82\xa4\xe3\x83\x94\xe3\x83\xb3\xe3\x82\xb0" name="keywords" /><script>!function(f,b,e,v,n,t,s)\n{if(f.fbq)return;n=f.fbq=function(){n.callMethod?\nn.callMethod.apply(n,arguments):n.queue.push(arguments)};\nif(!f._fbq)f._fbq=n;n.push=n;n.loaded=!0;n.version='2.0';\nn.queue=[];t=b.createElement(e);t.async=!0;\nt.src=v;s=b.getElementsByTagName(e)[0];\ns.parentNode.insertBefore(t,s)}(window, document,'script',\n'https://connect.facebook.net/en_US/fbevents.js\');\nfbq(\'init\', '668972150489891');\nfbq('track', 'PageView');</script><style data-emotion-css="92283 17wxzgn rx1aj5 1x8nfy4 1duml6f nje458 8g69pl tubf1g 1ocidnb 12rp90f 115f4t 1ibi9we 79elbk 18xj258 fcbn8c 1gj7nt 154zy0m yikrym 1jqivyb 1ode1bp le4d8r tljl0 1hbd3g7 1t6umzq 8qb8m4 2imjyh 17zza1i 70qvj9
6su6fj 100alwu 1r4slzx 1oacuu5 17ay39c 1ay9vb9 cgzq40 1wa99t2 1l3zk9f 1ynjcyf 1yzj1fm ptiyhm 12hne5r 5jpx49 10h2231 1lqic92 1b17vb0 7i7f4d"}>.css-92283{-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;-webkit-appearance:none;-moz-appearance:none;appearance:none;display:-webkit-box;display:-webkit-flex;display:-ms-flexbox;display:flex;-webkit-flex-direction:row;-ms-flex-direction:row;flex-direction:row;-webkit-box-pack:center;-webkit-justify-content:center;-ms-flex-pack:center;justify-content:center;}.css-17wxzgn{display:grid;display:-ms-grid;grid-template-columns:80px minmax(0,1fr) 300px;-ms-grid-columns:80px minmax(0,1fr) 300px;grid-template-rows:minmax(270px,auto) 1fr;-ms-grid-rows:minmax(270px,auto) 1fr;max-width:1280px;margin-right:auto;margin-left:auto;padding-top:24px;padding-right:24px;padding-left:24px;}@media (max-width:1199px){.css-17wxzgn{padding-bottom:0;padding-left:0;padding-right:0;}}@media (max-width:991px){.css-17wxzgn{grid-template-columns:80px 452px 300px;-ms-grid-columns:80px 452px 300px;-webkit-box-pack:center;-webkit-justify-content:center;-ms-flex-pack:center;justify-content:center;}}@media (max-width:769px){.css-17wxzgn{display:block;}}@media (max-width:479px){.css-17wxzgn{padding-top:0;}}.css-rx1aj5{-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;z-index:5;position:-webkit-sticky;position:sticky;top:calc(56px + 24px + 16px + 32px - 16px);display:-webkit-box;display:-webkit-flex;display:-ms-flexbox;display:flex;-webkit-flex-direction:column;-ms-flex-direction:column;flex-direction:column;padding:16px;width:80px;}.css-

<!DOCTYPE html> <html lang="ja"><head><meta charset="utf-8"/><title>BeautifulSoupオブジェクトについての備忘録 - Qiita</title><meta content="width=device-width,initial-scale=1,shrink-to-fit=no,viewport-fit=cover" name="viewport"/><meta content="#55c500" name="theme-color"/><meta content="XWpkTG32-_C4joZoJ_UsmDUi-zaH-hcrjF6ZC_FoFbk" name="google-site-verification"/><meta content="telephone=no" name="format-detection"/><link href="https://qiita.com/Senple/items/c8faf02a944945529f6b" rel="canonical"/><link href="/manifest.json" rel="manifest"/><link href="/opensearch.xml" rel="search" title="Qiita" type="application/opensearchdescription+xml"/><link as="script" href="https://www.googletagservices.com/tag/js/gpt.js" rel="preload"/><link href="https://securepubads.g.doubleclick.net" rel="preconnect"/><script async="" src="https://www.googletagservices.com/tag/js/gpt.js"></script><meta content="authenticity_token" name="csrf-param"/>

ソースコード
res=requests.get("https://qiita.com/Senple/items/c8faf02a944945529f6b")
soup=BeautifulSoup(res.text)
print("=======================================")
print(res.content)
print("======================================")
print(soup)

### 試したこと

ここに問題に対して試したことを記載してください。


ここにより詳細な情報を記載してください。

行動規範の内容に同意します

回答1件

ベストアンサー

requestsで返ってくるのは機械語に近いデータであり、それをbeautifulsoupの変換によってhtmlに直されているみたいなイメージかなと思いました。

違います。
requests.getの戻り値のcontents属性がhtmlです。ただし、utf8でdecodeしないと、日本語フォントで表示できないだけです。以下を見てください。

python
1>>> aiueo_encoded = 'あいうえお'.encode()
2>>> print(aiueo_encoded)
3b'\xe3\x81\x82\xe3\x81\x84\xe3\x81\x86\xe3\x81\x88\xe3\x81\x8a'
4>>> print(aiueo_encoded.decode())
5あいうえお

encodeとdecodeについては、公式ドキュメント Unicode HOWTOをお読みください。

requests.getの戻り値のtext属性はdecodeしたhtmlになるのですが、scriptが含まれている場合などにdecodeに失敗する場合があるようです。
そのため、日本語のhtmlをdecodeする場合は、text属性を使うよりも、contents属性をBeautifulSoupに渡してBeautifulSoupでdecodeさせたほうが良いとされています。

投稿2022/01/17 08:49

編集2022/01/17 08:55

ppaul

総合スコア24666

watasihadarena

2022/01/17 09:04

ご回答ありがとうございます。今画像の取得をしているのですが画像の場合はbuatifulsoupを使わず、保存できたので、htmlではないデータがやり取りされているかと思いました。画像の場合はurl先がhtmlじゃないのでそのまま保存できたわけですね。それではrequests.getをして帰ってきたのがhtmlでbuatifulsoupでよく見るhtmlが帰ってきたということはbuatifulsoupではスクレイピングをするためにエンコードなり、いわゆるよく見るhtmlの形に変換するためという認識でしょうか？