質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
87.20%
Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

解決済

スクレイピングでなぜbueatifulsoupをするのか

watasihadarena
watasihadarena

総合スコア2

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

1回答

0評価

0クリップ

336閲覧

投稿2022/01/17 08:35

前提・実現したいこと

スクレイピングについて質問です。requestsモジュールでurlを送って、帰ってきたresponseに対してなぜbeautifulsoupをするのか疑問なので質問します。ブラウザなどでurlを送るとそのままそのurlのページが帰ってくるので僕はてっきりrequests.getをした時点で返り値にはそのurlのhtmlがかえってきていると思いましたがprintで中身を見た感じ違いました。これを見たときに僕の考え的にはrequestsで返ってくるのは機械語に近いデータであり、それをbeautifulsoupの変換によってhtmlに直されているみたいなイメージかなと思いました。

発生している問題・エラーメッセージ

soup=BeautifulSoup(res.text)

content="BeautifulSoup\xe3\x82\xaa\xe3\x83\x96\xe3\x82\xb8\xe3\x82\xa7\xe3\x82\xaf\xe3\x83\x88\xe3\x81\xab\xe3\x81\xa4\xe3\x81\x84\xe3\x81\xa6\xe3\x81\xae\xe5\x82\x99\xe5\xbf\x98\xe9\x8c\xb2 - Qiita"><meta property="og:image" content="https://qiita-user-contents.imgix.net/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9QmVhdXRpZnVsU291cCVFMyU4MiVBQSVFMyU4MyU5NiVFMyU4MiVCOCVFMyU4MiVBNyVFMyU4MiVBRiVFMyU4MyU4OCVFMyU4MSVBQiVFMyU4MSVBNCVFMyU4MSU4NCVFMyU4MSVBNiVFMyU4MSVBRSVFNSU4MiU5OSVFNSVCRiU5OCVFOSU4QyVCMiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9OGE4YmNlMDEzM2I5ZmZiMTVhZjY4ZDNkOGY1ZGMzNWU%26mark-x%3D142%26mark-y%3D112%26s%3D2b0d4e50e33777ce8e37dd1ded9010db?ixlib=rb-4.0.0&amp;w=1200&amp;mark64=aHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwU2VucGxlJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1mZWI3MmE3ZTYwYmYwMjhhYWY5MDZiNjNhNzBmOGE0Zg&amp;mark-x=142&amp;mark-y=491&amp;s=a8f936f989dda71a164484ca271c063c"><meta property="og:description" content="\n\nIntroduction\n\n\n\xe3\x81\x8d\xe3\x81\xa3\xe3\x81\x8b\xe3\x81\x91\n\n\xe6\x9c\x80\xe8\xbf\x91\xe3\x82\xaf\xe3\x83\xad\xe3\x83\xbc\xe3\x83\xa9\xe3\x83\xbc\xe3\x81\xae\xe9\x96\x8b\xe7\x99\xba\xe3\x82\x92\xe5\xa7\x8b\xe3\x82\x81\xe3\x81\x9f\xe3\x81\xae\xe3\x81\xa7\xe3\x81\x99\xe3\x81\x8c\xe3\x80\x81\xe3\x81\x84\xe3\x81\x8b\xe3\x82\x93\xe3\x81\x9b\xe3\x82\x93web\xe3\x82\xb9\xe3\x82\xaf\xe3\x83\xac\xe3\x83\x94\xe3\x83\xb3\xe3\x82\xb0\xe3\x81\xab\xe9\x96\xa2\xe3\x81\x97\xe3\x81\xa6\xe4\xb8\x8d\xe5\x8b\x89\xe5\xbc\xb7\xe3\x81\x99\xe3\x81\x8e\xe3\x81\x9f\xe3\x81\x9f\xe3\x82\x81\xe3\x80\x81BeautifulSoup4\xe3\x81\xae\xe5\x85\xac\xe5\xbc\x8f\xe3\x83\x89\xe3\x82\xad\xe3\x83\xa5\xe3\x83\xa1\xe3\x83\xb3\xe3\x83\x88(\xe6\x97\xa5\xe6\x9c\xac\xe8\xaa\x9e\xe8\xa8\xb3)\xe3\x81\xa8\xe3\x81\xab\xe3\x82\x89\xe3\x82\x81\xe3\x81\xa3\xe3\x81\x93\xe3\x81\x97\xe3\x81\xa6\xe3\x81\x84\xe3\x81\xbe\xe3\x81\x97\xe3\x81\x9f\xe3\x80\x82Beauti..."><meta content="https://qiita.com/Senple/items/c8faf02a944945529f6b" property="og:url" /><meta content="Qiita" property="og:site_name" /><meta content="564524038" property="fb:admins" /><meta content="Python,BeautifulSoup,Web\xe3\x82\xb9\xe3\x82\xaf\xe3\x83\xac\xe3\x82\xa4\xe3\x83\x94\xe3\x83\xb3\xe3\x82\xb0" name="keywords" /><script>!function(f,b,e,v,n,t,s)\n{if(f.fbq)return;n=f.fbq=function(){n.callMethod?\nn.callMethod.apply(n,arguments):n.queue.push(arguments)};\nif(!f._fbq)f._fbq=n;n.push=n;n.loaded=!0;n.version='2.0';\nn.queue=[];t=b.createElement(e);t.async=!0;\nt.src=v;s=b.getElementsByTagName(e)[0];\ns.parentNode.insertBefore(t,s)}(window, document,'script',\n'https://connect.facebook.net/en_US/fbevents.js\');\nfbq(\'init\', '668972150489891');\nfbq('track', 'PageView');</script><style data-emotion-css="92283 17wxzgn rx1aj5 1x8nfy4 1duml6f nje458 8g69pl tubf1g 1ocidnb 12rp90f 115f4t 1ibi9we 79elbk 18xj258 fcbn8c 1gj7nt 154zy0m yikrym 1jqivyb 1ode1bp le4d8r tljl0 1hbd3g7 1t6umzq 8qb8m4 2imjyh 17zza1i 70qvj9
6su6fj 100alwu 1r4slzx 1oacuu5 17ay39c 1ay9vb9 cgzq40 1wa99t2 1l3zk9f 1ynjcyf 1yzj1fm ptiyhm 12hne5r 5jpx49 10h2231 1lqic92 1b17vb0 7i7f4d"}>.css-92283{-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;-webkit-appearance:none;-moz-appearance:none;appearance:none;display:-webkit-box;display:-webkit-flex;display:-ms-flexbox;display:flex;-webkit-flex-direction:row;-ms-flex-direction:row;flex-direction:row;-webkit-box-pack:center;-webkit-justify-content:center;-ms-flex-pack:center;justify-content:center;}.css-17wxzgn{display:grid;display:-ms-grid;grid-template-columns:80px minmax(0,1fr) 300px;-ms-grid-columns:80px minmax(0,1fr) 300px;grid-template-rows:minmax(270px,auto) 1fr;-ms-grid-rows:minmax(270px,auto) 1fr;max-width:1280px;margin-right:auto;margin-left:auto;padding-top:24px;padding-right:24px;padding-left:24px;}@media (max-width:1199px){.css-17wxzgn{padding-bottom:0;padding-left:0;padding-right:0;}}@media (max-width:991px){.css-17wxzgn{grid-template-columns:80px 452px 300px;-ms-grid-columns:80px 452px 300px;-webkit-box-pack:center;-webkit-justify-content:center;-ms-flex-pack:center;justify-content:center;}}@media (max-width:769px){.css-17wxzgn{display:block;}}@media (max-width:479px){.css-17wxzgn{padding-top:0;}}.css-rx1aj5{-webkit-align-items:center;-webkit-box-align:center;-ms-flex-align:center;align-items:center;z-index:5;position:-webkit-sticky;position:sticky;top:calc(56px + 24px + 16px + 32px - 16px);display:-webkit-box;display:-webkit-flex;display:-ms-flexbox;display:flex;-webkit-flex-direction:column;-ms-flex-direction:column;flex-direction:column;padding:16px;width:80px;}.css-

<!DOCTYPE html> <html lang="ja"><head><meta charset="utf-8"/><title>BeautifulSoupオブジ ェクトについての備忘録 - Qiita</title><meta content="width=device-width,initial-scale=1,shrink-to-fit=no,viewport-fit=cover" name="viewport"/><meta content="#55c500" name="theme-color"/><meta content="XWpkTG32-_C4joZoJ_UsmDUi-zaH-hcrjF6ZC_FoFbk" name="google-site-verification"/><meta content="telephone=no" name="format-detection"/><link href="https://qiita.com/Senple/items/c8faf02a944945529f6b" rel="canonical"/><link href="/manifest.json" rel="manifest"/><link href="/opensearch.xml" rel="search" title="Qiita" type="application/opensearchdescription+xml"/><link as="script" href="https://www.googletagservices.com/tag/js/gpt.js" rel="preload"/><link href="https://securepubads.g.doubleclick.net" rel="preconnect"/><script async="" src="https://www.googletagservices.com/tag/js/gpt.js"></script><meta content="authenticity_token" name="csrf-param"/>
ソースコード res=requests.get("https://qiita.com/Senple/items/c8faf02a944945529f6b") soup=BeautifulSoup(res.text) print("=======================================") print(res.content) print("======================================") print(soup) ### 試したこと ここに問題に対して試したことを記載してください。 ここにより詳細な情報を記載してください。

良い質問の評価を上げる

以下のような質問は評価を上げましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

  • プログラミングに関係のない質問
  • やってほしいことだけを記載した丸投げの質問
  • 問題・課題が含まれていない質問
  • 意図的に内容が抹消された質問
  • 過去に投稿した質問と同じ内容の質問
  • 広告と受け取られるような投稿

評価を下げると、トップページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

まだ回答がついていません

会員登録して回答してみよう

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
87.20%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。