質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.81%

pythonでスクレイピング クエリパラメータが渡せない?

受付中

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 442

hamati197

score 12

前提・実現したいこと

  • 目的:こちらのWebサイトのhtmlを取得したい。

発生している問題・エラーメッセージ

pythonとbeautifulsoup4,requestsを使用して上記のサイトからurlを取得しようとしたが取得したhtmlが望んでいるものと異なる。
クエリパラメータの内容を受けっとた結果が返ってこず
https://character-sheets.appspot.com/shinobigami/edit.html
のhtmlを取得している。

該当のソースコード

import requests
from bs4 import BeautifulSoup

url = 'https://character-sheets.appspot.com/shinobigami/edit.html'
params = {'key' : 'ahVzfmNoYXJhY3Rlci1zaGVldHMtbXByFwsSDUNoYXJhY3RlckRhdGEYhtPUpgEM'}

response = requests.get(url, params=params)
print(response.url)
soup = BeautifulSoup(response.content, "html.parser")
print('title:',soup.title.string)
print(soup)


結果

https://character-sheets.appspot.com/shinobigami/edit.html?key=ahVzfmNoYXJhY3Rlci1zaGVldHMtbXByFwsSDUNoYXJhY3RlckRhdGEYhtPUpgEM
title: シノビガミ
<html>
<head>
<meta content="text/html; charset=utf-8" http-equiv="Content-Type"/>
<meta content="TRPG,キャラクターシート,シノビガミ" name="keywords"/>
<meta content="シノビガミのキャラクター。" name="description"/>
<title>シノビガミ</title>
<link href="../common/css/global.css" media="all" rel="stylesheet" type="text/css"/>
<link href="../common/css/dice_fiction.css" media="all" rel="stylesheet" type="text/css"/>
<link href="../common/css/jquery.miniColors.css" media="all" rel="stylesheet" type="text/css"/>
<link href="./css/shinobigami.css?20111004" media="all" rel="stylesheet" type="text/css"/>
<script src="../common/js/json_table.js?20120301" type="text/javascript"></script>
<script src="../common/js/dice_fiction.js?20110707" type="text/javascript"></script>
<script src="../common/js/jquery.js" type="text/javascript"></script>
<script src="../common/js/jquery.csmp.js?20111024" type="text/javascript"></script>
<script src="../common/js/jquery.upload-1.0.2.min.js?20111004" type="text/javascript"></script>
<script src="../common/js/jquery.miniColors.js" type="text/javascript"></script>
<script src="./js/shinobigami.js?20141021" type="text/javascript"></script>
<script type="text/javascript">

  var _gaq = _gaq || [];
  _gaq.push(['_setAccount', 'UA-33727443-1']);
  _gaq.push(['_trackPageview']);

  (function() {
    var ga = document.createElement('script'); ga.type = 'text/javascript'; ga.async = true;
    ga.src = ('https:' == document.location.protocol ? 'https://ssl' : 'http://www') + '.google-analytics.com/ga.js';
    var s = document.getElementsByTagName('script')[0]; s.parentNode.insertBefore(ga, s);
  })();

</script>
</head>
<body>
<div class="noprint">
<a href="./">戻る</a><br/>
<input id="outputText" onclick="createDodontoFText();" type="button" value="どどんとふフォーマット出力"/>
<input id="outputText" onclick="createReplayText();" type="button" value="リプレイテキスト出力"/>
<br/>
</div>
<form action="" id="chForm" method="post" name="chForm" onsubmit="return false;">
<input id="key" name="key" type="hidden"/>
<input id="jsonData" name="jsonData" type="hidden"/>
<input id="secretData" name="secretData" type="hidden"/>
<input id="outline" name="outline" type="hidden"/>
<div id="title">シノビガミ キャラクターシート</div>
<div class="error noprint" id="errors"></div>
<span class="header">基本情報</span><br/>
... 
...

補足情報(FW/ツールのバージョンなど)

  • 環境
    python    3.6.3
    beautifulsoup4    4.7.1
    requests           2.21.0
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

+1

ページは、JavaScript を用いて、Ajax でデータを取得して表示されているようです。

BeautifulSoup では、Ajax 等 JavaScript でページにデータを埋め込むようなサイトのスクレイピングはできませんので、Selenium 等の JavaScript に対応した方法で対処する必要があります。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.81%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る