質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.19%

python requestsモジュールで取得したHTML文字列について

解決済

回答 2

投稿

  • 評価
  • クリップ 0
  • VIEW 2,643

nob

score 12

requests.getで取得したHTML文字列を行単位で編集したいのですが、
取得した文字列が1文字毎に改行コードが入っており、編集しづらい状態となっております。
どのようにすれば本来の行構成で扱うことができるのでしょうか?

python $ python --version
Python 2.7.5

python $ cat web.py
#!/usr/bin/env python
#coding: utf-8
import requests

s = requests.get("https://www.google.com")
for line in s.text:
    print line

以下、実行結果抜粋

o
a
d
.
t
)
{
g
o
o
g
l
e
.
t
i
m
e
r
s
.
l
o
a
d
.
t
.
  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 2

+1

既に解決されているようですが、
公式ドキュメントにこういう方法が書かれていました。
これでも出来ますでしょうか?

for line in s.iter_lines():
    if line:
        print line

参考: Advanced Usage — requests-docs-ja 1.0.4 documentation

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2015/01/20 23:49

    ryunixさん、ご回答ありがとうございます。

    確認したところ期待した動作となりました。
    下記のとおり、requests.getで取得したオブジェクト s のアトリビュートを確認したところ、iter_linesが存在してました。こちらの方がシンプルです。

    s = requests.get("https://www.google.com")
    print dir(s)

    ・実行結果
    ['__attrs__', '__bool__', '__class__', '__delattr__', '__dict__', '__doc__', '__format__', '__getattribute__', '__getstate__', '__hash__', '__init__', '__iter__', '__module__', '__new__', '__nonzero__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__setstate__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__', '_content', '_content_consumed', 'apparent_encoding', 'close', 'connection', 'content', 'cookies', 'elapsed', 'encoding', 'headers', 'history', 'is_permanent_redirect', 'is_redirect', 'iter_content', 'iter_lines', 'json', 'links', 'ok', 'raise_for_status', 'raw', 'reason', 'request', 'status_code', 'text', 'url']

    キャンセル

  • 2015/01/20 23:51

    期待した動作となり、よかったです :)

    キャンセル

check解決した方法

0

自己解決しました。
pythonの文字列は1文字毎のリストで格納されていることを意識しておりませんでした。
下記のように改行コード毎に切り出すようにすると、期待したとおりの動作となりました。

s = requests.get("https://www.google.com")
for line in s.text.split("\n"):
    print line

失礼しました。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.19%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る