Q&A
やってみましたが、私の環境では問題なく表示できました。提示されているコードの問題ではないような気がします。スクレイピング以外で定義した文字列データはちゃんと表示されるのでしょうか。
###前提・実現したいこと
ターミナルからPythonコマンドを実行することでスクレイピングを行おうとしています。
###発生している問題・エラーメッセージ
以下がスクレイピング実行例です。下記のWebページから商品タイトルを取得しようとしていますが、文字化けが発生している状態です。ターミナルの文字コードはUnicodeにしています。
対象Webページ
>>> import requests >>> import lxml.html >>> r = requests.get("http://www.shoeisha.co.jp/book/detail/9784798146072") >>> html = r.text >>> root = lxml.html.fromstring(html) >>> titleH1 = root.xpath("/html/body/div[1]/section/h1") >>> print(titleH1[0].text) iPhone??Android???ץ???ݶ?ץ?????ߥ????????????? ??2?? //「iPhone＆Androidアプリ内課金プログラミング完全ガイド 第2版」と表示されて欲しい
###補足情報(言語/FW/ツール等のバージョンなど)
Python 3.6.0
Mac OS high Sierra
ターミナル バージョン2.8
コメントいただきましてありがとうございます。スクレイピング以外で定義した文字列データについて具体的にはどのようなものを確認すべきでしょうか。
a="あああ"とかそういう文字列をprint(a)したときは異常はないですか。次にprint(html)はどうですか。「文字化け」をだれが起こしているのか問題を切り分ける必要があるでしょう。
ご説明いただきましてありがとうございます。>>> a = "あああ" >>> print(a)は問題なく表示されました。
print(html)はどうですか。
>>> print(html) Traceback (most recent call last): File "<stdin>", line 1, in <module> NameError: name 'html' is not defined >>> html='https://teratail.com/questions/107144' >>> print(html) https://teratail.com/questions/107144ということでしょうか。
html = r.textを忘れてませんか？
お返事いただきましてありがとうございます。返信が遅れて申し訳ございません。html = r.textはどこに明記するのでしょうか。お手数おかけしますが、文字化けの原因を明らかにするために打ち込むべきものの全体を指示いただけると助かります。回答欄を使っていただいて構いません。
どこにというのは、変数rにhttp以下を代入し、html = r.textとしてprint(html）と入力するとSyntaxError: invalid syntaxが表示されたので順番を教えていただきたいです。
質問文にあるとおりに実行していたなら、 not defined は考えられないので、実はhtmlへの代入を忘れているのではないかと推測したわけです。本来ならprint(html)で、参照先のhtmlの内容が丸ごと表示されるはずです。
かしこまりました。再度質問させていただいたコードを実行したところ、文字化けは起こりませんでした。
コメント欄で何度も相談に乗ってくださってありがとうございました。ベストアンサーをつけさせていただきたいので、可能であれば回答欄に何かしらご回答いただけますと幸いです。
回答1件
0
ベストアンサー
こういう場合の解決方法はいろいろ考えられるでしょうが、素朴でどのような環境でも使える「中間処理の内容を行ごとにprintで出力してみて、問題が発生している個所を突き止める」手法が有効な事例だったように思います。
投稿2018/01/07 08:34
総合スコア13671
ありがとうございました。
あなたの回答
tips
プレビュー
