質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
86.02%
Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

API

APIはApplication Programming Interfaceの略です。APIはプログラムにリクエストされるサービスがどのように動作するかを、デベロッパーが定めたものです。

Q&A

解決済

pythonのスクレイピングにて

kipipipi
kipipipi

総合スコア59

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

API

APIはApplication Programming Interfaceの略です。APIはプログラムにリクエストされるサービスがどのように動作するかを、デベロッパーが定めたものです。

1回答

1グッド

1クリップ

1597閲覧

投稿2019/01/10 03:27

編集2019/01/10 22:16

こんにちは。プログラミングを勉強し始めたばかりです。
このサイトの使い方もまだ分かっていません…。

環境:MAC(High Sierra), Anaconda, Jupyter note, python3

早速質問です。
Googlenewsから目的のカテゴリーのnewsを引き抜いてきてlineに通知するものを作ってみたくてネットで拾ったものなどを組み合わせたりしています。(まだまだ初期段階ですので足りないものは沢山あるかと思います。)
問題を解決しながら学習していましたが、早々に引っかかってしまいました。

●Googlenewsのスクレイピング&line通知

●URLの短縮
はそれぞれ動くのですが、併せるとエラーが発生します。それぞれ動くのに併せると動かないということで混乱しています。

エラーは以下の通りです


TypeError Traceback (most recent call last)
<ipython-input-38-670057aa6152> in <module>()
33 address = "(https://news.google.com"+add+"?hl=en-US&amp;gl=US&amp;ceid=US%3Aen)"
34
---> 35 urler = get_shortenURL(address)
36 print(address)
37 lineNotify("\n●"+title+"\n"+urler)

<ipython-input-34-b26a9183e445> in get_shortenURL(longUrl)
25 'longurl':longUrl
26 }
---> 27 r = requests.get(url,params=query).json()['data']['url']
28 return r
29

TypeError: list indices must be integers or slices, not str


import requests from bs4 import BeautifulSoup import time from datetime import datetime def lineNotify(message): line_notify_token = "###LINEのトークン入力" line_notify_api = 'https://notify-api.line.me/api/notify' payload = {'message': message} headers = {'Authorization': 'Bearer ' + line_notify_token} requests.post(line_notify_api, data=payload, headers=headers) def get_shortenURL(longUrl): url = 'https://api-ssl.bitly.com/v3/shorten' access_token = '###BITLYのトークン入力' query = { 'access_token': access_token, 'longurl':longUrl } r = requests.get(url,params=query).json()['data']['url'] return r res = requests.get("https://news.google.com/topics/CAAqBwgKMMKU8AowsNG3Ag?hl=en-US&gl=US&ceid=US%3Aen")   ###例で今回はFASHIOのカテゴリーからスクレイピングしようとしています。 res.raise_for_status() soup = BeautifulSoup(res.text, "html.parser") elems = soup.select("h3 a") ###目的のHTMLコード指しています。 for elem in elems: title= '{}'.format(elem.getText()) add= elem.get('href') address = "(https://news.google.com"+ add +"?hl=en-US&amp;gl=US&amp;ceid=US%3Aen)" ###アメリカのGooglenewsから引き抜いて来たURLの足りない部分を付け足しています。 urler = get_shortenURL(address)    ###変数名に深い意味はありません lineNotify("\n●"+title+"\n"+urler)   ### LINEに通知させる本文です。 time.sleep(60)   ###今の段階では60秒ごとに1記事ずつ通知させるように仮に設定しているだけです。

初歩的なミスだとは思うのですが、どうぞよろしくお願いいたします。

Potat3rd👍を押しています

以下のような質問にはグッドを送りましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

グッドが多くついた質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

下記のような質問は推奨されていません。

  • 間違っている
  • 質問になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

適切な質問に修正を依頼しましょう。

2019/01/10 03:27依頼された後にこの質問は修正されています

こちらの質問が他のユーザーから「過去の低評価」という指摘を受けました。

CHERRY

2019/01/10 03:45

質問は編集できますので、編集して「本文」を追加してください。
kipipipi

2019/01/10 04:02

使い方をまだよく分かっていないので見辛いかと思います。また夜に見やすく編集致します。よろしくお願いします。
CHERRY

2019/01/10 04:22

また、エラーメッセージは極力省略せずにそのまま記載してください。 (ディレクトリ名やファイル名等に組織名や個人名等が含まれる場合は、その部分を name や user 等の文字で置き換えてください。)

回答1

2

ベストアンサー

Python

1# 略 2r = requests.get(url,params=query).json() 3 print(r) # ***** 4 r = r['data']['url'] 5 return r

のように修正しAPIの戻り値を確認してみましょう。
{'data': [], 'status_code': 500, 'status_txt': 'INVALID_ARG_ACCESS_TOKEN'}
などのように失敗していれば提示エラーが発生します。

また、get_shortenURL関数に提示ソースのように前後にカッコをつけて(http://www.example.com)を渡すと{'status_code': 500, 'status_txt': 'INVALID_URI', 'data': []}となります。

投稿2019/01/10 23:57

編集2019/01/11 05:32
can110

総合スコア36239

kipipipi, Potat3rd👍を押しています

良いと思った回答にはグッドを送りましょう。
グッドが多くついた回答ほどページの上位に表示されるので、他の人が素晴らしい回答を見つけやすくなります。

下記のような回答は推奨されていません。

  • 間違っている回答
  • 質問の回答になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

このような回答には修正を依頼しましょう。

回答へのコメント

kipipipi

2019/01/11 00:50

アドバイスありがとうございます!早速やってみたところ {'status_code': 500, 'status_txt': 'INVALID_URI', 'data': []} と表示されました! 渡しているURLに何か問題があるのでしょうか? 検索すると他の方もbitlyで同じ現象が起きているみたいなので、ここを探ってみたいと思います! 引き続きよろしくお願いします!
can110

2019/01/11 00:54

失敗時、具体的にURLはどのような文字列を渡していますか? また、たとえば「http://www.example.com」を渡した場合の結果はどうなりますか?
kipipipi

2019/01/11 04:09 編集

例えば Googlenewsのfashionのページ↓から引っ張り出したいとして動かすと。 https://news.google.com/search?q=fashion&hl=en-US&gl=US&ceid=US%3Aen 結果は https://news.google.com./articles/CAIiEIy2n7nO3PYsncqcMgEw-lsqGQgEKhAIACoHCAowwcj9CjCQqPUCMO2Z1gU?hl=en-US&amp;gl=US&amp;ceid=US%3Aen となりました。(2019.1.11 12時過ぎ) このようなURLを渡しているようです。 しかしこの後のURL短縮作業は先と同じエラーで進みませんでした。 http://www.example.comを渡すと下記が表示されました。 {'status_code': 200, 'status_txt': 'OK', 'data': {'url': 'http://bit.ly/2M2hNUO', 'hash': '2M2hNUO', 'global_hash': '3hDSUb', 'long_url': 'http://www.example.com/', 'new_hash': 0}}
can110

2019/01/11 05:21

実際にコード上でget_shortenURLに渡している変数addressの値(文字列)をprintしてみて提示ください。 「(https://~)」のように前後にカッコをつけているようですが?
kipipipi

2019/01/11 14:26

こんばんは。返信が遅くなり失礼致しました。 今現在(1回目)はaddressにこのように格納されていました。 (https://news.google.com./articles/CBMicWh0dHBzOi8vd3d3LnRhbXBhYmF5LmNvbS9zaG9wcGluZy9jcmVhdGl2aXR5LW9mLWZhc2hpb24taXMtY2VsZWJyYXRlZC10aHJvdWdoLXRocmVlLWV2ZW50cy10aGlzLXdlZWtlbmQtMjAxOTAxMDkv0gHHAWh0dHBzOi8vd3d3LXRhbXBhYmF5LWNvbS5jZG4uYW1wcHJvamVjdC5vcmcvdi9zL3d3dy50YW1wYWJheS5jb20vc2hvcHBpbmcvY3JlYXRpdml0eS1vZi1mYXNoaW9uLWlzLWNlbGVicmF0ZWQtdGhyb3VnaC10aHJlZS1ldmVudHMtdGhpcy13ZWVrZW5kLTIwMTkwMTA5Lz90ZW1wbGF0ZT1hbXAmYW1wX2pzX3Y9MC4xI3dlYnZpZXc9MSZjYXA9c3dpcGU?hl=en-US&amp;gl=US&amp;ceid=US%3Aen) 私がアドバイス通りの作業をしているのか不安ではありますが、どうでしょうか??(汗) よろしくお願いいたします。
can110

2019/01/11 15:02

提示コードはなにかを参考にして作成したものでしょうか? adressの前後につけている「(」「)」は不要なので無くして「http~」という文字列を渡してください。
kipipipi

2019/01/11 15:43

動きました!! 数日悩んだ結果が初歩の初歩だったとは・・・(汗) can110さんのおかげで無事引っ張って来たURLを短縮させてLINEに通知させることができました! またアドバイスの中で触れたstatus_codeの確認する重要さや、http://www.example.comを入力して動きを確認する方法(?)を学ぶことができました。基本的なものなのかもしれませんが初心者の私には大変大きなものです。 大変お手を煩わせてしまい、申し訳ありませんでした。そして誠にありがとうございました!

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
86.02%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

API

APIはApplication Programming Interfaceの略です。APIはプログラムにリクエストされるサービスがどのように動作するかを、デベロッパーが定めたものです。