質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

API

APIはApplication Programming Interfaceの略です。APIはプログラムにリクエストされるサービスがどのように動作するかを、デベロッパーが定めたものです。

Q&A

解決済

1回答

1744閲覧

pythonのスクレイピングにて

kipipipi

総合スコア60

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

API

APIはApplication Programming Interfaceの略です。APIはプログラムにリクエストされるサービスがどのように動作するかを、デベロッパーが定めたものです。

1グッド

1クリップ

投稿2019/01/10 03:27

編集2019/01/10 22:16

こんにちは。プログラミングを勉強し始めたばかりです。
このサイトの使い方もまだ分かっていません…。

環境:MAC(High Sierra), Anaconda, Jupyter note, python3

早速質問です。
Googlenewsから目的のカテゴリーのnewsを引き抜いてきてlineに通知するものを作ってみたくてネットで拾ったものなどを組み合わせたりしています。(まだまだ初期段階ですので足りないものは沢山あるかと思います。)
問題を解決しながら学習していましたが、早々に引っかかってしまいました。

●Googlenewsのスクレイピング&line通知

●URLの短縮
はそれぞれ動くのですが、併せるとエラーが発生します。それぞれ動くのに併せると動かないということで混乱しています。

エラーは以下の通りです


TypeError Traceback (most recent call last)
<ipython-input-38-670057aa6152> in <module>()
33 address = "(https://news.google.com"+add+"?hl=en-US&amp;gl=US&amp;ceid=US%3Aen)"
34
---> 35 urler = get_shortenURL(address)
36 print(address)
37 lineNotify("\n●"+title+"\n"+urler)

<ipython-input-34-b26a9183e445> in get_shortenURL(longUrl)
25 'longurl':longUrl
26 }
---> 27 r = requests.get(url,params=query).json()['data']['url']
28 return r
29

TypeError: list indices must be integers or slices, not str


import requests from bs4 import BeautifulSoup import time from datetime import datetime def lineNotify(message): line_notify_token = "###LINEのトークン入力" line_notify_api = 'https://notify-api.line.me/api/notify' payload = {'message': message} headers = {'Authorization': 'Bearer ' + line_notify_token} requests.post(line_notify_api, data=payload, headers=headers) def get_shortenURL(longUrl): url = 'https://api-ssl.bitly.com/v3/shorten' access_token = '###BITLYのトークン入力' query = { 'access_token': access_token, 'longurl':longUrl } r = requests.get(url,params=query).json()['data']['url'] return r res = requests.get("https://news.google.com/topics/CAAqBwgKMMKU8AowsNG3Ag?hl=en-US&gl=US&ceid=US%3Aen")   ###例で今回はFASHIOのカテゴリーからスクレイピングしようとしています。 res.raise_for_status() soup = BeautifulSoup(res.text, "html.parser") elems = soup.select("h3 a") ###目的のHTMLコード指しています。 for elem in elems: title= '{}'.format(elem.getText()) add= elem.get('href') address = "(https://news.google.com"+ add +"?hl=en-US&amp;gl=US&amp;ceid=US%3Aen)" ###アメリカのGooglenewsから引き抜いて来たURLの足りない部分を付け足しています。 urler = get_shortenURL(address)    ###変数名に深い意味はありません lineNotify("\n●"+title+"\n"+urler)   ### LINEに通知させる本文です。 time.sleep(60)   ###今の段階では60秒ごとに1記事ずつ通知させるように仮に設定しているだけです。

初歩的なミスだとは思うのですが、どうぞよろしくお願いいたします。

Potat3rd👍を押しています

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

CHERRY

2019/01/10 03:45

質問は編集できますので、編集して「本文」を追加してください。
kipipipi

2019/01/10 04:02

使い方をまだよく分かっていないので見辛いかと思います。また夜に見やすく編集致します。よろしくお願いします。
CHERRY

2019/01/10 04:22

また、エラーメッセージは極力省略せずにそのまま記載してください。 (ディレクトリ名やファイル名等に組織名や個人名等が含まれる場合は、その部分を name や user 等の文字で置き換えてください。)
guest

回答1

0

ベストアンサー

Python

1# 略 2r = requests.get(url,params=query).json() 3 print(r) # ***** 4 r = r['data']['url'] 5 return r

のように修正しAPIの戻り値を確認してみましょう。
{'data': [], 'status_code': 500, 'status_txt': 'INVALID_ARG_ACCESS_TOKEN'}
などのように失敗していれば提示エラーが発生します。

また、get_shortenURL関数に提示ソースのように前後にカッコをつけて(http://www.example.com)を渡すと{'status_code': 500, 'status_txt': 'INVALID_URI', 'data': []}となります。

投稿2019/01/10 23:57

編集2019/01/11 05:32
can110

総合スコア38233

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

kipipipi

2019/01/11 00:50

アドバイスありがとうございます!早速やってみたところ {'status_code': 500, 'status_txt': 'INVALID_URI', 'data': []} と表示されました! 渡しているURLに何か問題があるのでしょうか? 検索すると他の方もbitlyで同じ現象が起きているみたいなので、ここを探ってみたいと思います! 引き続きよろしくお願いします!
can110

2019/01/11 00:54

失敗時、具体的にURLはどのような文字列を渡していますか? また、たとえば「http://www.example.com」を渡した場合の結果はどうなりますか?
kipipipi

2019/01/11 04:09 編集

例えば Googlenewsのfashionのページ↓から引っ張り出したいとして動かすと。 https://news.google.com/search?q=fashion&hl=en-US&gl=US&ceid=US%3Aen 結果は https://news.google.com./articles/CAIiEIy2n7nO3PYsncqcMgEw-lsqGQgEKhAIACoHCAowwcj9CjCQqPUCMO2Z1gU?hl=en-US&amp;gl=US&amp;ceid=US%3Aen となりました。(2019.1.11 12時過ぎ) このようなURLを渡しているようです。 しかしこの後のURL短縮作業は先と同じエラーで進みませんでした。 http://www.example.comを渡すと下記が表示されました。 {'status_code': 200, 'status_txt': 'OK', 'data': {'url': 'http://bit.ly/2M2hNUO', 'hash': '2M2hNUO', 'global_hash': '3hDSUb', 'long_url': 'http://www.example.com/', 'new_hash': 0}}
can110

2019/01/11 05:21

実際にコード上でget_shortenURLに渡している変数addressの値(文字列)をprintしてみて提示ください。 「(https://~)」のように前後にカッコをつけているようですが?
kipipipi

2019/01/11 14:26

こんばんは。返信が遅くなり失礼致しました。 今現在(1回目)はaddressにこのように格納されていました。 (https://news.google.com./articles/CBMicWh0dHBzOi8vd3d3LnRhbXBhYmF5LmNvbS9zaG9wcGluZy9jcmVhdGl2aXR5LW9mLWZhc2hpb24taXMtY2VsZWJyYXRlZC10aHJvdWdoLXRocmVlLWV2ZW50cy10aGlzLXdlZWtlbmQtMjAxOTAxMDkv0gHHAWh0dHBzOi8vd3d3LXRhbXBhYmF5LWNvbS5jZG4uYW1wcHJvamVjdC5vcmcvdi9zL3d3dy50YW1wYWJheS5jb20vc2hvcHBpbmcvY3JlYXRpdml0eS1vZi1mYXNoaW9uLWlzLWNlbGVicmF0ZWQtdGhyb3VnaC10aHJlZS1ldmVudHMtdGhpcy13ZWVrZW5kLTIwMTkwMTA5Lz90ZW1wbGF0ZT1hbXAmYW1wX2pzX3Y9MC4xI3dlYnZpZXc9MSZjYXA9c3dpcGU?hl=en-US&amp;gl=US&amp;ceid=US%3Aen) 私がアドバイス通りの作業をしているのか不安ではありますが、どうでしょうか??(汗) よろしくお願いいたします。
can110

2019/01/11 15:02

提示コードはなにかを参考にして作成したものでしょうか? adressの前後につけている「(」「)」は不要なので無くして「http~」という文字列を渡してください。
kipipipi

2019/01/11 15:43

動きました!! 数日悩んだ結果が初歩の初歩だったとは・・・(汗) can110さんのおかげで無事引っ張って来たURLを短縮させてLINEに通知させることができました! またアドバイスの中で触れたstatus_codeの確認する重要さや、http://www.example.comを入力して動きを確認する方法(?)を学ぶことができました。基本的なものなのかもしれませんが初心者の私には大変大きなものです。 大変お手を煩わせてしまい、申し訳ありませんでした。そして誠にありがとうございました!
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問