pythonのスクレイピングにて

こんにちは。プログラミングを勉強し始めたばかりです。
このサイトの使い方もまだ分かっていません…。

環境:MAC(High Sierra), Anaconda, Jupyter note, python3

早速質問です。
Googlenewsから目的のカテゴリーのnewsを引き抜いてきてlineに通知するものを作ってみたくてネットで拾ったものなどを組み合わせたりしています。(まだまだ初期段階ですので足りないものは沢山あるかと思います。)
問題を解決しながら学習していましたが、早々に引っかかってしまいました。

●Googlenewsのスクレイピング&line通知
と
●URLの短縮
はそれぞれ動くのですが、併せるとエラーが発生します。それぞれ動くのに併せると動かないということで混乱しています。

エラーは以下の通りです

TypeError Traceback (most recent call last)
<ipython-input-38-670057aa6152> in <module>()
33 address = "(https://news.google.com"+add+"?hl=en-US&gl=US&ceid=US%3Aen)"
34
---> 35 urler = get_shortenURL(address)
36 print(address)
37 lineNotify("\n●"+title+"\n"+urler)

<ipython-input-34-b26a9183e445> in get_shortenURL(longUrl)
25 'longurl':longUrl
26 }
---> 27 r = requests.get(url,params=query).json()['data']['url']
28 return r
29

TypeError: list indices must be integers or slices, not str

import requests
from bs4 import BeautifulSoup
import time
from datetime import datetime

def lineNotify(message):
    line_notify_token = "###LINEのトークン入力"
    line_notify_api = 'https://notify-api.line.me/api/notify'
    payload = {'message': message}
    headers = {'Authorization': 'Bearer ' + line_notify_token}
    requests.post(line_notify_api, data=payload, headers=headers)
    
def get_shortenURL(longUrl):
    url = 'https://api-ssl.bitly.com/v3/shorten'
    access_token =  '###BITLYのトークン入力'
    query = {
            'access_token': access_token,
            'longurl':longUrl
            }
    r = requests.get(url,params=query).json()['data']['url']
    return r 


res = requests.get("https://news.google.com/topics/CAAqBwgKMMKU8AowsNG3Ag?hl=en-US&gl=US&ceid=US%3Aen")　　　###例で今回はFASHIOのカテゴリーからスクレイピングしようとしています。
res.raise_for_status()
soup = BeautifulSoup(res.text, "html.parser")
elems = soup.select("h3 a") ###目的のHTMLコード指しています。

for elem in elems:
    title= '{}'.format(elem.getText())
    add= elem.get('href')

    address = "(https://news.google.com"+ add +"?hl=en-US&amp;gl=US&amp;ceid=US%3Aen)" ###アメリカのGooglenewsから引き抜いて来たURLの足りない部分を付け足しています。
    
    urler = get_shortenURL(address)　　　　###変数名に深い意味はありません
    lineNotify("\n●"+title+"\n"+urler)　　 ### LINEに通知させる本文です。
    time.sleep(60) 　　###今の段階では６０秒ごとに１記事ずつ通知させるように仮に設定しているだけです。

初歩的なミスだとは思うのですが、どうぞよろしくお願いいたします。

CHERRY

2019/01/10 03:45

質問は編集できますので、編集して「本文」を追加してください。

kipipipi

2019/01/10 04:02

使い方をまだよく分かっていないので見辛いかと思います。また夜に見やすく編集致します。よろしくお願いします。

CHERRY

2019/01/10 04:18

Pythonのコードは、インデントが消えると意味が変わるので、 https://teratail.com/help/question-tips#questionTips3-3-1 を確認して、<code>ボタンを使ってコードの部分を囲うようにしてください。

CHERRY

2019/01/10 04:22

また、エラーメッセージは極力省略せずにそのまま記載してください。 (ディレクトリ名やファイル名等に組織名や個人名等が含まれる場合は、その部分を name や user 等の文字で置き換えてください。)

回答1件

ベストアンサー

Python
1# 略
2r = requests.get(url,params=query).json()
3    print(r) # *****
4    r = r['data']['url']
5    return r

のように修正しAPIの戻り値を確認してみましょう。
{'data': [], 'status_code': 500, 'status_txt': 'INVALID_ARG_ACCESS_TOKEN'}
などのように失敗していれば提示エラーが発生します。

また、get_shortenURL関数に提示ソースのように前後にカッコをつけて(http://www.example.com)を渡すと{'status_code': 500, 'status_txt': 'INVALID_URI', 'data': []}となります。

投稿2019/01/10 23:57

編集2019/01/11 05:32

can110

総合スコア36976

回答へのコメント

kipipipi

2019/01/11 00:50

アドバイスありがとうございます！早速やってみたところ {'status_code': 500, 'status_txt': 'INVALID_URI', 'data': []} と表示されました！渡しているURLに何か問題があるのでしょうか？検索すると他の方もbitlyで同じ現象が起きているみたいなので、ここを探ってみたいと思います！引き続きよろしくお願いします！

can110

2019/01/11 00:54

失敗時、具体的にURLはどのような文字列を渡していますか？また、たとえば「http://www.example.com」を渡した場合の結果はどうなりますか？

kipipipi

2019/01/11 04:09 編集

例えば Googlenewsのfashionのページ↓から引っ張り出したいとして動かすと。 https://news.google.com/search?q=fashion&hl=en-US&gl=US&ceid=US%3Aen 結果は https://news.google.com./articles/CAIiEIy2n7nO3PYsncqcMgEw-lsqGQgEKhAIACoHCAowwcj9CjCQqPUCMO2Z1gU?hl=en-US&gl=US&ceid=US%3Aen となりました。(2019.1.11 12時過ぎ) このようなURLを渡しているようです。しかしこの後のURL短縮作業は先と同じエラーで進みませんでした。 http://www.example.comを渡すと下記が表示されました。 {'status_code': 200, 'status_txt': 'OK', 'data': {'url': 'http://bit.ly/2M2hNUO', 'hash': '2M2hNUO', 'global_hash': '3hDSUb', 'long_url': 'http://www.example.com/', 'new_hash': 0}}

can110

2019/01/11 05:21

実際にコード上でget_shortenURLに渡している変数addressの値（文字列）をprintしてみて提示ください。「(https://～)」のように前後にカッコをつけているようですが？

kipipipi

2019/01/11 14:26

こんばんは。返信が遅くなり失礼致しました。今現在（１回目）はaddressにこのように格納されていました。 (https://news.google.com./articles/CBMicWh0dHBzOi8vd3d3LnRhbXBhYmF5LmNvbS9zaG9wcGluZy9jcmVhdGl2aXR5LW9mLWZhc2hpb24taXMtY2VsZWJyYXRlZC10aHJvdWdoLXRocmVlLWV2ZW50cy10aGlzLXdlZWtlbmQtMjAxOTAxMDkv0gHHAWh0dHBzOi8vd3d3LXRhbXBhYmF5LWNvbS5jZG4uYW1wcHJvamVjdC5vcmcvdi9zL3d3dy50YW1wYWJheS5jb20vc2hvcHBpbmcvY3JlYXRpdml0eS1vZi1mYXNoaW9uLWlzLWNlbGVicmF0ZWQtdGhyb3VnaC10aHJlZS1ldmVudHMtdGhpcy13ZWVrZW5kLTIwMTkwMTA5Lz90ZW1wbGF0ZT1hbXAmYW1wX2pzX3Y9MC4xI3dlYnZpZXc9MSZjYXA9c3dpcGU?hl=en-US&gl=US&ceid=US%3Aen) 私がアドバイス通りの作業をしているのか不安ではありますが、どうでしょうか？？（汗）よろしくお願いいたします。

can110

2019/01/11 15:02

提示コードはなにかを参考にして作成したものでしょうか？ adressの前後につけている「(」「)」は不要なので無くして「http～」という文字列を渡してください。

kipipipi

2019/01/11 15:43

動きました！！数日悩んだ結果が初歩の初歩だったとは・・・（汗） can11０さんのおかげで無事引っ張って来たURLを短縮させてLINEに通知させることができました！またアドバイスの中で触れたstatus_codeの確認する重要さや、http://www.example.comを入力して動きを確認する方法（？）を学ぶことができました。基本的なものなのかもしれませんが初心者の私には大変大きなものです。大変お手を煩わせてしまい、申し訳ありませんでした。そして誠にありがとうございました！