質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.38%

  • Python

    12885questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • API

    1892questions

    APIはApplication Programming Interfaceの略です。APIはプログラムにリクエストされるサービスがどのように動作するかを、デベロッパーが定めたものです。

pythonのスクレイピングにて

解決済

回答 1

投稿 編集

  • 評価
  • クリップ 0
  • VIEW 381

kipipipi

score 3

こんにちは。プログラミングを勉強し始めたばかりです。
このサイトの使い方もまだ分かっていません…。

環境:MAC(High Sierra), Anaconda, Jupyter note, python3

早速質問です。
Googlenewsから目的のカテゴリーのnewsを引き抜いてきてlineに通知するものを作ってみたくてネットで拾ったものなどを組み合わせたりしています。(まだまだ初期段階ですので足りないものは沢山あるかと思います。)
問題を解決しながら学習していましたが、早々に引っかかってしまいました。

●Googlenewsのスクレイピング&line通知

●URLの短縮
はそれぞれ動くのですが、併せるとエラーが発生します。それぞれ動くのに併せると動かないということで混乱しています。

エラーは以下の通りです


TypeError                                 Traceback (most recent call last)
<ipython-input-38-670057aa6152> in <module>()
33     address = "(https://news.google.com"+add+"?hl=en-US&amp;gl=US&amp;ceid=US%3Aen)"
34 
---> 35     urler = get_shortenURL(address)
36     print(address)
37     lineNotify("\n●"+title+"\n"+urler)

<ipython-input-34-b26a9183e445> in get_shortenURL(longUrl)
25             'longurl':longUrl
26             }
---> 27     r = requests.get(url,params=query).json()['data']['url']
28     return r
29 

TypeError: list indices must be integers or slices, not str


import requests
from bs4 import BeautifulSoup
import time
from datetime import datetime

def lineNotify(message):
    line_notify_token = "###LINEのトークン入力"
    line_notify_api = 'https://notify-api.line.me/api/notify'
    payload = {'message': message}
    headers = {'Authorization': 'Bearer ' + line_notify_token}
    requests.post(line_notify_api, data=payload, headers=headers)

def get_shortenURL(longUrl):
    url = 'https://api-ssl.bitly.com/v3/shorten'
    access_token =  '###BITLYのトークン入力'
    query = {
            'access_token': access_token,
            'longurl':longUrl
            }
    r = requests.get(url,params=query).json()['data']['url']
    return r 


res = requests.get("https://news.google.com/topics/CAAqBwgKMMKU8AowsNG3Ag?hl=en-US&gl=US&ceid=US%3Aen")   ###例で今回はFASHIOのカテゴリーからスクレイピングしようとしています。
res.raise_for_status()
soup = BeautifulSoup(res.text, "html.parser")
elems = soup.select("h3 a") ###目的のHTMLコード指しています。

for elem in elems:
    title= '{}'.format(elem.getText())
    add= elem.get('href')

    address = "(https://news.google.com"+ add +"?hl=en-US&amp;gl=US&amp;ceid=US%3Aen)" ###アメリカのGooglenewsから引き抜いて来たURLの足りない部分を付け足しています。

    urler = get_shortenURL(address)    ###変数名に深い意味はありません
    lineNotify("\n●"+title+"\n"+urler)   ### LINEに通知させる本文です。
    time.sleep(60)   ###今の段階では60秒ごとに1記事ずつ通知させるように仮に設定しているだけです。

初歩的なミスだとは思うのですが、どうぞよろしくお願いいたします。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • CHERRY

    2019/01/10 12:45

    質問は編集できますので、編集して「本文」を追加してください。

    キャンセル

  • kipipipi

    2019/01/10 13:02

    使い方をまだよく分かっていないので見辛いかと思います。また夜に見やすく編集致します。よろしくお願いします。

    キャンセル

  • CHERRY

    2019/01/10 13:18

    Pythonのコードは、インデントが消えると意味が変わるので、 https://teratail.com/help/question-tips#questionTips3-3-1 を確認して、<code>ボタンを使ってコードの部分を囲うようにしてください。

    キャンセル

  • CHERRY

    2019/01/10 13:22

    また、エラーメッセージは極力省略せずにそのまま記載してください。 (ディレクトリ名やファイル名等に組織名や個人名等が含まれる場合は、その部分を name や user 等の文字で置き換えてください。)

    キャンセル

回答 1

checkベストアンサー

+1

# 略
r = requests.get(url,params=query).json()
    print(r) # *****
    r = r['data']['url']
    return r 


のように修正しAPIの戻り値を確認してみましょう。
{'data': [], 'status_code': 500, 'status_txt': 'INVALID_ARG_ACCESS_TOKEN'}
などのように失敗していれば提示エラーが発生します。

また、get_shortenURL関数に提示ソースのように前後にカッコをつけて(http://www.example.com)を渡すと{'status_code': 500, 'status_txt': 'INVALID_URI', 'data': []}となります。

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • キャンセル

  • 2019/01/12 00:02

    提示コードはなにかを参考にして作成したものでしょうか?
    adressの前後につけている「(」「)」は不要なので無くして「http~」という文字列を渡してください。

    キャンセル

  • 2019/01/12 00:43

    動きました!!
    数日悩んだ結果が初歩の初歩だったとは・・・(汗)
    can110さんのおかげで無事引っ張って来たURLを短縮させてLINEに通知させることができました!
    またアドバイスの中で触れたstatus_codeの確認する重要さや、http://www.example.comを入力して動きを確認する方法(?)を学ぶことができました。基本的なものなのかもしれませんが初心者の私には大変大きなものです。
    大変お手を煩わせてしまい、申し訳ありませんでした。そして誠にありがとうございました!

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.38%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

同じタグがついた質問を見る

  • Python

    12885questions

    Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

  • API

    1892questions

    APIはApplication Programming Interfaceの略です。APIはプログラムにリクエストされるサービスがどのように動作するかを、デベロッパーが定めたものです。