HTMLparserを使ったコードのエラー

Question

###前提・実現したいこと
コードは以下のurlのをそのままお借りしました。
http://d.hatena.ne.jp/ichhi/20111015/1318699010
python2.7です。
実行するとしばらくした後にエラーがでます。
エラーの内容を調べてみましたがよくわからなかったので教えていただきたいです。
知りたいことは、
自分で直せるエラーなのかどうか
直せるとしたらその方法
です。
よろしくお願いします。

###発生している問題・エラーメッセージ

macbook-pro-3:python yoyoyo$ python try.py
 Traceback (most recent call last):
  File "try.py", line 27, in <module>
    main()
  File "try.py", line 20, in main
    response = urllib2.urlopen(url)
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 154, in urlopen
    return opener.open(url, data, timeout)
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 431, in open
    response = self._open(req, data)
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 449, in _open
    '_open', req)
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 409, in _call_chain
    result = func(*args)
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 1227, in http_open
    return self.do_open(httplib.HTTPConnection, req)
  File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 1197, in do_open
    raise URLError(err)
urllib2.URLError: <urlopen error [Errno 1] Operation not permitted>

###該当のソースコード

from HTMLParser import HTMLParser
import urllib2

class GetTitle(HTMLParser):
    def __init__(self):
        HTMLParser.__init__(self)
        self.title_flag = False

    def handle_starttag(self, tag, attrs):
        if tag == 'title':
            self.title_flag = True

    def handle_data(self, data):
        if self.title_flag:
            self.title = data
            self.title_flag = False

def main():
    url = 'http://twitter.com'
    response = urllib2.urlopen(url)
    gt = GetTitle()
    gt.feed(response.read())
    gt.close()
    print '%s - %s' % (url, gt.title)

if __name__ == '__main__':
    main()

###試したこと
課題に対してアプローチしたことを記載してください
エラー内容をググってみました。
関係していそうだと思ったのは、port、proxyなど。
全体像が見えませんでした。
###補足情報(言語/FW/ツール等のバージョンなど)
より詳細な情報

Comments

[granfa_yuzo]

urllib2.URLError: <urlopen error [Errno 1] Operation not permitted>とあるので、オープンできていないみたいですね。proxyが関係あるかもと書いてありますけど、PCがあるネット環境は、どうなってますか？

[yoyoyo]

初心者なので申し訳ありませんが、何を調べて載せればよいでしょうか。インターネット環境としては、複数のwifiで試しましたが全て同じ結果になってしまいました。

[masaya_ohashi]

あなたの試した環境とはどこですか？例えば会社の中である、学校の中である、家の中である、パソコンは会社のものである、学校のものである、私用のものである、そのあたりについて詳しく書いてください。

[masaya_ohashi]

例えば学校だと、教育委員会のプロキシの防御により、直接外部へのアクセスが禁止されているパターンがあります。その場合、Pythonに正しいプロキシ情報を与えないと接続ができないです。

[yoyoyo]

学校の中、家の中、ケータイ回線の三つです。家はニューロ光です。ケータイはドコモです。よろしくお願いします。

[masaya_ohashi]

あなたのパソコンは私物ですか？学校の貸与品ですか？それと、あなたがそのパソコンを起動したときに、アカウントが複数表示されますか？

[yoyoyo]

私物です。複数表示されます。左側に自分のアカウント、右側にゲストユーザーです。よろしくお願いします

[masaya_ohashi]

セキュリティソフトはなにか入っていますか？https://www.google.co.jp/に接続しても同じエラーが起きますか？

[yoyoyo]

上記のurlを入れたら出力できました！何が違ったのでしょうか？セキュリティソフトはnortonが入っています。https://www.google.co.jp/ - Google

sudo なしでもgoogleのurlは出力できました。

[masaya_ohashi]

回答に追記しておきました。

Answer 1

sudo python try.py

を試してみてください。多分パスワードを要求されますが、あなたが普段Macを起動するときに使うパスワードでOKです。not permittedということは「権限がない」ということです。sudoをつけてパスワード入力させることで、このコマンドを実行している人間が権限を持った人間であることを認識し、そのへんの制限を受けずに処理が実行できるようになります。もし違う理由で制限されていたらこれでもだめかもしれませんが…

コメントとかの総括

TwitterはAPIを提供しているので、おそらくブラウザ外から直接TwitterのURLを叩くことを禁止しているのかもしれません。APIを提供している意味がなくなりますからね。Googleが接続できて、Twitterができないのはそれが原因でしょう。Twitterの投稿情報が欲しければ、Twitter APIで検索して出て来る情報を元に組み直したほうがよいかもしれません。

Comments

[yoyoyo]

実行は出来ましたが、少しエラー内容が変わってエラーが出てきました。

File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 1197, in do_open
raise URLError(err)
urllib2.URLError: <urlopen error [Errno 8] nodename nor servname provided, or not known>

[masaya_ohashi]

セキュリティソフトを一時的にOFFにしてやってみてください。

[yoyoyo]

セキュリティソフトをoffにしたらうまくいきました！ありがとうございます！！この場合はセキュリティソフトの何が悪かったのでしょうか？ファイアウォールをoffにしたら解決できたのですが...

[masaya_ohashi]

うーむ…推測も外れてしまったようですね。GoogleとTwitterの証明書になにか違いがあるかもしれませんが、詳しくは不明です。危ないのでファイアウォールはONに戻しておいてくださいね。TwitterAPIを使ってもだめだったらまた質問してください。

[yoyoyo]

なるほど、、、ありがとうございました！

Answer 2

エラー文言を見る限りURLそのものに問題があるように見えます。
URLをhttps://twitter.com/に変えてみてはどうでしょう。twitterにhttpでアクセスしてもhttpsにリダイレクトされるので、HTTPSプロトコル以外は受け付けないのかもしれません。

Comments

[yoyoyo]

urlのみ変えてみましたが同じようにエラーが出てきてしまいました...
urllib2.URLError: <urlopen error [Errno 1] Operation not permitted>

Answer 3

根本的解決にはならないかもしれませんが、
追加、変更してみてください。

ソースコードの先頭に追加
import urllib.request

一部変更
def main():
url = 'http://twitter.com'
request = urllib.request.Request(url) ※
response = urllib.request.urlopen(request) ※
gt = GetTitle()
gt.feed(response.read())
gt.close()
print '%s - %s' % (url, gt.title)

変更前と同じエラーが出たら、ソースコード以外に原因があると思います。

Comments

[yoyoyo]

Urllib.requestがインポートできないのですが、これは何か操作が必要ですか？
Urllib 自体は入っているようです。
import urllib としてとりあえずインポートしましたがrequestアトリビュートを持ってないそうです。
request = urllib.request.Request(url)
AttributeError: 'module' object has no attribute 'request'

[granfa_yuzo]

ごめんなさい。私の環境がpython3.5.2だったので、そのまま、記述してしまいました。pthon2.7で動く用調整しますので、お時間ください。

[yoyoyo]

解決しました！回答ありがとうございました！