python3 pandasで処理速度を上げたい。for文を使って処理した結果、かなり遅いです、、、

Question

python初心者です。
pandasの配列で以下のコードを実行した結果かなり遅くて処理が終わりそうにありません。
おそらくfor文を使って配列を一行ずつ処理しているせいだと思うのですがpandasの一括実行の仕方等が調べてもわからずこちらに質問させていただきました。

import requests
count=0
j=i
for i in range(j,len(data)):
    search_result=re.sub('/status/[0-9]+','', data.iloc[i,4])
    #print(search_result)
    try:
        get_url_info = requests.get(search_result)
    except:
        count+=1
    se=re.search('''<span class="ProfileNav-label" aria-hidden="true">フォロワー</span>
            <span class="u-hiddenVisually">フォロワー</span>
          <span class="ProfileNav-value" data-count=[0-9]+''',get_url_info.text)
    if se!=None:
        data.iloc[i,5]=int(re.search('[0-9]+',se.group(0)).group(0))

data.iloc[i,4]にはURLがが入っています。
それを正規表現で整形してrequestでurlリクエストを送っています。
そこで帰ってきたhtml文の中から必要な情報を正規表現で抽出してdataの5列目に追加しようとしているコードになります。(data.iloc[i,5])

一応このコードで期待する数値は得られるのですが処理がかなり遅いです。
dataには10万件ほどデータが入っています。

お知恵をお貸しいただければ幸いです。
よろしくお願いいたします。

Answer 1

改めて質問文のコードを読み直したら、ちょっと的はずれな回答をしていたので追記。

こういった外部リソースへのリクエストが絡む処理の場合、基本的にその部分がボトルネックになります。また、高速化は不可能です（ネットワークの速度にも限度があるし、相手サーバにも迷惑がかかる。やりすぎればDOS攻撃扱いされてお縄になる可能性もあります）。

また、どうもtwitterのHTMLのようですが、そもそもtwitterはスクレイピングを禁止しています。データの収集にはTwitter APIを用いてください。

https://twitter.com/ja/tos

---

ループ外で正規表現をコンパイルしてみては？

https://docs.python.jp/3/library/re.html#re.compile

regexp1 = re.compile('/status/[0-9]+')  # 適切な名前をつけてください
# 以下同様

for i in range(j,len(data)):
    search_result=regexp1.sub('', data.iloc[i,4])
    # 以下同様に書き換え

Comments

[comet0310]

回答ありがとうございます。
試させて頂きます。
後質問なのですが僕個人的にはfor文の処理が重いと思っていたのですがこちらの処理はこれ以上向上しないんでしょうか?
知識が足りず再度の質問申し訳ありません。

[hayataka2049]

forそのものが遅いということはありません。

[hayataka2049]

いま見直して気づいたのですが（なにも考えないで回答書いてた）、毎回リクエスト投げてるのか・・・ボトルネックはネットワークですが、これを高速化するのは相手のサーバに迷惑なので、やめましょう。3秒1件がいいとこです。適度にsleepでも入れた方が良いし、10万も取るのは諦めるしかない。
というかもしかしてツイッター？　そうだとしたら、スクレイピングは禁止されていますよ。