Pythonにてスクレイピングでのエラー

Question

前提・実現したいこと

こちらのサイトで紹介されているPythonのスクレイピングを試しているのですが、
ファイル実行時に下記エラーが発生してしまい、どう対処すればエラーがでなくなるのかがわからず
困っております。

発生している問題・エラーメッセージ

エラーメッセージ
$ python script.py
Traceback (most recent call last):
  File "script_max.py", line 135, in <module>
    keyword = argvs[1]
IndexError: list index out of range

該当のソースコード

###モジュールのインポート###
import sys
import re
import urllib.request
import requests
import openpyxl as px
from bs4 import BeautifulSoup
from urllib.parse import urlparse
from openpyxl.styles import Font, Color, colors
###モジュールのインポート###


def scraping(Sheet1, keyword, url, j):
    
    #HTML取得(beutifulsoupを使用)
    r = requests.get(url)
    soup = BeautifulSoup(r.content, "html.parser")
    
    #header部分だけを抽出
    header = soup.find("head")
    #タイトル
    title = header.find("title").text
    #ディスクリプション
    description = header.find("meta", attrs={"name": "description"})
    #キーワード
    keywords = header.find("meta", attrs={"name": "keywords"})
    #canonical
    can = header.find("link", rel="canonical")
    #viewport(レスポンシブ)
    viewport = header.find("meta", attrs={"name": "viewport"})
    
    
    #タグ内容出力
    Sheet1.cell(row = 2, column = j).value = url
    if title:
        Sheet1.cell(row = 3, column = j).value = title
    
    if can:
        Sheet1.cell(row = 6, column = j).value = can['href']
    else:
        Sheet1.cell(row = 6, column = j).value = "設定なし"
        Sheet1.cell(row = 6, column = j).font = Font(color=colors.RED)
    
    if description:
        Sheet1.cell(row = 4, column = j).value = description['content']
    else:
        Sheet1.cell(row = 4, column = j).value = "設定なし"
        Sheet1.cell(row = 4, column = j).font = Font(color=colors.RED)
    
    if keywords:
        Sheet1.cell(row = 5, column = j).value = keywords['content']
    else:
        Sheet1.cell(row = 5, column = j).value = "設定なし"
        Sheet1.cell(row = 5, column = j).font = Font(color=colors.RED)
    

    if viewport:
        Sheet1.cell(row = 8, column = j).value = str(viewport)
    else:
        Sheet1.cell(row = 8, column = j).value = "設定なし"
        Sheet1.cell(row = 8, column = j).font = Font(color=colors.RED)


    #body部分だけを抽出
    body = soup.find("body")
    com_h1tag = ""

    #h1タグを全て取得します
    h1tags = body.findAll("h1")
    #タグ内容出力(タグをまるごと)
    for h1tag in h1tags:
        if h1tag is not None:
            com_h1tag += str(h1tag) + "\n"

    Sheet1.cell(row = 7, column = j).value = com_h1tag

    #robots.txtの内容を取得します(トップページ下にある場合のみ)
    #ドメインを取得
    parsed_url = urlparse(url)
    scheme = parsed_url.scheme
    domain = parsed_url.netloc
    #urlリクエスト
    re_url = scheme + "://" + domain + "/robots.txt"
    r2 = requests.get(re_url)
    #リクエストページのHTMLをスクレイピング
    soup2 = BeautifulSoup(r2.content, 'html.parser')
    #リクエストが成功＆HTMLが取得できた場合
    if soup2:
        if r2.status_code == 200:
            Sheet1.cell(row = 9, column = j).value = soup2.text
        #リクエストが失敗した場合
        else:
            Sheet1.cell(row = 9, column = j).value = "robots.txtがトップページ下に存在しません。"
            Sheet1.cell(row = 9, column = j).font = Font(color=colors.RED)

    #キーワード出現数
    #結果格納用の変数
    output1 = ""
    output2 = ""
    output3 = ""
    #htmlソースからscriptとstyleタグを除く
    for script in soup("script"):
        script.decompose()
    for style in soup("style"):
        style.decompose()
    strhtml = soup.text
    #文字列からタブと半角空白と全角空白と改行を削除
    strhtml = strhtml.replace(" ", "")
    strhtml = strhtml.replace("\n", "")
    strhtml = strhtml.replace("\r", "")
    #キーワードが複数の場合(SEO 東京など)キーワード一つづつ配列へ
    kensakukeys = re.split(" +", keyword)
    #キーワードの数だけループ
    for kensakukey in kensakukeys:
        #ページ全体のキーワード出現数
        cnt = strhtml.count(kensakukey)
        #タイトルキーワード出現数
        titleKeyCnt = title.count(kensakukey)
        #h1キーワード出現数
        h1KeyCnt = com_h1tag.count(kensakukey)
        #全て変数に入れる
        output1 += kensakukey + " : " + str(cnt) + "\n"
        output2 += kensakukey + " : " + str(titleKeyCnt) + "\n"
        output3 += kensakukey + " : " + str(h1KeyCnt) + "\n"

    #excelへ出力
    Sheet1.cell(row = 10, column = j).value = output1
    Sheet1.cell(row = 11, column = j).value = output2
    Sheet1.cell(row = 12, column = j).value = output3


if __name__ == '__main__':
    
    argvs = sys.argv
    keyword = argvs[1]
    
    #urlList.txtファイル読み込み
    lists = []
    conf = ''
    for line in open('urlList.txt', 'r'):
        line = line.rstrip()
        lists = lists + [line]
    
    #excelテンプレート
    book = px.load_workbook('項目.xlsx')
    
    #excel結果ファイル名
    bookname = '結果.xlsx'
    
    #excelシート
    Sheet1 = book['Sheet1']
    
    j = 2
    #urlList.txt内のURL数だけループする
    for url in lists:
        #関数呼び出し
        scraping(Sheet1, keyword, url, j)
        #インクリメント
        j+=1

    #excel保存
    book.save(bookname)

ここにより詳細な情報を記載してください。

Comments

[glyzinieh]

実行するときにコマンドライン引数をつけていないのでは？

それと、サイトのリンクにつながりません。

[Yasumichi]

https://pecopla.net/seo-column/seo-scrape

が正解みたいですね。Python が余分についてて、リンクがおかしくなっています。

[サイト](https://pecopla.net/seo-column/seo-scrape)

となってますか。できれば、サイトの部分は、[SEO内部調査について簡単なスクレイピング処理を作成してみる | SEO対策なら株式会社ペコプラ]とタイトルを書いておく方が良いと思います。

Answer 1

スクレイピング以前の部分でエラーになっているのが、理解できてますでしょうか？

    argvs = sys.argv
    keyword = argvs[1]

の部分の意味を理解しましょう。
sys --- システムパラメータと関数

Comments

[tenMar]

@otn様
コメントありがとうございました！
もし可能ならレクチャーしていただくことは可能でしょうか

[Yasumichi]

まず、簡単なプログラムを書いて sys.argv の中身を見てみましょう。例えば、argv.py などという名前で以下のコードを書きます。

```
import sys

print(sys.argv)
```

その上で

python argv.py

としたら、どう表示されますか。引数を増やして、実行したらどうなりますか。

[otn]

これで分からないとすると、
あなたが何を知っていて何を知らないのかが分からないと、あなたに理解できる説明は出来せん。
例えば、配列（リスト）の概念は分かりますか？

というか、そもそも、プログラムをコピペしただけで、このプログラムをどうやって使うかの説明を読んでないと言うことですよね。
そこをちゃんと読むというのはどうでしょうか。