【Python】find_allで値を取得できない際、配列要素に空白を追加したい。

Question

Python初心者です。

PythonにてWebスクレイピングをしておりまして、その結果をarr1・arr2に格納し、print関数で表示したいのですが、値が格納されていないため、以下のようなエラーが起こります。

IndexError: list index out of range

例えば、次のようなHTMLがあります。
（説明の便宜上、簡易的なものにしてあります。ご了承くださいませ。）

http://hoge.co.jp
<h3>
 <a href="http://hoge.co.jp/2001">ダイエット方法</a>
 <p class="profileName">太郎</p>
 <a href="http://hoge.co.jp/2002">健康になるには</a>
 <p class="profileName">次郎</p>
 <a href="http://hoge.co.jp/2003">美容関連</a>
 <p class="profileName">和郎</p>
</h3>

http://fuga.co.jp
<h3>
 <a href="http://fuga.co.jp/2001">金運上昇</a>
 <p class="profileName">一郎</p>
 <a href="http://fuga.co.jp/2002">健康運上昇</a>
 <a href="http://fuga.co.jp/2003">恋愛運上昇</a>
 <p class="profileName">三郎</p>
</h3>

http://piyo.co.jp
<h3>
 <a href="http://piyo.co.jp/2001">音楽</a>
 <a href="http://piyo.co.jp/2002">美術</a>
 <p class="profileName">健太</p>
 <a href="http://piyo.co.jp/2003">書道</a>
 <p class="profileName">康太</p>
</h3>

これらをスクレイピングし、出力する結果を以下のようなものにしたいです。
1.　　ダイエット方法　　太郎
2.　　健康になるには　　次郎
3.　　美容関連　　和郎
1.　　金運上昇　　一郎
2.　　健康運上昇　　
3.　　恋愛運上昇　　三郎
1.　　音楽　　
2.　　美術　　健太
3.　　書道　　康太

名前がないものがありますが、それはそれで空白として出力するようにしたいのです。
以下のPythonのコードですと、エラーが起きてしまいます。

#URL
url = ["http://hoge.co.jp", "http://fuga.co.jp", "http://piyo.co.jp"]

#取得する値（配列）
arr1 = []
arr2 = []

#URL番号
n = 0

while n < len(url):
   c = 0

   html = BeautifulSoup(requests.get(url[n]), "lxml")
   for hoge in html.find_all("h3"):
       for at in hoge.find_all("a"):
           arr1[n].append(at.get_text())

       for fuga in html.find_all("p", class_="profileName"):
           arr2[n].append(at.get_text())

       print(c+1, "\t", arr1[n][c], "\t", arr2[n][c])
       c += 1

   n += 1

処理の中で、find_allで値を取得できなかったため、arr1またはarr2に値が空なのに、print関数で指定してしまっているために起こるエラーと思われるのですが、ループの途中でエラーが起きて処理が停まってしまうのを何とかしたいと思っています。

例えば、if文でarr1やarr2が空の場合、空白文字をappendする…のような処理ができればと思い、

https://qiita.com/yonedaco/items/d0f65ca3dad2e085a51d
↑こちらを参考にして、

上記のコードの、for文とprint関数の間に、以下のコードを追加してみましたが、こちらもダメでした。

if len(arr1[n][c])==0:
    arr1.append("")

if len(arr2[n][c])==0;
    arr2.append("")

while文でURLの数だけループ（今回ですと3つなので3回）し、それぞれのURLのデータを取得し、配列arr1、arr2にそれぞれ要素を3つずつ格納させたいです。
上記HTMLでいうと、「健康運上昇」「音楽」のところで名前がありませんが、そのようにデータが取得できなかった場合も、空白として配列に格納するには、どのようにすればよろしいでしょうか。

調べてはいるのですが、なかなかできずに困っています。
詳しい方のご教示をお願い致します。

Answer 1

まずaタグを抽出
aタグの次のタグがpでかつclassがprofileNameの場合はget_text()
違う場合はNone

for i in soup.find_all("a"):

    result = []

    result.append(i.get_text())
    
    j = i.find_next()

    if j:
        if j.name == "p" and j.get("class") == ["profileName"]:
            result.append(j.get_text())
        else:
            result.append(None)
    else:
        result.append(None)

    print(result)