【Python3】BeautifulSoup4で全てのデータが解析されない（半分しか出力されない）

Question

以前の質問で、BeautifulSoup4に関して質問させていただいて、この作業を一通りやってみました。ベストアンサーの方のコードを組み合わせて実行しました。

環境はJupyter Notebookです。

どうしても、全てのデータが取得できないので、質問させてください。

##詳しい状況

ほぼ回答コピペの状態なのですが、一番最初の実行では(全体のデータ数/2)を四捨五入したデータ数でした。２回目の実行では、実行されなかった部分のテキストを新しいファイルにコピペして、(１回目に取得できたデータ数/2)を四捨五入した値になりました。３回目以降も同様に、前の回の半分のデータ数しか得られませんでした。

上から順に読み込めてるのですが、ファイル内の半分しか結果として出してくれません。len()で出た値と、最後の要素を見てそう判断しています。

全部のデータ数は1000未満です。

基本的に、ベストアンサーの方の主題１がメインのコードになっています。

##質問

なぜ、半分量のデータしか出力されないのですか。
ご回答よろしくおねがいします。