Q&A
前提・実現したいこと
【前提】
私はスクレイピング初心者です．
以下に，私のスクレイピングに対する認識を記しておきます．それは間違っているという認識であればぜひともご指摘いただきたいと思っております．
Webページのスクレイピングにおいては，google chromeの拡張機能等を用いてHTML
やCSSのファイルを解析して，抜き出したい情報（本文テキスト，URL等）を発見します．
そして，それをBeautifulSoupの関数等CSSセレクタを指定してスクレイピングを行うことができる関数の引数に与えます．
このプロセスを手動で行うことによって，Webページのスクレイピングを行うことができるという認識でございます．
【取り組んでいる課題】
NewYorkTimes新聞のWeb記事から数年分の記事の本文テキストのみを全て抽出したいと考えております．
現在Pythonのscrapyを用いて実際にスクレイピングを行うプログラムを開発しております．
具体的には，
検索ページからアーカイブとして記事の期間を指定して検索結果を一覧として表示されます．
その検索結果のリンク先のURLを全て抜き出して，
後に抜き出したリンク先のページの記事を一つ一つスクレイピングしていきます．
【発生している問題】
記事は全てが同じフォーマットのページとは限らず，様々なニュースページから，ブログのようなページから，様々なフォーマットのページが存在します．
そのため，一つのCSSセレクタの指定方法のみではすべての記事のスクレイピングを行うことができません．
現状としては，大多数の記事が掲載されているフォーマットのタイプの記事のみは全て完全に抜き出しました．
それ以外のタイプの記事はそのリンク先のURLのリストを作りました．
【目標】
理想としては，記事のページにアクセスして，広告や別ページへのリンクを無視して，本文のみを抽出できるように自動でタグを選別して，選別されたCSSセレクタを持つタグのテキストのみを抜き出したいと思っております．
そのための方法をご教授頂きたいと思っております．
そのために，具体的に考えた案の一つとして，ページにアクセスして，その本文を一度取得して，そのうちの本文テキストが存在するセレクタを記録して，そのセレクタを指定することによって本文記事のみをスクレイピングする，といった案が思い浮かんでおります．
以下の画像は以上の説明を絵で解説したものでございます．
どうかよろしくお願いします
あなたの回答
tips
プレビュー
