Webサイトの複数ある記事の類似する部分を抽出したいが、何から手をつければよいかわからない

Question

前提・実現したいこと

指定したWebサイトから複数の記事の本文を自動的に取得し、文章の類似度を計算、類似している点（できれば文で）を出力する。
つまりWebサイトで多くの人が言っていることを抽出したいな。ということです。

発生している問題

上記のようなソフトを作成したいのですが、何から手をつければ良いのかわかりません。
必要になりそうだと思ったものが合っているのか、どのような順番で勉強したらいいのかわからないのです。

なるべくアプリケーションを実装しながら学習することが好きなので、オススメの勉強法があれば教えていただきたいです。

よろしくお願いいたします。

必要になりそうだと思ったもの

記事をサイトから取得する為:Webスクレイピング技術,PHP
文章類似度計算:文章のベクトル化、形態要素解析など自然言語処理

補足情報（FW/ツールのバージョンなど）

Python,Cの基本的な文法を学んだ程度のプログラミング初心者です。
Python3.7.4
Mac OS

Answer 1

まずは本文のスクレイピングをしないといけないのですが、サイトごとに構造が違う訳ですからこれは一般論としては難しい部類の処理になると思います。「コンテンツだけを抜き出す」手法は探せばいろいろ提案されていると思いますから、よさそうなものを見つけて使ってください（ライブラリまであるかは微妙。自分で実装しないといけないかもしれません）。

スクレイピングのコードはPHPでも書けるとは思いますが、PHPの知識がなければPythonでも書けるし、手間とかやりやすさは大差ないでしょう。

---

文ごとにベクトル化して似ている文ごとにまとめる、のはそう難しくはないと思いますが、ベクトルの距離が近かったときに人の目で見て似ていると言えるかどうかはまた別。意味のある結果が出るのかもまた別（ナイーブにやると定型文的なのばっかり引っかかるだろうけど、それでいいの？　とか）。

こちらはもう少し「やりたいこと」を明確にした方が良いかと。

Comments

[OkomekO]

回答ありがとうございました！

スクレイピングに関しては単純ですが本文を取得するサイトをあらかじめ決めておけば構造の違いを回避できそうですね。実装が出来たら回答の通りコンテンツだけを抜き出す方法を試してみようと思います。

やりたいことなのですが、例えばサイトの記事に
Aさんは「私は毎朝5時に起きて読書をしている」記事を
Bさんは「いつも早朝に起きて朝食を作っている」、
Cさんは「毎朝６時にはランニングをしている」、
Dさんは「いつも１８時には寝ている」Eさんは・・・・・
などと記事本文中にあったら、それらから「多くの人が早朝に起きている」のような彼らがいつもやっていることを返して欲しいです。

"早朝"や"多くの人"の定義も必要になってくるのでしょうが、この"いつもやっていること"に対しどうアプローチをかければ良いのでしょうか。

定型文的なものを含めて収集して、
その後に挨拶や導入文などの定型文的なものは消すという加工をしたいと思います。
ですが求めている答えとの差別化が掴めません。ご教授お願いいたします

[hayataka2049]

難しいことをやろうとしていますね。自然言語処理の専門知識がないと無理でしょう。
というか、（似たような既存研究は探せばあるかもしれないけど）これがちゃんとできたら普通に最先端の研究として論文出せそうなタスクなので、目標が高すぎると思います。

[hayataka2049]

テキストマイニング的に単語単位で見てやれないのかを考えてみましたが、やはり意味と統語構造が取れないとどうしようもないタスクのような気がします。
今どきのDNN全盛のNLPで解くなら、1つの文書（ブログ記事とか）と1つのクエリ（「著者がいつもやっていることは何ですか？」とか）を与えられて答えを返すというシステムは研究されているのでそのへんを持ってきて、文書ごとにやって答えの分散表現の分布を見よう、みたいな話になるのかな……そんな高級なのはやすやすとは実装できない。

[hayataka2049]

もう少し簡易なので考えると、文ごとにparagraph vectorを作ってから、「早朝 していること」くらいの単語ベクトルと類似度の高いのを探す、とかである程度はできるでしょうか（すごくノイズ多そうだけど）。
クエリが先に決まっていれば、なんとかなるかな。決まっていないならクラスタリングして解釈すればテキストマイニング的に「分析」することはできるかもしれません。けど、けっこうたいへん。

[OkomekO]

回答ありがとうございました！

やはり、実装するためには文章を"理解"することが必要になってきますね…難しいです

簡易的なものについてですが、
クエリは決まってないのでクラスタリングした後の「テキストマイニング的に分析する」この部分の詳細を教えていただきたいです

[hayataka2049]

たくさんのクラスタに分けて（文単位だと数百はないと意味的なまとまりは出てこない気がします）、クラスタごとに含まれている文を目視で見ながら、「このクラスタの文はこういう意味」というラベルを貼っていきます。けっこう疲れる作業です。あるいは、クラスタ中心に近い個体を代表個体にしてもいいですが、やはりチェックは必要でしょう。
根気がいるし、報われる保証もまったくない作業です。そして、何を得たいのかが予め明確になっていない場合は、テキストマイニングは報われないことの方が多いです。
（クエリが決まっていればやりようはあるけど、漠然と知見を得ようと思っても漠然とした結果しか得られない）

[OkomekO]

少し調べてみたのですが、Doc2Vecなどで文章の分散表現を用いたものがそれに当てはまるのでしょうか？
追記
コメントの間隔がずれてしまいましたすみません気にしないでください