【python】自然言語処理でテキストから日本語の名刺だけ抽出したい

Question

やりたいこと

自然言語処理について勉強しています。
Wikipediaのxmlデータからテキストを抜き出して処理をしようと思ってます。
抜き出したテキストは用意できましたが，テキスト中にリンクやタグ，数字などがあるので前処理としてテキストクリーニングしてテキストから日本語の名詞部分のみを抽出したいのですが，指定したい正規表現がわからなくて困ってます．
（＊調査時にMeCabに通すときに日本語文字列の名刺だけピックアップできればいいのではないかなとも思いました．）

取り除きたいものは(re.subで’’に置き換えたい)
0. tag(<title>,<id>,<text>など)
1.http〜などのリンク部分（英語も全て）
2.無駄なスペース
3.数字(5や1994など)
プログラミングはあまり得意ではないです。
日本語の名詞だけを抜き出した後，重複単語を除いた単語リストを作成し，word2vecで単語間の類似度を算出したリストを生成したいです．

実行環境

Macbook pro(2017)
OS:11.6.7

以下に現在のソースコードを貼り付けます。

# -*- coding: utf-8 -*-
import MeCab
from tqdm import tqdm
from gensim.models.doc2vec import Doc2Vec
import pandas as pd
import math
import re
print("モデルロード")
model = Doc2Vec.load("jawiki.doc2vec.dbow300d.model")
myfile = open('history_0text.txt')
# 以下に抽出したい文textここをファイルを読み込むように変更

text = myfile.read()
m = MeCab.Tagger("-Ochasen")
mp = MeCab.Tagger()
# m.parse("")
print("処理開始")
removeW = re.compile(
    '[!"#$%&\'\\\\()*+,-./:;<=>?@[\\]^_`{|}~「」〔〕“”〈〉『』【】＆＊・（）＄＃＠。、？！｀＋￥％　]')


text = removeW.sub('', text)
print("text clesn complite!")
# print(text)
# f=open('simw_d2v_2.txt',"w")
#paragraf =mp.parse(text).split('\n')
nouns = [line.split()[0] for line in m.parse(text).splitlines()
         if "名詞" in line.split()[-1]]  # ここをへんこうする
for str in nouns:
    str.split()

 # type:strで格納済み
# print(nouns)#中身の確認
a = 0
l_size = len(nouns)
b = 0
simd = {}
simt = []
wsimx = {}
wsimid = {}
eject = []

# ここで重複単語の除外
print("重複単語除外")
nouns2 = []
for x in nouns:
    if not x in nouns2:
        nouns2.append(x)
        
l_size2 = len(nouns2)
# print(nouns2)
# print(l_size2,"単語")
listn = [[None]*l_size2 for i in range(l_size2)]
# 辞書の作成key=nouns2,value=none
for x in nouns2:
    simd.setdefault(x, [])

# 処理　本体

print("計算中")
for a in range(0, l_size2):
    l_size2 = len(nouns2)
    print(l_size2)
    w1 = nouns2[a]
    # simw=[for i in range(l_size2)]
    print("単語：（", w1,")", a+1, "回目")

    # simw[a].append(w1)
    for b in range(0, l_size2):
        print(b)
        w2 = nouns2[b]
        if w2 not in model.docvecs:
            eject.append(w2)
            nouns2.remove(w2)
            # print("deleated\t:"+w2)
            continue

        sim = model.docvecs.similarity(w1, w2)
        listn[a][b] = sim

        if sim >= 0.8:
            # print(w1,"類義語：",w2)

            simd[w1].append(w2)

    # print("類語　",w1,"：",simd[w1])

print("処理を", a+1, "回実行しました")
for k, v in simd.items():
    print("単語", k, "値:", v)


# 類語辞書作成


print("makeing simdictionaly...")
samw = 0
for i in range(0, l_size2):
    wsimid[i] = 0
    # print(wsimid)
    for alpha in simd.keys():
        list1 = simd.get(alpha)
        if i <= 140:
            # print(i,list1)
            for x in list1:
                # c=nouns.count(x)
                # xid=wsimx.get(x)
                # print(x,":",c)
                #samw += c
                wsimx.setdefault(x, i)
                # wsimid[xid]=wsimid.get(xid)+c
                # wsimid[xid]=c
        i += 1


print("単語からid辞書", wsimx)
print("idから出現個数リスト(値は0）", wsimid)

欲しい出力の一例です。これから数字も除外したいです。

#text = "湖山池 湖山池 は  鳥取 県 鳥取 市 に ある 湖 で ある なお 池 と 付く 湖沼 の 中 で は 日本 の 広 さ で も ある  姉妹 湖 として 島根 県 の 神西湖 が ある 湖山池 は 、 鳥取 で は 中海 の に 大きい 湖沼 で  古代 に 日本海 から し た 場所 が 砂丘 の 発達 や 堆積 により 海 と さ れ て でき た 海 跡 湖 で も ある 。 大小 の 小島 が 浮かぶ の 島 の 青島 に は から 架橋 さ れ て おり の 木 が 植え られ た 道路 で 徒歩 や 自転車 により する こと が でき  キャンプ も 数 本 の が 、 川 によって 日本海 と 結ば れ て おり  鳥取 市 郊外 の 地 の と なっ て いる 地区 で は 的 に も 珍しい 石 漁 が に 行わ れ  石 の に 潜む  を 棒 で つつい て する で 、 県 の 文化財 に さ れ て いる  の 自治 や NPO が に 努め て い て 、 間 中 に は 石 祭 も 行わ れる 。 姉妹 湖 の 神西湖  シジミ も よく 穫 れる 。 広大 な を 有し て い た 長者 が 、 日没 まで に 田植え が 終わら なかっ た 扇子 で を 招き 返し て 田植え を 終え た が 、 一夜 明ける と 田 は 池 に 変わっ て い た  という 長者  の 伝説 が 知ら れ て いる  似 た よう な 話 が 岐阜 市 の が 池 に 伝わっ て いる　古く から 開け た 地域 で あり  青島 周辺 に は 縄文 時代 から 弥生 時代 にかけて の 遺跡 が  また 時代 に は 東側 の 湖畔 に 守護 所 で ある 天神山 城 が 置か れ  西側 の 湖畔 に 突き出 た 半島 に は 国人 領主 の 吉岡 氏 の 居城 だっ た が 築か れ た は  JR 山陰本線 駅 駅 1995 年 7 月 27 日 鳥取 駅 が 加わっ た  また 、 鳥取 駅 駅 の 間 で は 南 に 池 の 美しい 風景 が 見える  ちなみに の 海 は 松林 で ある 。 2013 年 3 月 、 アザラシ が 発見 さ れ た 。 2012 年 3 月 に が と なっ た 川 を通じて 日本海 から 入っ て き た と 考え られる  2  2014 年 10 月 19 日  約 30 年 に 船 の を 3  画像 青島 石 が ま 歌川 脚注  脚注 の 国土 地理 院  2018 年 10 月 1 日   平成 30 年 都道府県 面積 調 湖沼 面積 2019 年 2 月 3 日 閲覧 日本 の 池 、 水門 鳥取 初 の 化  47 2012 年 3 月 12 は  濃度 の 上昇 に 伴い 環境 が 変化 し た 存在 し ない 類 が し から し て い た 類 が 絶滅 し つつ ある  ニュース  山陰放送   山陰放送 2014 年 10 月 20 日 閲覧 関連 に は  湖山池 に 関連 する カテゴリ が あり ます  日本 の 湖沼  天神山 城  石 漁 東郷池  鳥取 県 中部 に ある 湖 で は も 池 と 呼ぶ "

Comments

[quickquip]

このコードが何で、何のために貼ったのかの説明と、質問が書かれていないようです。何を答えたらいいのか分かりません。

[melian]

数字を除外すると、例えば「1995 年 7 月 27 日」は「年 月 日」、「約 30 年」は「約 年」となってしまいますが、それで構いませんか？

[quickquip]

> 欲しい出力の一例です。
の、 "は", "に" は助詞です。"ある", "付く" は動詞です。"なお"は(ここでは)接続詞です。

名詞だけ抽出したい と 欲しい出力の一例 のどちらを信じたらいいでしょう。

[studyprg]

日本語の名詞だけを抽出したいです．数字もいりません．

[quickquip]

質問を編集してください。コードも「関係ない」と書いてある部分があるみたいなのでそこら辺は削除した方がいいと思います。

[studyprg]

了解です

[tuyioj]

コラボラトリーで動くwikiからスクレイピングして重複したものを削除した状態で名詞を出す一例
```python
import re
import requests#webからデータを持ってくるやつ
from bs4 import BeautifulSoup#持ってきたHTMLを加工するやつ？

#スクレイピング処理の大枠----------------------------------------------------------
url = 'https://ja.wikipedia.org/wiki/%E6%B9%96%E5%B1%B1%E6%B1%A0'
res = requests.get(url)

e=[]#後でねじ込む用の配列

soup = BeautifulSoup(res.text, "html.parser")
soup2 = soup.find(class_="mw-parser-output")#WIKIのメインのクラス
for element in soup2.find_all("p"):# その中のｐ(段落だけ)
e.append(element.text)#一行づつ表示される段落を配列に入れていく

e = ''.join(e) #配列を一つの文字列にしてる
#--------------------------------------------------------------------------------------------

#テキストクリーニング？---------------------------------------------------
e=re.sub(r"\n", "",e)#一行づつ配列に入れる時に改行文字が混じったから消しとく
e=re.sub(r'[a-zA-Z0-9]+', "", e)#英数字をすべて消す
e=e.replace("[]", "")#脚注で無意味に混じった[]の削除
e
#----------------------------------------------------------------------------------------

#コメントアウトしてるけどMeCab使うならコメント外して回す
#!apt install aptitude
#!aptitude install mecab libmecab-dev mecab-ipadic-utf8 git make curl xz-utils file -y
#!pip install mecab-python3==0.7

#使うテキストと単語帳っぽいもの
text = e
m = MeCab.Tagger("-Ochasen")

#テキストを単語帳の単語(文節？)で区切る
nouns = [line for line in m.parse(text).splitlines()
if "名詞" in line.split()[-1]]

a=[]#文節で分けられたやつを配列に入れて
for str in nouns:
a.append(str.split())

b=[]#配列の0番目に入ったオリジナル？を重複を消して配列に入れる
for i in range(len(a)):
b.append(a[i][0])
print(list(set(b)))
```

正直質問の長いコードの中で何をしているのか何が出来ないのかがわからないから適当にやったけど
正規表現とかMeCabとか単語は拾えてるんだからもうちょっと今やっていることをまとめれると助かる
最近になってpythonでプログラム組むようになった人間だけど上のやつは
python スクレイピング
re.sub 正規表現　数字
mecab 名詞 抽出
これで出てきたやつのコピペと軽い修正で出来てるからそこそこ単語拾えてるならいけるはず

[studyprg]

ありがとうございます．
ベストアンサーにしたいので解答に記述していただけませんか？

Answer 1

import re
import requests#webからデータを持ってくるやつ
from bs4 import BeautifulSoup#持ってきたHTMLを加工するやつ？

#スクレイピング処理の大枠----------------------------------------------------------
url = 'https://ja.wikipedia.org/wiki/%E6%B9%96%E5%B1%B1%E6%B1%A0'
res = requests.get(url)

e=[]#後でねじ込む用の配列

soup = BeautifulSoup(res.text, "html.parser")
soup2 = soup.find(class_="mw-parser-output")#WIKIのメインのクラス
for element in soup2.find_all("p"):# その中のｐ(段落だけ)
e.append(element.text)#一行づつ表示される段落を配列に入れていく

e = ''.join(e) #配列を一つの文字列にしてる
#--------------------------------------------------------------------------------------------

#テキストクリーニング？---------------------------------------------------
e=re.sub(r"\n", "",e)#一行づつ配列に入れる時に改行文字が混じったから消しとく
e=re.sub(r'[a-zA-Z0-9]+', "", e)#英数字をすべて消す
e=e.replace("[]", "")#脚注で無意味に混じった[]の削除
e
#----------------------------------------------------------------------------------------

#コメントアウトしてるけどMeCab使うならコメント外して回す
#!apt install aptitude
#!aptitude install mecab libmecab-dev mecab-ipadic-utf8 git make curl xz-utils file -y
#!pip install mecab-python3==0.7

#使うテキストと単語帳っぽいもの
text = e
m = MeCab.Tagger("-Ochasen")

#テキストを単語帳の単語(文節？)で区切る
nouns = [line for line in m.parse(text).splitlines()
if "名詞" in line.split()[-1]]

a=[]#文節で分けられたやつを配列に入れて
for str in nouns:
a.append(str.split())

b=[]#配列の0番目に入ったオリジナル？を重複を消して配列に入れる
for i in range(len(a)):
b.append(a[i][0])
print(list(set(b)))