常連

```ここに言語を入力
#stopwordsの指定
!wget http://svn.sourceforge.jp/svnroot/slothlib/CSharp/Version1/SlothLib/NLP/Filter/StopWord/word/Japanese.txt

with open("/content/Japanese.txt","r") as f:
    stopwords = f.read().split("\n")

#Neologdによるトーカナイザー(リストで返す関数・名詞のみ)
def mecab_tokenizer(text):

    replaced_text = text.lower()
    replaced_text = re.sub(r'[【】]', ' ', replaced_text)       # 【】の除去
    replaced_text = re.sub(r'[（）()]', ' ', replaced_text)     # （）の除去
    replaced_text = re.sub(r'[［］\[\]]', ' ', replaced_text)   # ［］の除去
    replaced_text = re.sub(r'[@＠]\w+', '', replaced_text)  # メンションの除去
    replaced_text = re.sub(r'\d+\.*\d*', '', replaced_text) #数字を0にする

    path = "-d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd"
    mecab = MeCab.Tagger(path)
    parsed_lines = mecab.parse(replaced_text).split("\n")[:-2]
    
    # #表層形を取得
    # surfaces = [l.split('\t')[0] for l in parsed_lines]
    #原形を取得
    token_list = [l.split("\t")[1].split(",")[6] for l in parsed_lines]
    #品詞を取得
    pos = [l.split('\t')[1].split(",")[0] for l in parsed_lines]
    # 名詞,動詞,形容詞のみに絞り込み
    target_pos = ["名詞"]
    token_list = [t for t, p in zip(token_list, pos) if p in target_pos]
    
    # stopwordsの除去
    token_list = [t for t in token_list if t  not in stopwords]
    
    # ひらがなのみの単語を除く
    kana_re = re.compile("^[ぁ-ゖ]+$")
    token_list = [t for t in token_list if not kana_re.match(t)]
    
    return token_list
    
 #df全体に対してmecab_tokenizerを適用し、形態素解析を行なったリストを返す関数
def make_docs(df,column_number):
    docs=[]
    for i in range(len(df)):
        text = df.iloc[i,column_number]
        docs.append(mecab_tokenizer(text))
    return docs

#形態素解析の実行
docs_keiei_2203_lda = make_docs(df,2)
コード
```

上記のようなコードを記述すると
[Errno 2] No such file or directory: '/content/Japanese.txt'
のエラーが出ます。対処方法を教えていただきたいです。

[Errno 2] No such file or directory: '/content/Japanese.txt'　の対処方法

mecabをインストールして簡単なテストコードでうまく機能しているか確認したところ
`runtimeerror`が発生していてなかなか解決できません。
いろいろ調べてみて、[こちらのページ](https://github.com/SamuraiT/mecab-python3/issues/59)が一番解決に近いと思ったのですが、当方プログラミング初心者のため理解できず、立ち往生している状態です。
具体的に何をどうすれば良いかご教授いただけますでしょうか。



### 発生している問題・エラーメッセージ

```
Traceback (most recent call last):
  File "/Users/user/.pyenv/versions/3.9.4/lib/python3.9/site-packages/MeCab/__init__.py", line 133, in __init__
    super(Tagger, self).__init__(args)
RuntimeError

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "/Users/user/github/me-cab/mecab.py", line 27, in <module>
    mecab = MeCab.Tagger ("-Ochasen")
  File "/Users/user/.pyenv/versions/3.9.4/lib/python3.9/site-packages/MeCab/__init__.py", line 135, in __init__
    raise RuntimeError(error_info(rawargs)) from ee
RuntimeError: 
----------------------------------------------------------

Failed initializing MeCab. Please see the README for possible solutions:

    https://github.com/SamuraiT/mecab-python3#common-issues

If you are still having trouble, please file an issue here, and include the
ERROR DETAILS below:

    https://github.com/SamuraiT/mecab-python3/issues

issueを英語で書く必要はありません。

------------------- ERROR DETAILS ------------------------
arguments: -Ochasen
[ifs] no such file or directory: /Users/user/.pyenv/versions/3.9.4/lib/python3.9/site-packages/unidic/dicdir/mecabrc
----------------------------------------------------------
```

### 該当のソースコード

```python
import MeCab

mecab = MeCab.Tagger ("-Ochasen")
testwords = "今日の天気は晴れです。"
print(mecab.parse(testwords))
```

### mecabまわりでインストールしたものとそのバージョン

```
mecab of 0.996
mecab-ipadic-NEologd
swig 4.0.2 
mecab-python3 

```

mecabでRuntimeErrorが起こる

![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2024-09-24/94649e47-eb82-415e-a086-d91ab25397ba.png)


上記のcsvファイルを可視化しようと試みたのですが、文字化けやサイズ感が上手くいきません。
上位50列を指定して可視化するにはどのようなコードを記述すればよろしいでしょうか。


![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2024-09-24/4216951e-1115-4da6-bdb7-00ccc8ad8f90.png)

csvファイルを可視化　(グラフなど）

![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2024-09-18/d82ce608-eb7f-4795-9a9f-b57b2d85b61f.png)

[1]
model = SentenceBertJapanese("sonoisa/sentence-bert-base-ja-mean-tokens")

上記のようなコードを記述すると下記のようなエラーが発生します

The tokenizer class you load from this checkpoint is not the same type as the class this function is called from. It may result in unexpected tokenization. 
The tokenizer class you load from this checkpoint is 'BertTokenizer'. 
The class this function is called from is 'BertJapaneseTokenizer'

下記のサイトを参考にしています。
https://qiita.com/sonoisa/items/1df94d0a98cd4f209051

対処法またはsentence bert の日本語のダウンロードのコードを教えていただきたいです。

sentence bert ダウンロード仕方

###前提・実現したいこと
自然言語処理のプログラムをpythonで書いています。エラーを消したいです。

###発生している問題・エラーメッセージ
エラーは文字コード関連です。ちなみにこのエラーは何度も実行しているとたまにエラーが出ないでプログラムが動くことがあります。
```
line 115, in tokenize
    yield node.surface.lower()
UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 1-2: invalid continuation byte

```

###該当のソースコード
```python
def tokenize(self,text):#形態素解析して名詞だけ取り出す

        sentence = str(text)
        node = self.mecab.parseToNode(sentence)

        while node:
            if node.feature.split(',')[0] == '名詞':
                yield node.surface.lower()
            node = node.next
```

###試したこと
エンコードやデコードを試しましたが無理でした。それに、何回か実行すれば通ってしまうことがあるのが不思議です。

###補足情報(言語/FW/ツール等のバージョンなど)
使っているバージョンはpython3.6.1です。
OSはMacのSierraです。

pythonの文字コード系のエラーで困っています。



### 環境
OS　windows11 バーション21H2
Python 3.8.10[MSC v.1928 64 bit (AMD64)] on win32
mecab of 0.996

### コード
```ここに言語を入力
import MeCab
tagger = MeCab.Tagger()
print(tagger.parse('今日は自然言語処理をするための環境構築をおこないます。'))
```

### エラーメッセージ
```ここに言語を入力
Traceback (most recent call last):
  File "c:/Users/Owner/Desktop/python/hello.py", line 1, in <module>
    import MeCab
  File "C:\Users\Owner\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.8_qbz5n2kfra8p0\LocalCache\local-packages\Python38\site-packages\MeCab\__init__.py", line 10, in <module>
    from . import _MeCab
ImportError: DLL load failed while importing _MeCab: 指定されたモジュールが見つかりません。
```

現状
・システム環境変数のpathに「C:\Program Files\MeCab\bin」を設定
・pip install mecab-python3でパッケージインストール
これまでに試したこと
・[https://teratail.com/questions/351366](url)を参考に、
１．\Python38\site-packages\MeCabの削除、動作確認(同じエラー文)→元に戻す
２．pip uninstall mecab-python3
３．libmecab.dllをsite-packages下にコピーで動作確認(同じエラー文)、その後削除
４．pip install mecab-python3 unidic-lite





「ImportError: DLL load failed while importing _MeCab: 指定されたモジュールが見つかりません。」の解決方法について

自然言語処理の勉強のためM1macにGINzaをインストールしようと思い、ターミナルで
```terminal
pip install -U ginza ja-ginza-electra
```
を実行したところ、
```ここに言語を入力
Building wheel for SudachiPy (pyproject.toml) did not run successfully.
exit code: 1
```

```ここに言語を入力
ERROR: Failed building wheel for SudachiPy
  Building wheel for spacy-alignments (pyproject.toml) ... error
  error: subprocess-exited-with-error
```
```ここに言語を入力
Building wheel for spacy-alignments (pyproject.toml) did not run successfully.
exit code: 1
```
```ここに言語を入力
ERROR: Could not build wheels for SudachiPy, spacy-alignments, tokenizers, which is required to install pyproject.toml-based projects
```
こういったエラーが出てインストールができない状況となっております。
このエラーを解消するにはどのような方法がございますでしょうか。
なお、環境はcondaの仮想環境でpythonは3.9（M1チップ用）です。


GINZAのインストール時のエラーについて

### 前提・実現したいこと

プログラミング初心者なのですがpythonで文章の名詞と動詞を種類ごとに辞書に格納していきその数を数え、それをpickleに保存していくソースコートを作りたいです。
TypeError: list indices must be integers or slices, not tuple
というエラーが発生してしまいます。
どうしたら、このエラーが出ずに正常にコードを動かすことができるでしょうか？

### 発生している問題・エラーメッセージ

```
File "/Applications/MAMP/卒業研究/データ収集プログラム.py", line 38, in <module>
    mydict[token.surface,token.feature] += 1
TypeError: list indices must be integers or slices, not tuple
```

### 該当のソースコード

```python
#!/usr/bin/python
# -*- coding: utf-8 -*-

import CaboCha
import pprint
import pickle

# c = CaboCha.Parser("");
c = CaboCha.Parser("")

mydict = {}

pickle_in = open('/Users/k16095kk/mydict.pickle','rb')
mydict = pickle.load(pickle_in)


sentence = "帽子を返す 帽子を返す 帽子を返す"

#print c.parseToString(sentence)

#tree =  c.parse(sentence)
#
tree =  c.parse(sentence)

for i in range(tree.token_size()):
    token = tree.token(i)
    print (' Normalized:', token.normalized_surface)
    print (' Feature:', token.feature)
    if ('動詞') in token.feature:
     if (token.surface, token.feature) not in mydict:
      mydict[token.surface,token.feature] = 1
     else:
      mydict[token.surface,token.feature] += 1
    if ('名詞') in token.feature:
     if (token.surface, token.feature) not in mydict:
      mydict[token.surface,token.feature] = 1
     else:
      mydict[token.surface,token.feature] += 1
    pickle_out = open('/Users/k16095kk/mydict.pickle','wb')
    pickle.dump(mydict, pickle_out)
    pprint.pprint(mydict)
    pickle_out.close()
    print ()

```

### 試したこと

調べてみてもなにを試したらいいかわからなかったのでなにも試せてないです

### 補足情報（FW/ツールのバージョンなど）
mecab
Cabocha