常連

自然言語処理の勉強のためM1macにGINzaをインストールしようと思い、ターミナルで
```terminal
pip install -U ginza ja-ginza-electra
```
を実行したところ、
```ここに言語を入力
Building wheel for SudachiPy (pyproject.toml) did not run successfully.
exit code: 1
```

```ここに言語を入力
ERROR: Failed building wheel for SudachiPy
  Building wheel for spacy-alignments (pyproject.toml) ... error
  error: subprocess-exited-with-error
```
```ここに言語を入力
Building wheel for spacy-alignments (pyproject.toml) did not run successfully.
exit code: 1
```
```ここに言語を入力
ERROR: Could not build wheels for SudachiPy, spacy-alignments, tokenizers, which is required to install pyproject.toml-based projects
```
こういったエラーが出てインストールができない状況となっております。
このエラーを解消するにはどのような方法がございますでしょうか。
なお、環境はcondaの仮想環境でpythonは3.9（M1チップ用）です。


GINZAのインストール時のエラーについて

### 実現したいこと

Googleコラボにて、GiNZAを用いて係り受け解析をしています。
その際に、係り受け解析の際の解析結果の可視化画像を保存したいと思っています。

### 前提
実行環境
- Googleコラボ
- Python
- GiNZA

### 発生している問題・エラーメッセージ

```
AttributeError                            Traceback (most recent call last)
<ipython-input-16-67604b0009fe> in <cell line: 1>()
----> 1 displacy.render(doc, style='dep', jupyter=True, options={'compact':True, 'distance': 90}).save=("kakariuke.png")

AttributeError: 'NoneType' object has no attribute 'save'
```

### 該当のソースコード

```ここに言語名を入力
import spacy
from spacy import displacy
nlp = spacy.load('ja_ginza')
doc = nlp('優しくしないでほしいあたしのことを')

for sent in doc.sents:
    for token in sent:
        print(token.text+' ← '+token.head.text+', '+token.dep_)

displacy.render(doc, style='dep', jupyter=True, options={'compact':True, 'distance': 90})
```

### 試したこと

```
displacy.render(doc, style='dep', jupyter=True, options={'compact':True, 'distance': 90}).save
```
とするも、エラー。
- 該当行を変数にして、「変数名.save」でもうまくいかず...

### 補足情報（FW/ツールのバージョンなど）
𠮟咤激励含めて些細なことでも構いませんので、よろしくお願いします。



係り受け解析において結果の可視化画像の保存をしたい。

mecabをインストールして簡単なテストコードでうまく機能しているか確認したところ
`runtimeerror`が発生していてなかなか解決できません。
いろいろ調べてみて、[こちらのページ](https://github.com/SamuraiT/mecab-python3/issues/59)が一番解決に近いと思ったのですが、当方プログラミング初心者のため理解できず、立ち往生している状態です。
具体的に何をどうすれば良いかご教授いただけますでしょうか。



### 発生している問題・エラーメッセージ

```
Traceback (most recent call last):
  File "/Users/user/.pyenv/versions/3.9.4/lib/python3.9/site-packages/MeCab/__init__.py", line 133, in __init__
    super(Tagger, self).__init__(args)
RuntimeError

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "/Users/user/github/me-cab/mecab.py", line 27, in <module>
    mecab = MeCab.Tagger ("-Ochasen")
  File "/Users/user/.pyenv/versions/3.9.4/lib/python3.9/site-packages/MeCab/__init__.py", line 135, in __init__
    raise RuntimeError(error_info(rawargs)) from ee
RuntimeError: 
----------------------------------------------------------

Failed initializing MeCab. Please see the README for possible solutions:

    https://github.com/SamuraiT/mecab-python3#common-issues

If you are still having trouble, please file an issue here, and include the
ERROR DETAILS below:

    https://github.com/SamuraiT/mecab-python3/issues

issueを英語で書く必要はありません。

------------------- ERROR DETAILS ------------------------
arguments: -Ochasen
[ifs] no such file or directory: /Users/user/.pyenv/versions/3.9.4/lib/python3.9/site-packages/unidic/dicdir/mecabrc
----------------------------------------------------------
```

### 該当のソースコード

```python
import MeCab

mecab = MeCab.Tagger ("-Ochasen")
testwords = "今日の天気は晴れです。"
print(mecab.parse(testwords))
```

### mecabまわりでインストールしたものとそのバージョン

```
mecab of 0.996
mecab-ipadic-NEologd
swig 4.0.2 
mecab-python3 

```

mecabでRuntimeErrorが起こる

## テーマ

英会話シミュレーションシステムの開発に関して

## 質問

研究で、VR空間上の病院や空港でアバターとの会話を行う英会話のシミュレーションを行う言語学習システムを開発しようと考えています。
VR空間の開発はUnityを用いる予定です。
そこで、アバターの会話システムを構築する方法として、IBM Watson Assistant やAzure Bot Service などにより構築することを考えています。
会話システムに求める条件は、APIなどを用いてUnity上で使用することができること、商業用のチャットボットのような選択肢による会話でなく、言葉で会話をすることができるものとしています。
また、会話システムの開発期間は1か月程度で考えており、質問者はPythonやR、自然言語処理に関する知識は多少あります（簡単な言語自動生成の開発など）。
以上を踏まえて、
**今回の会話システムの開発方法として、おすすめのサービスやプログラミング言語などとその理由**
に関して、ご意見をいただければ幸いでございます。

## 調査、検討したこと

IBM Watson Assistant を用いてチャットボットを開発してみたところ、フリーテキストによる会話の構築において自由度が低いと感じました（自分の使い方が悪いのかもしれませんが...）。
また、Azure Bot Service に関してはチャットボットの構築の仕方がわからずに、作業に躓いているという状況です...


英会話シミュレーションシステムの開発方法

### 実現したいこと

Google Colabで日本語WordNetを扱いたい

参考として以下の記事を実行しようとしています
https://qiita.com/tchih11/items/aef9505d26d1bf06a04c
### 前提
記事中の「日本語wordnetをDLして解凍→synset(概念ID)とlemma(単語)の組み合わせDataFrameの作成」がうまくいきません


### 該当のソースコード

```python
import gzip
import shutil
import sqlite3
import pandas as pd
import random
from math import ceil

# 日本語wordnetをDLして解凍
! wget "http://compling.hss.ntu.edu.sg/wnja/data/1.1/wnjpn.db.gz"  # 1~2分

with gzip.open('wnjpn.db.gz', 'rb') as f_in:
    with open('wnjpn.db', 'wb') as f_out:
        shutil.copyfileobj(f_in, f_out)

# synset(概念ID)とlemma(単語)の組み合わせDataFrameの作成
conn = sqlite3.connect("wnjpn.db")
q = 'SELECT synset,lemma FROM sense,word USING (wordid) WHERE sense.lang="jpn"'
sense_word = pd.read_sql(q, conn)
```

### 試したこと
恐らくリンク切れだと思うので、wnjpn.db.gzは https://bond-lab.github.io/wnja/ こちらから直接ダウンロードし、colab上にアップロードしました
しかし以下のコードを実行すると、wnjpn.dbはできるのですがエラーが出ます
```
with gzip.open('wnjpn.db.gz', 'rb') as f_in:
    with open('wnjpn.db', 'wb') as f_out:
        shutil.copyfileobj(f_in, f_out)
```
error: Error -3 while decompressing data: invalid stored block lengths

その後、エラーを無視して以下のコードを実行すると、やはりエラーが出ます
```
conn = sqlite3.connect("wnjpn.db")
q = 'SELECT synset,lemma FROM sense,word USING (wordid) WHERE sense.lang="jpn"'
sense_word = pd.read_sql(q, conn)
```
DatabaseError: Execution failed on sql 'SELECT synset,lemma FROM sense,word USING (wordid) WHERE sense.lang="jpn"': database disk image is malformed

どのように解決できるでしょうか


Google Colabで日本語WordNetを扱う際のエラーについて

###前提・実現したいこと
自然言語処理のプログラムをpythonで書いています。エラーを消したいです。

###発生している問題・エラーメッセージ
エラーは文字コード関連です。ちなみにこのエラーは何度も実行しているとたまにエラーが出ないでプログラムが動くことがあります。
```
line 115, in tokenize
    yield node.surface.lower()
UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 1-2: invalid continuation byte

```

###該当のソースコード
```python
def tokenize(self,text):#形態素解析して名詞だけ取り出す

        sentence = str(text)
        node = self.mecab.parseToNode(sentence)

        while node:
            if node.feature.split(',')[0] == '名詞':
                yield node.surface.lower()
            node = node.next
```

###試したこと
エンコードやデコードを試しましたが無理でした。それに、何回か実行すれば通ってしまうことがあるのが不思議です。

###補足情報(言語/FW/ツール等のバージョンなど)
使っているバージョンはpython3.6.1です。
OSはMacのSierraです。

pythonの文字コード系のエラーで困っています。

### 実現したいこと

プログラミング初心者です。
Google Driveで自然言語処理でマルチラベル分類を試している最中なのですが、学習の際に「InvalidArgumentError: Graph execution error:」というエラーが出てきてしまい、改善できなくて困っております。

model.summaryまでは問題なく動くのですが、fit_generatorがどうしてもうまくいきません。
理解が浅く大変申し訳ないのですが、どうかご教授していただければ幸いです。
よろしくお願いいたします。



### 前提

    model.fit_generator(generator('df_train.pickle', batch_size),
                        steps_per_epoch=4932//batch_size,
                        validation_data=generator('df_test.pickle', batch_size),
                        validation_steps=1645//batch_size,
                        callbacks=[hist], epochs=1)
上記のコードの部分のpickleには、
df_train.pickle→(4932,2)
df_test.pickle(1645,2)でデータフレームが格納されています。
また、データフレームの列の0番目は符号化した文章、1番目はマルチラベルが格納されています。

### 発生している問題・エラーメッセージ

```
InvalidArgumentError                      Traceback (most recent call last)
<ipython-input-38-2becdecf9c94> in <cell line: 134>()
    133 
    134 if __name__ == "__main__":
--> 135     train(True)

3 frames
/usr/local/lib/python3.10/dist-packages/tensorflow/python/eager/execute.py in quick_execute(op_name, num_outputs, inputs, attrs, ctx, name)
     50   try:
     51     ctx.ensure_initialized()
---> 52     tensors = pywrap_tfe.TFE_Py_Execute(ctx._handle, device_name, op_name,
     53                                         inputs, attrs, num_outputs)
     54   except core._NotOkStatusException as e:

InvalidArgumentError: Graph execution error:

Detected at node 'model_16/embedding_18/embedding_lookup' defined at (most recent call last):
    (省略)
    File "/usr/local/lib/python3.10/dist-packages/keras/utils/traceback_utils.py", line 96, in error_handler
      return fn(*args, **kwargs)
    File "/usr/local/lib/python3.10/dist-packages/keras/layers/core/embedding.py", line 272, in call
      out = tf.nn.embedding_lookup(self.embeddings, inputs)
Node: 'model_16/embedding_18/embedding_lookup'
indices[112,1] = 1723 is not in [0, 128)
	 [[{{node model_16/embedding_18/embedding_lookup}}]] [Op:__inference_train_function_7121]
```

### 該当のソースコード

```Python
from keras.layers import Conv1D,Conv2D, BatchNormalization, Activation, Input,Flatten,MaxPooling1D
from keras.layers import AveragePooling2D, GlobalAveragePooling2D, Dense, Embedding, Dropout
from keras.models import Model
from keras.callbacks import History
from keras.optimizers import SGD
import keras.backend as K

import pandas as pd
import numpy as np
import pickle

def create_network():
  max_length=128
  embedding_size=128
  filters=64
  kernel_size = 3

  input=Input(shape=(max_length)) 
  x=Embedding(max_length, embedding_size)(input) 

  x=Conv1D(filters,kernel_size, padding='same', activation='relu', strides=1)(x) 
  
  x=MaxPooling1D(pool_size=2)(x)
  x=Flatten()(x)

  x=Dense(50, activation="relu")(x)
  x=Dropout(0.5)(x)

  x=Dense(10, Activation('sigmoid'))(x)

  return Model(input, x)


# ジェネレーター
def generator(df_path, batch_size):
    with open(df_path, 'rb') as f:
      df = pickle.load(f)
    df = df.values
    while True:
        img_cahce, label_cache = [], []
        indices = np.arange(df.shape[0])
        np.random.shuffle(indices)
        for i in indices:
            img_cahce.append(df[i, 0]) #image
            label_cache.append(df[i, 1]) #label
            if len(img_cahce) == batch_size:
                #X_batch = np.asarray(img_cahce, np.float32) / 255.0
                #y_batch = np.asarray(label_cache, np.float32)
                X_batch = np.asarray(img_cahce, np.float32)
                y_batch = np.asarray(label_cache, np.float32)
                img_cahce, label_cache = [], []
                yield X_batch, y_batch


# 損失関数
def categorical_loss(y_true, y_pred):
    return K.categorical_crossentropy(y_true, y_pred)

def binary_loss(y_true, y_pred):
    bce = K.binary_crossentropy(y_true, y_pred)
    return K.sum(bce, axis=-1)


# 評価関数
def total_acc(y_true, y_pred):
    pred = K.cast(K.greater_equal(y_pred, 0.5), "float")
    flag = K.cast(K.equal(y_true, pred), "float")
    return K.prod(flag, axis=-1)

def binary_acc(y_true, y_pred):
    pred = K.cast(K.greater_equal(y_pred, 0.5), "float")
    flag = K.cast(K.equal(y_true, pred), "float")
    return K.mean(flag, axis=-1)



def train(use_binary_loss):
    model = create_network()
    if use_binary_loss:
      #モデルの設定
      #SGD：ミニバッチ学習
        model.compile(SGD(0.01, 0.9), loss=binary_loss, metrics=[total_acc, binary_acc])
    else:
        model.compile(SGD(0.01, 0.9), loss=categorical_loss, metrics=[total_acc, binary_acc])

    hist = History() #学習経過

    model.summary() #モデル確認

    batch_size = 128

    model.fit_generator(generator('df_train.pickle', batch_size),
                        steps_per_epoch=4932//batch_size,
                        validation_data=generator('df_test.pickle', batch_size),
                        validation_steps=1645//batch_size,
                        callbacks=[hist], epochs=1)

    history = hist.history

    #保存
    with open(f"multiclass_binary_{use_binary_loss}.dat", "wb") as fp:
        pickle.dump(history, fp)

if __name__ == "__main__":
    train(True)
```




InvalidArgumentError: Graph execution error: が解決できません

## テーマ、知りたいこと

スクレイピングの法的性について

## 背景、状況

大学の研究でサイトのレビューをスクレイピングにて取得したいのですが、法律的に大丈夫ですかね。。
ご意見いただけると幸いです。

## 補足情報
レビューに使用したいのは以下のサイトです。
[映画.com利用規約](https://eiga.com/info/kiyaku/)

