常連

回答者

拍手喝采

自己紹介

### 実現したいこと
ログイン不要で使用できる翻訳サイトをnext.jsにて作成しています。
作成にあたりサイト内にAPIを設置するのですが、そのAPIの保護方法について教えていただきたいです。

### 発生している問題・分からないこと
ログイン不要で使用できるようにしたいため、APIの保護方法が全く分かりません。
具体的にはAPIを自分の作成するサイト以外から使用できないようにしたいのです。

自分のサイトのフロントエンドのみリクエストを許可し、別の人が作ったプログラムなどからリクエストをしても使用できないように、ということです。



### 該当のソースコード

```
特になし
```

### 試したこと・調べたこと
- [x] teratailやGoogle等で検索した
- [ ] ソースコードを自分なりに変更した
- [ ] 知人に聞いた
- [x] その他

##### 上記の詳細・結果
JWTトークンを利用しようかと思って以下のような実装をした

サイトにアクセスすると自動的にトークンを発行
↓
HttpOnlyCookieにトークンを保存
↓
トークンとともにAPIにアクセス
↓
トークンの期限が切れていたら再度トークン取得

でもこれでは意味ないのでは、と思いました。
攻撃者がトークンを発行するAPIを叩いたら不正利用できてしまうし、これだけならばトークンを使っても使わなくてもリスクはそこまで変わらないのでは、と....

### 補足
提案いただけますと幸いです。
こう検索すれば出てくるよなどでも構いません。

DeepLの場合APIリクエストを単純に再送信してもエラーが出てしまうのですが、どうしてなのでしょうか。
どういった仕組みなのでしょうか。
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2024-08-31/72b34c77-37c8-4b17-bc49-46075f9c7788.png)

![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2024-08-31/ea49d5dd-2eb5-4706-b018-fc2674ee436e.png)

【短文可】ログイン不要なサイトにおけるAPIの保護手法について

### 実現したいこと
pdf上の枠線が無いテーブルを読み込む方法、または連続するテキストとして取得する方法を教えてください。


### 発生している問題・分からないこと
![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2024-08-04/5d5a57cd-cdd1-4c88-abc6-8d985ce99193.png)
上記のpdfから**1.株式の売り出し**セクションにあるテーブルを読み込みたいのですが枠線がないためかテーブルとして取得できません。
現在僕が使用しているのはtabula.ioパッケージのread_pdfです。
```python
dfs = read_pdf(hrefLink, pages=1, pandas_options={'header': None})
```
上記のコードでは取得されるテーブルは0個となってしまいます。

またテキストとして読み込むとページの中間で分かれている為に必要な項目(右側)がタイトル(左側)と乖離してしまいます。使用しているのはpdfminer.high_levelパッケージのextract_textです。

```python
with request.urlopen(hrefLink) as res:
　　f = BytesIO(res.read())
　　text = extract_text(f)
```

**取得されたテキストの例**
(1) 売出価格
(2)売出価格の総額
・
・
・
1株につき1,344円
2,946,048,000円

求める解決策としては以下のどちらかであればうれしいです。
0. テーブルとして読み込める
1. 左右に分かれているテキストを連続した文として取得する。例：(1)売出価格1株につき1,344円



### 該当のソースコード

```
特になし
```

### 試したこと・調べたこと
- [x] teratailやGoogle等で検索した
- [x] ソースコードを自分なりに変更した
- [ ] 知人に聞いた
- [ ] その他

##### 上記の詳細・結果
上記記載の求める回答に該当する情報は見つかりませんでした。
tabulaのスペースに関する引数に関しても読みましたがわかる範囲では役立つ方法を見つけられませんでした。

### 補足
特になし

[python] pdf上の枠線が無いテーブルを読み込む方法

こんにちは。
文字列内で行・列を表すインデックスを文字列の先頭を0として始まるインデックスへ高速に変換したいのですが、自分ではうまく実装できないので、　より良い方法を教えていただきたいです。
インデックスが大きくなっても処理速度が極端に遅くなったりすることがないような実装はありますか？

IndexOfを使って実装したコード(インデックスが大きくなると遅くなる):
```C#
int GetCharIndex( string text, int line, int col )
{
    string code = "\r\n";
    int inLine = line;

    int begin = 0;
    for (int i = 0; true; i++ )
    {
        if (line == 0)
        {
            if (inLine != 0)
                begin += code.Length - 1;
            break;
        }
        begin = text.IndexOf(code, begin);
        if (begin == -1)
        {
            return -1;
        }
        line--;
        begin++;
    }

    return begin + col;
}
```

C#で行・列インデックスから文字列内のインデックスへの高速変換

VBAでフォームに品番を入力したときに、その品番に該当する画像（JPG）をフォーム上に縮小して表示するようにしています。
その時、図面のような画像だと線が所々消えてしまいきれいに描画されません。![イメージ説明](https://ddjkaamml8q8x.cloudfront.net/questions/2022-08-26/011cfaac-22fd-4ade-8111-4a0f8fa2b554.png)

表示する画像は他でも使用している為、ある程度大きいサイズをユーザーフォームに縮小して表示したいです。

なおユーザーフォームはサイズ可変できるようにしてあり、Imageもユーザーフォームに合わせて下記にようにサイズ可変しています。（ユーザーフォームの約90％になるように）

If Me.Width > 150 Then Me.img.Width = (Me.Width - 150) * 0.9
If Me.Height > 100 Then Me.img.Height = Me.Height * 0.9
　（If文はサイズが0以下になった時に発生するエラー対策）

画像縮小の補間方法を指定する？などネット上で検索しましたが、構文が分からず解決できていません。
（VBAでの情報が少なく・・・）

フォームに縮小表示する画像をきれいに（なめらか）に表示する方法をご教示お願い致します。

【VBA】ユーザーフォームに画像を縮小して表示する時の画質向上について

# クローズします

まだまだ不具合は**山ほど**(社会的に見て致命的と思えるものも多数)ありますが、運営状況から見て、運営の方はこれで修正が一段落したと考えているように思われます。

これ以上はここに報告しても参考にされることはないであろうと思いますので、一端クローズとさせていただきます。
これ以降は、各自直接運営の方に報告していただければと思います。

どの報告も大事ですが、クローズするにはシステム上ベストアンサーを決めなければならないので、現時点で最も高評価な回答をベストアンサーに決めさせていただきます。

大勢のご協力、ありがとうございました。

運営はなしのつぶてなので、何の責任もない私が代わりにお礼申し上げます。

---
大規模メンテナンスが終わりましたが、かなりの不具合が見られます。
開発の方で把握できたものは随時修正されると思いますが、せっかくですのでバグ出しを手伝おうではありませんか。

個人個人で報告しても良いとは思いますが、同じものが何人もから報告されると目を通すだけで時間がかかり、返信が必要な場合はそれにも時間がとられます。

そこで、この質問の修正依頼に報告することにしませんか？
なるべく前の書き込みを見て重ならないよう書いていただければありがたいですが、可能であり必要であればこちらで整理して質問または回答に掲載しようと思います。

議論の余地があるものや画像などが必要なものでしたら、回答していただいた方が見やすくなると思います。
この質問の存在はこちらから運営に知らせておきますので、よろしくお願いします。

### 2022/01/12 追記
現在、運営への報告ができない状態です。
事態が事態なので、意図的にその機能がしばらく停止されている可能性もあります。

### 2022/01/12 追記2

[morimorinoki](https://teratail.com/users/morimorinoki) さんから次のような報告を受けています。

- タイムアウトすることが多い
- 記号を使用したり文脈の変な部分での＼が入っていて読みづらい
- 画像が見られない
- ＼のせいでURLに飛びづらい
- 通知が役に立たない。
- 戻るボタンで戻ると強制的にページ最上部まで飛ぶ
- 頻繁に「Application error: a client-side exception has occurred (see the browser console for more information).」が出る。（TOREMO UZAI）
- コードを確認しようとすると下の装飾で読めない時がままある。


teratail 不具合報告

`VirtualBoxの設定内容になります！`
![イメージ説明](ca232842ef66a802b517ba9bc7e3cafd.png)

![イメージ説明](a1ae99512d463612c8f6d27d1a1aa62e.png)

---
アクティビティモニタ（`docker-compose up`直後）
CPU↓
![イメージ説明](1a6b6c4df57fe6be65746a5e29a3a0a2.png)


メモリ↓
![イメージ説明](f1acebbf37007e672143d7d8f031ed27.png)

↓↓↓一定時間経過後↓↓↓

CPU↓
![イメージ説明](13231d9fac0f65a3180adfa2ada3bdf6.png)

メモリ↓
![イメージ説明](37208637daf6e03675895c74a1e56bc1.png)


---

現在、VirtualBoxを使用して仮想環境を作り、UbuntuServerを立ち上げ、Dockerで開発環境を立ち上げています。（ご説明の仕方が間違っているかもしれません、、）

`docker-compose up`した直後はそこまでCPU・メモリの使用率が高くないのですが、時間が立つとすごくCPU・メモリ共に大きくなってしまいます。
（アクティビティモニターで確認しております。）

VirtualBoxの設定上はメモリやCPUの使用率を抑えられていると思うのですが、原因がわからず困っています。
ご教授頂けますと幸いです！！

VirtualBoxの使用するCPU・メモリが設定よりも多くなってしまう。使用時間に伴ってどんどん増えていく。

### 前提・実現したいこと

初めて投稿させていただきます。
AIの資格取得のため、講義を受けているのですが、
出題されたコーディング問題の解き方が分からず困っております。
解説もいただいているのですが、pythonプログラミングは初心者なので、
よくわからず投稿させていただきました。
以下解説内容

「【問①-1】：lp_norm関数の引数には、「それぞれの全結合層の重みw」を渡します。 for文のfcを用いて、FullyConnectedLayerクラスのインスタンス変数self.wにアクセスするような処理が必要です。 【問①-2】：L2正則化の逆伝播は定義の微分、つまりλ＊wとなります。」

うまく質問できていなかったらすみません。

### 発生している問題・エラーメッセージ

```
エラーメッセージ
```

### 該当のソースコード

```ここに言語名を入力
# mnistデータセットのロード
if os.path.exists('mnist_784'):
    with open('mnist_784','rb') as f:
        mnist = pickle.load(f)
else:
    mnist = datasets.fetch_openml('mnist_784')
    with open('mnist_784', 'wb') as f:
        pickle.dump(mnist, f)
    
X, T = mnist.data, mnist.target
X_train, X_test, T_train, T_test = train_test_split(X, T, test_size=0.2)
T_train = np.eye(10)[T_train.astype("int")]
T_test = np.eye(10)[T_test.astype("int")]


class FullyConnectedLayer():
    def __init__(self, input_shape, output_shape):
        self.w = np.random.randn(input_shape, output_shape) * 0.01
        self.b = np.zeros(output_shape, dtype=np.float)
        self.x = None
        self.dw = None
        self.db = None
        
    def __call__(self, x):
        self.x = x
        out = np.dot(self.x, self.w) + self.b
        return out
    
    def backward(self, dout):
        dx = np.dot(dout, self.w.T)
        batch_size = dx.shape[0]
        self.dw = np.dot(self.x.T, dout)
        self.db = np.sum(dout, axis=0)
        return dx


class SoftmaxCrossEntropyLoss():
    def __init__(self):
        self.y = None
        self.t = None
        self.loss = None
        
    def __call__(self, t, y):
        self.y = softmax(y)
        self.t = t.copy()
        self.loss = cross_entropy_error(self.t, self.y)
        return self.loss
    
    def backward(self):
        batch_size = self.t.shape[0]
        dy = self.y - self.t
        dy /= batch_size
        return dy


def softmax(x):
    x = x.T
    _x = x - np.max(x, axis=0)
    _x = np.exp(_x) / np.sum(np.exp(_x), axis=0)
    return _x.T


def cross_entropy_error(t, y):
    delta = 1e-8
    error = -np.mean(t * np.log(y + delta))
    return error


class ReLU():
    def __init__(self):
        self.mask = None

    def __call__(self, x):
        self.mask = (x <= 0)
        out = x.copy()
        out[self.mask] = 0
        return out

    def backward(self, dout):
        dout[self.mask] = 0
        dx = dout

        return dx


class Dropout():
    def __init__(self, dropout_ratio=0.5):
        self.dropout_ratio = dropout_ratio
        self.mask = None

    def __call__(self, x, train_flg=True):
        if train_flg:
            randommatrix = np.random.rand(*x.shape)
            self.mask = randommatrix > self.dropout_ratio
            return x * self.mask
        else:
            return x * (1.0 - self.dropout_ratio)

    def backward(self, dout):
        return dout * self.mask



def lp_norm(x, p=2):
    return np.sum(np.abs(x) ** p) ** (1 / p)


#ここからが問題
#問①. dropoutクラスとlp_norm関数を使用し、ドロップアウトとL2ノルム正則化（重み減衰）を含めた以下のネットワークを完成させなさい。
#損失関数に  ????2‖????‖22 を正則化項として加えるとする.

class MLP_classifier():

    def __init__(self, weight_decay_lambda=0):
        '''
        構造
        x -> fc(783, 256) -> relu -> dropout -> fc(256, 256) -> relu -> dropout -> fc(256, 10) -> out
        '''
        
        # 層の定義
        self.fc1 = FullyConnectedLayer(784, 256)
        self.relu1 = ReLU()
        self.dropout1 = Dropout()
        self.fc2 = FullyConnectedLayer(256, 256)
        self.relu2 = ReLU()
        self.dropout2 = Dropout()
        self.fc3 = FullyConnectedLayer(256, 10)
        self.out = None
        
        # 損失関数の定義
        self.criterion = SoftmaxCrossEntropyLoss()
        self.weight_decay_lambda = weight_decay_lambda

    def forward(self, x, train_flg=True):
        '''
        順伝播
        '''
        
        x = self.relu1(self.fc1(x))
        x = self.dropout1(x, train_flg)
        x = self.relu2(self.fc2(x))
        x = self.dropout2(x, train_flg)
        self.out = self.fc3(x)
        
        # 勾配計算の都合上softmaxはこの順伝播関数内では行わない
        # 予測するときはさらにsoftmaxを通す必要がある
        return self.out
    
    def loss(self, x, t):
        loss = self.criterion(t, self.forward(x))
        for fc in [self.fc1, self.fc2, self.fc3]:
            loss += #### 問①-1 ####
        return loss

    def backward(self):
        '''
        逆伝播
        '''
        # 勾配を逆伝播
        d = self.criterion.backward()
        d = self.fc3.backward(d)
        d = self.dropout2.backward(d)
        d = self.relu2.backward(d)
        d = self.fc2.backward(d)
        d = self.dropout1.backward(d)
        d = self.relu1.backward(d)
        d = self.fc1.backward(d)
        
        for fc in [self.fc1, self.fc2, self.fc3]:
            fc.dw += #### 問①-2 ####

    def optimize_GradientDecent(self, lr):
        '''
        勾配降下法による全層のパラメータの更新
        '''
        for fc in [self.fc1, self.fc2, self.fc3]:
            fc.w -= lr * fc.dw
            fc.b -= lr * fc.db
```

### 試したこと
下記のようなコードを試したのですが、うまくいきませんでした。
```ここに言語を入力
#### 問①-1 ####
loss += 0.5 * self.weight_decay_lambda * np.sum(lp_norm(FullyConnectedLayer[self.w]) ** 2)
#### 問①-2 ####
fc.dw += self.weight_decay_lambda * FullyConnectedLayer["fc"]
```


### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

python_正則化のコーディング

### 前提・実現したいこと

ポインタOがどのように動いている(変化している)かを理解したい。
### 発生している問題・エラーメッセージ
以下の実行結果のポインタoの挙動が理解できないです。
*s=r;ではポインタoを紐づけてないのに、この分の前後でポインタoの値(挙動)が変わっている点が理解できないです。

```
*o=15     　　←わかる
o=0019FEEC　　←わかる
s=0019FEE4
stop
**s=20
r=0019FEE8
o=0019FEE8　　←わからない
*o=20　   　　←わからない
&p=0019FEEC
```

### 該当のソースコード

```c言語
#include <stdio.h>

int main(void)
{
	int p,q;
	int* o, * r;
	int** s, ** t;

	p = 15;
	o = &p;
	s = &o;


	q = 20;
	r = &q;
	t = &r;

	printf("*o=%d\n", *o);
	printf("o=%p\n", o);
	printf("s=%p\n", s);
	printf("stop\n");

	*s = r;
	printf("**s=%d\n", **s);
	printf("r=%p\n", r);
	printf("o=%p\n", o);	/*なんでpじゃなく、qのアドレスが表示されるのか*/
	printf("*o=%d\n", *o);	/*なんでpじゃなく、qの値が参照されるのか*/
	printf("&p=%p\n", &p);
	return (0);
}
```

### 試したこと

値を変更したりプログラムを改変したりして試行錯誤をしましたが、思うような結果になりませんでした。

### 補足情報（FW/ツールのバージョンなど）

ポインタの挙動が理解できない

### 前提・実現したいこと

現在コンソールを用いたゲームを作ろうと思い、エスケープシーケンスを用いたフルカラー描画のできるエンジンの仕組みを作りました。

しかし、そのせいか描画の処理、**WriteConsole**関数(WindowsAPI)の処理が重く

**(ゲーム環境)
[画面サイズ]240×150,
16ピクセル/ドット**

で動かすと

関数処理に350~500msかかってしまい

平均フレームレートも2しか出なくなってしまっています。

画面を小さくすれば30fps出るのですが、どうにか元の環境のまま軽くすることはできないでしょうか？

(なるべくC言語で組みたいのですが、可能であればC++でもかまいません。)

### 発生している問題・エラーメッセージ



### 該当のソースコード

```C

#include <Windows.h>
typedef struct
{
	//出力用ハンドル
	HANDLE m_hConsole;
	//入力用ハンドル
	HANDLE m_hConsoleIn;

	//エラー用ハンドル
	HANDLE m_hOriginalConsole;

	//ウィンドウサイズ、位置
	SMALL_RECT m_rectWindow;

	//スクリーンバッファ(エスケープシーケンスに関しては次の資料を参考 https://en.wikipedia.org/wiki/ANSI_escape_code)
	unsigned char* m_bufScreen;


}ConsoleManager, *PConsoleManager;

//フルカラー用の出力バッファポインタ
static char* screen_buffer_full;

=========================処理========================


void PrintImage(PConsoleManager const p_this)
{
	//この下は出力バッファにエスケープシーケンス文字列を当てている処理です.ここは速度的にも~1ms/フレームだったので特に問題ありません。

	DWORD write_num;
	unsigned char* in_buf = p_this->m_bufScreen;
	char *out_buf = screen_buffer_full;
	
		for (int y = 0; y < m_nScreenHeight; y++)
		{

			for (int x = 0; x < m_nScreenWidth; x++)
			{
				out_buf += 7;
				// R設定
				*(out_buf + 0) = CharRGBconvTBL[0][*in_buf];	//0x30 + (*in_buf / 100);
				*(out_buf + 1) = CharRGBconvTBL[1][*in_buf];	//0x30 + (*in_buf % 100 / 10);
				*(out_buf + 2) = CharRGBconvTBL[2][*in_buf];	//0x30 + (*in_buf % 10);
				in_buf++;
				// G設定
				*(out_buf + 4) = CharRGBconvTBL[0][*in_buf];	//0x30 + (*in_buf / 100);
				*(out_buf + 5) = CharRGBconvTBL[1][*in_buf];	//0x30 + (*in_buf % 100 / 10);
				*(out_buf + 6) = CharRGBconvTBL[2][*in_buf];	//0x30 + (*in_buf % 10);
				in_buf++;
				// B設定
				*(out_buf + 8) = CharRGBconvTBL[0][*in_buf];	//0x30 + (*in_buf / 100);
				*(out_buf + 9) = CharRGBconvTBL[1][*in_buf];	//0x30 + (*in_buf % 100 / 10);
				*(out_buf + 10) = CharRGBconvTBL[2][*in_buf];	//0x30 + (*in_buf % 10);
				in_buf++;
				out_buf += 13;
			}
			out_buf++;

		}

　　　　//ここの処理がどうしても重くなります
		WriteConsole(p_this->m_hConsole, screen_buffer_full, m_nScreenHeight * (m_nScreenWidth * 20) + (m_nScreenHeight - 1), &write_num, NULL);




}
```

### 試したこと

OpenMPの並行処理も少し試してみましたが、触り始めということもあり
上手くできませんでした。


### 補足情報（FW/ツールのバージョンなど）

Visual Studio 2017

【C/C++】WindowsAPI:WriteConsole関数の処理を軽くしたい

Elasticsearchでデータ保存したらデータベースは使わなくて良いのでしょうか？
Elasticsearchが全文検索エンジンであることは知っています。
しかし全文検索エンジンとデータベースの違いがいまいちわかりません。

Elasticsearchでデータ保存したらデータベースは使わなくて良いのか

###実現したいこと
分かち書きが既にされていて、単語の後に半角スペースが付いている、次の文書集合があるとします。
```python
text1 = "吾輩 は 、 猫 で ある 。 eos "
text2 = "名前 は 、 まだ ない 。 eos "
texts_list = [text1,text2]
```
このとき目標は、この文書集合から、考えうるすべての2gramを抽出することです。すなわち、今回の場合で言えば、次のような2gramたちを抽出したいです。
```python
['ある eos', 'で ある', 'ない eos', 'は まだ', 'は 猫', 'まだ ない', '名前 は', '吾輩 は', '猫 で', 'は 、', '、 猫', 'ある 。', '。 eos', 'ない 。', '。 eos']
```

###困っていること
句読点を含まずに2gramを抽出するのであれば、次のようなコードで得られます。
```python
>>> from sklearn.feature_extraction.text import CountVectorizer
>>> vectorizer = CountVectorizer(analyzer="word",token_pattern="(?u)\b\w+\b",lowercase=False,ngram_range=(2,2))
>>> vectorizer.fit_transform(texts_list)
<2x9 sparse matrix of type '<class 'numpy.int64'>'
	with 9 stored elements in Compressed Sparse Row format>
>>> vectorizer.get_feature_names()
['ある eos', 'で ある', 'ない eos', 'は まだ', 'は 猫', 'まだ ない', '名前 は', '吾輩 は', '猫 で']
```
しかし、上のtoken_patternでは句読点単体を単語として含ませることができず、その原因として私の現段階での理解では、\bは\wと\Wの間の境界を表すが、「。」や「、」らの句読点は\wの中には含まれないため、これらの句読点が単語として認識されなかったのではないかと考えています。

句読点単体を単語としてみなしてngramを抽出するにはどうすれば良いのでしょうか？なお、sparse matrixを使いたいので、できれば、CountVectorizerを用いてngramを作成したいです。
###実行環境
OS：macOS Catalina
Python：3.7.6
scikit-learn：0.23.1

【自然言語処理】CountVectorizerで単語ngramを作成する際に句読点単体も含めたい

### 前提・実現したいこと

今「ゼロから作るDeep Learning❷」の学習を進めています。

その中でword2vecの実装で行列から行を抜き出す
Embeddingレイヤを実装しているのですが
抜き出すidxが重複する際に
逆伝播時に```dW[self.idx] = dout```と「代入」するのではなく

```
for i, word_id in enumerate(self.idx):
　　dW[word_id] += dout[i]
```
上記のコードで要素を「加算」する理由がどうしても分かりませんでした...。
教えて頂ければ幸いです。よろしくお願い致します。
m(_ _)m

### 該当のソースコード

```Python3
class Embedding:
    def __init__(self, W):
        self.params = [W]
        self.grads = [np.zeros_like(W)]
        self.idx = None
    
    def forward(self,idx):
        W, = self.params
        self.idx = idx
        out = W[idx]
        return out
    
    def backward(self, dout):
        dW, = self.grads
        dw[...] = 0
        for i, word_id in enumerate(self.idx):
            dW[word_id] += dout[i]
        return None
```

### 試したこと

手書きでレイヤの流れを整理したのですが代入でダメな理由が分かりませんでした...。

### 補足情報（FW/ツールのバージョンなど）

「ゼロから作るDeep Learning❷」 P139

【自然言語処理】word2vec実装時のEmbeddingレイヤの逆伝播に関して

表題件の機能に関して不思議（だと思う）現象が発生しているので記載致します。

あるフォルダに ABE（Access-based Enumeration） を設定しており、
幾つかのユーザで見え方が異なっている状態になります。

～～～

ユーザA（既存 LocalAdmin あり）
　想定した通りのフォルダのみが見えている

ユーザB（既存 LocalAdmin なし）
　想定した通りのフォルダのみが見えている（実際にはどこも見えない状態なので空）

ユーザC（既存 LocalAdmin あり）
　想定した通りにならず全てが閲覧可能な状態になってしまっている。フォルダ自体には入れないものの
　プロパティのセキュリティ変更で変更が可能な状態になってしまう。

　ただし、一度ユーザを削除して同名ユーザを作成すると想定した通りの状態になる。

ユーザD（新規 LocalAdmin あり）
　想定した通りのフォルダのみが見えている（実際にはどこも見えない状態なので空）

～～～

ABE の機能に関しては検証の段階でチェックを付けたり外したりをしていたのですが、それ自体は影響が無いと思っております。
挙動からして SID の洗い替えまたは新規では ABE が効いているようなので
最悪はユーザの作成し直し（≒プロファイル再構築）を考慮しております。
（ただ、既存でも効いている効いていないの差があるので最悪のケースを回避して何か打破出来ればベターなのですが。。）

もし、ABE の機能を利用して同事象に遭遇された方がいらっしゃいましたらお知恵をお貸し頂けますと非常に助かります。

Windows Server の共有フォルダ ABE について

### 前提・実現したいこと

elasticsearch: 6.8
sudachi

elasticsearchを利用して検索エンジンを作っています。
elasticsearchで完全一致検索を行うにはどうすればよいでしょうか。

本文脈で実現したい「完全一致」とは、以下のような挙動です。

- [前提1]"髙橋翔太"がインデックスされている（スカラー値として構造化されたデータ）
- [挙動1]"髙橋翔太"で検索した時にヒットする（単純な完全一致）
- [挙動2]"高橋　翔太"で検索した時にヒットする（空白や高・髙など旧字体等の表記ゆれを吸収）
- [挙動3]"髙橋翔"で検索した時にヒットしない（部分一致は省きたい）


### 試したこと
- ngramで解析すると、部分一致でヒットしてしまう([挙動3]を満たせない)
- 構文解析で解析すると、名前の解釈が必ずしも正確でない（例：高橋翔虎　⇒ "高橋" "翔" "虎"と分かち書きされ、高橋翔をフレーズ検索した時に、高橋翔虎にヒットしてしまう　[挙動3]を満たせない）
- keyword(term query)だと、一時一句正確に一致していなければヒットせず、[挙動2]を満たせない


よろしくお願いいたします。

elasticsearch 完全一致検索

### 前提・実現したいこと
タイトルの通りなのですが、
Qiitaに、他のマークダウンエディターからスクリーンショットを含んだマークダウンをコピーして、Qiitaに貼り付けて→投稿ということをしたいです。

マークダウンエディター側に表示される、スクショについてのマークダウンは

[スクリーンショット 2020-05-07 18.10.58](/Users/mika/Library/Application Support/typora-user-images/スクリーンショット 2020-05-07 18.10.58.png)】

このような形になっているので、
これをそのままQiitaの投稿画面に貼り付けても表示されない。という事がわからなくて困ってます。

### 試したこと
マークダウンエディターのtyporaの設定で、
![![イメージ説明](67d42d3a7cb7fc3dcacec421a8922b9d.png)](efbf388c32f7ff819f70f37f006853b8.png)

こんなところがあって、どうなのかなーと思ったのですが、わかりませんでした。

知識がなくて変な質問になっているかと思いますが、
よろしくお願い致します。

Qiitaに、他のマークダウンエディターからスクリーンショットを含んだマークダウンをコピーして、Qiitaに貼り付けて→投稿ということをしたいです。

書籍：0から作るDeepLeaning 2の内容について質問です。
もしお持ちの方いらしたら宜しければご教示お願いいたします。

33ページにMatMul関数の説明、実装がありますが
このbackward関数内の

self.grads[0][...] = dw

の部分ですが何故[0]があるのでしょうか？
行列：dwとWは同サイズなのでそのまま代入する形の
self.grads = dw.copy()とかで良いのではないでしょうか？

以上、宜しければご教示いただけると助かります。

0から作るDeepLeaning 2のMatMul関数について質問

### 前提・実現したいこと

Visual Studio CodeでPythonプログラムのデバッグをします。
通常のインラインデバッガのように変数のウォッチや、ブレークポイントの設定、コールスタックの確認を行います。

### 発生している問題・エラーメッセージ

0. main文があるファイルがアクティブな状態で、VSCodeのメニューで、デバッグ→デバッグの開始を選択する
0. デバッグアイコンに時計マークが表示される
0. 1秒ほどで時計マークが消える。以降何も起こらない。

このコードは、ターミナル上でpython main.py[Enter]で動作します。


### 試したこと

- Anacondaのアンインストール/インストール
- AnacondaインストールフォルダをC:\Anacondaに変更(アクセス制限がかからず、浅い階層のフォルダ)
- Visual Studio Codeの拡張機能と設定を全削除、インストールしなおし

### 補足情報（FW/ツールのバージョンなど）

- Anaconda3 ver 2019.10 (conda update --all で2019/12/09時点の最新版に更新)
- Windows10 64bit
- Visual Studio Code ver 1.36.1
- (Extention) ms-vscode.cpptools ver 0.26.2
- (Extention) austin.code-gnu-global ver 0.2.2
- (Extention) ms-ceintl.vscode-language-pack-ja ver 1.37.3
- (Extention) davidanson.vscode-markdownlint ver 0.32.0
- (Extention) ms-python.python ver 2019.10.41019
- (Extention) vscode-icons-team.vscode-icons ver 9.6.0

VSCode+Pythonでインラインデバッガを起動できるようにしたい

### 前提・実現したいこと

Pythonのコードに関する質問です。Pandasのread_csvで400万レコード近くのcsvファイルを読み込もうとしているのですが、
種々のキャラクタが入り込んでしまうこと、またshift_jisであることから、Codecsを使っています。

###csvのサイズ
csvは約2GBです。


```ここに言語を入力
### 該当のソースコード

import pandas as pd
import codecs
file1="xxxxxx"
with codecs.open(file1, "r", "cp932", "ignore") as file:
        mylist = []
        for chunk in 
            pd.read_csv(file,sep=",",chunksize=10000,engine="python"):
            mylist.append(chunk)
        df = pd.concat(mylist)
```



### 補足情報（FW/ツールのバージョンなど）
読み込むだけで40分から60分かかってしまい、もっと短時間に読み込む方法がないか
をググるなどで調べているのですが、解決法が見つかりません。
Windows10
第5世代　core i5
メモリ　８GB

PythonでCSVファイルの読み込みを速くしたい

# UTF-8などの必要性
質問は「**パソコンで文字を扱うときにUnicodeのコードポイントがあるのになぜさらにUTF-8などによる変換が必要なのか**」ということです。 


**以下その疑問に至った経緯です。**
今までUnicodeとUTF-8の違いをはっきりとさせずに過ごしてきたので、ふと調べてみました。
その結果、

```
Unicode：世界中の文字と固有のコードポイントと言われる数字を対応させたもの。
UTF-8：コードポイントをパソコンが認識できるような数字(符号)に変換させる方法の1つ。
```
というふうに理解しています。つまり、
文字→(Unicodeによる変換)→コードポイント→(UTF-8などによる変換)→符号
で、パソコンはこの符号を認識しているという具合です。

ただここで、疑問に思ったのは**Unicodeによって文字が一意に数字(コードポイント)に変換されているのに、
そこからわざわざUTF-8などを使ってまた違う数字(符号)になぜ変換するのでしょうか。**
UTF-8に至っては平仮名はコードポイントでは2バイトなのにUTF-8によって3バイトになってしまいます。
UTF-16でも2バイトのままです。
**そのままコードポイントをパソコンが使うのは良くないのでしょうか。**

**これはUTF-8などによって符号化した方がバイト数が圧縮できる場合(上の例ではなっていないが。)があるということでしょうか？**


お手数ですが、ご回答よろしくお願いいたします。

UTF-8などの必要性

Windows Server（2016）からLinuxの共有フォルダにアクセスしています。
共有フォルダに高頻度で連続アクセス（2日間）すると、共有フォルダにアクセスできなくなります。
－－－－－－－－－－－－－
windows側でファイル名を指定して実行で\192.168.1.11と入力すると
システムリソースが足りないというメッセージが出てアクセスできない状態になる。
（接続出来るときは、認証用のユーザ名とパスワードを入力するとアクセスできる様になる）
また、エラー発生後にしばらく（１～2時間）アクセスをやめると、システムリソースが足りないというメッセージはでなくなり、
また接続できるようになります。
また、システムリソースが足りないというエラーメッセージが発生している時でも、別のLinuxの共有フォルダ（\192.168.1.12）にはアクセスできます。

接続プロトコルはどちらの共有フォルダもSMB2です。（net traceで確認済み)
またWindowsのTCP パラメーターは下記（netsh interface tcp show global）
----------------------------------------------
Receive-Side Scaling 状態  : enabled
Chimney オフロード状態     : disabled
NetDMA 状態　：disabled
Direct Cashe Access(DCA):disabled
受信ウィンドウ自動チューニング レベル    : normal
アドオン輻輳制御プロバイダー  : none
ECN 機能                      : enabled
RFC 1323 タイムスタンプ       : disabled
初期 RTO                         : 3000
Receive Segment Coalescing 状態  : enabled
非 Sack の Rtt 回復性            : disabled
SYN の最大送信回数             : 2
TCP Fast Open    　　　　　　　: disabled
---------------------------------------------------

特定の共有フォルダに頻繁にアクセスを連続するとエラーになりますが、
システムリソースが足りないとは、どのリソースの事か判りません。
解析方法やチューニング情報があれば教えていただけないでしょうか？
よろしくお願いします。