常連

注目の的

社会貢献

質問力

自己紹介

お世話になります。

標記について質問させてください。

機械学習や深層学習をする際、モデルを評価していくと理解しております。
その際、数多くの評価指標があると認識しており、どういった問題のときにはどの評価指標を使うのかがわかりません。

モデル構築時にも、色々な切り口があると思います。
・構造データ（CSVファイルのようなもの）
・非構造データ（画像データや音声データのようなもの）

また、データの特性も色々あると思います。
・2値データ
・連続データ（1,2,3,4...）

また、機械学習・深層学習は、大きく分けて下記2つのいずれかになると認識しております。
・回帰問題
・分類問題

評価指標に関しては、下記のようなものがあると認識しております。
・AUC
・RMSE
・ジニ係数
・DCG
・Multi-class logarithmic loss
・F値
まだまだ多くの評価指標があると認識しております。

どのようにして、評価指標を決めるのでしょうか。


scikit-learnの公式HPでは、データの品質等によってモデルを使い分ける、フローチャートが公開されております。
[site](https://scikit-learn.org/stable/tutorial/machine_learning_map/index.html)
このような資料はないのでしょうか。


どうぞよろしくお願い致します。

機械学習・深層学習の評価指標の選別する方法・目安

お世話になります。

標記について、教えていただきたいことがあります。

予測系の機械学習モデルをする際、モデルにより色々有ると思いますが、だいたいが下記のような特徴があるかと思います。
1. 欠損値がない
2. カテゴリカルの文字列がない（文字が含まれる場合は0や1などに変換する）
3. データが大量にある
などなどです。
（他にもたくさんあるかと思いますが、これ以上わからないので。。。）
大体が数値に変換して、モデルを作成していくものだと理解しています。
もし、データの中に文章があった場合、それをどうにかして特徴ある数字列に変換して学習することは可能なのでしょうか？

たとえば、下記のようなデータセットがあったとします。
|採用/不採用|性別|年齢|前職の給料|前職の経験年数|面接時の特徴|
|:--|:--:|--:|
|1|0|25|28|2|hogehogehogehogehoge|
|0|0|45|50|20|piyopiyopiyopiyopiyopiyopiyopiyopiyopiyo|
|0|1|32|38|15|foofoofoofoofoofoofoofoofoofoofoofoo|
|1|1|33|35|10|hohogepiyohogepiyohogepiyohogepiyohogepiyogepiyo|
|1|0|29|30|5|foohogefoohogefoohogefoohogefoohogefoohoge|

目的変数を「採用/不採用」だとして、説明変数をそれ以外のすべてだとします。
しかし、「面接時の特徴」に関しては面接官の所感が記載された文章データだとします。
この文章データをどうにかして特徴ある数字の列に変換し、「採用/不採用」の予測モデルを作成することは
可能なのでしょうか？

ご存じの方がいましたら、教えていただければと思います。
どうぞよろしくお願い致します。

【機械学習】予測系のモデルを作成する際、文字列が含んでいるデータでも処理することは可能か

ResNetを使った学習によって勾配消失が解消できるという原理がいまいち理解できないでいます。
[こちら](https://www.slideshare.net/KotaNagasato/resnet-82940994)のスライドの11ページには
> H(x) = F(x) + xという関数を通すが、この微分が1に非常に近く、勾配計算時に他のノードをほぼ素通りできるから。

との記述があるのですが、まず計算時にこのH(x)の微分をなぜ計算するのかかがわかりません。

普通のDenseレイヤーをつかった勾配の計算時（損失関数を各重み・バイアスで偏微分した値を計算するとき）では、主に重要となるのは活性化関数を微分した値であり、このようなH(x)にあたる値を微分することもなかったので、なぜResNetではH(x)を微分するのか、と思ってしまいます。

また[こちら](https://github.com/matsuolab-edu/dl4us/blob/master/lesson2/lesson2_sec3_exercise.ipynb)のサイトのResNetについて説明したパートでは、
> 逆伝播の際に出力層側から誤差をそのまま入力層側に伝えることで、勾配が消失しにくいネットワーク構造をつくっていると考えることができます。

と書かれていますが、これはF(x)を誤差逆伝播における「誤差」とみなすことでこれを用いて各勾配を求めていくという意味でしょうか？
だとするとはじめに引用したサイトに書かれていた、「微分をする」という計算は行われないので、上記二つのサイト間で矛盾があるように思います。

非常に伝わりづらい質問になってしまい申し訳ないのですが、わかる方がおられればお答えいただきたく思います。



上記の質問と少し内容は異なるのですが、ResNetはCNN以外にも使われるのですか？
こちらも併せてご回答いただきたいです。

ResNetが勾配問題を解決する理由

CNNで画像分類をやろうと考えています。

現在、画像を収集している段階なのですが、画像のサイズが様々あり、リサイズする必要があります。

そこでなのですが、学習に都合の良い画像サイズというものはそんざいするのでしょうか？もちろん画像が大きくなると特徴も大きくなり計算量も多くなると思います。ですので、学習に必要な最低限の画像サイズを教えていただけると嬉しいです。

DeepLearning CNN 画像のサイズについて

いつもお世話になってます。
python2.7を使用しているものです。
今回は２つのlistに以下のように[x, y]と入っているlistがあったとします。
```ここに言語を入力
list1 = [['325', '70'], ['275', '105'], ['240', '125'], ['187', '156'], ['143', '185'], ['104', '205'], ['104', '258'], ['130', '301'], ['191', '375'], ['228', '427'], ['279', '491']]

list2 = [['228', '427'], ['279', '491'], ['282', '556'], ['312', '536'], ['374', '489'], ['428', '450'], ['475', '418'], ['514', '395'], ['573', '352'], ['604', '313'], ['566', '259']]
```

この時x、y両方の値が同じlistの要素を抽出することをプログラミングで行いたいと思っております。
for文とif文をうまく組み合わせて行うと思ったのですが頭の中がこんがらがってしまいました・・・

わかる方よろしくお願いします・
ちなみにこの２つのlistで同じ値を持つものは['228', '427'], ['279', '491']の２つになります。

python 2つのlistから同じlistを探す方法について

**<やりたいこと>**
DataFrame A　のTypeコラムに、
DataFrame B　の相当する情報を当てはめてA'を作りたいのですが、
どのように結合すればいいのかわかりません。
DataFrame Aの１を色に置き換えて0をDropするのかな。。ということで試してみたのですが、
なかなかうまく進みません。

手順だけでもいいのでお教えいただけませんでしょうか。
何卒宜しくお願い致します。

DataFrame A
|Name|Red|yellow|Green|
|:--|:--:|--:|
|A|0|1|0|
|B|0|0|1|
|C|0|1|0|
|D|1|0|0|
|E|0|1|0|

Data Frame B
|Number|Place|Color|Type|
|:--|:--:|--:|
|1|Tokyo|A|Car|
|2|Osaka|B|Train|
|3|Narita|C|Ship|
|4|Chiba|D|Walk|
|5|Tokyo|E|Car|

を結合して
Dataframe A'を作りたい
|Number|Place|Color|Type|
|:--|:--:|--:|
|1|Tokyo|Yellow|Car|
|2|Osaka|Green|Train|
|3|Narita|Yellow|Ship|
|4|Chiba|Red|Walk|
|5|Tokyo|Yellow|Car|

宜しくお願い致します。

DataFrame A　のTypeコラムに、 DataFrame B　の相当する情報を当てはめたい

二つのリスト（辞書型）があります。
```ここに言語を入力
s1 = {"aaa":"http://aaa","bbb":"http://bbb","ccc":"http://ccc","ddd":"http://ddd"}
s2 = {"eee":"http://eee","aaa":"http://aaa","bbb":"http://bbb","fff":"http://fff"}
```
これをs2にあってをs1に無いものを抽出したいのです。
つまり、上記を例にしたら
```
{"eee":"http://eee","fff":"http://fff"}
```
の二つです。
調べたところ　diffrence　などを使えば良いようなのですが、辞書型に使おうとしてみていますが上手くいきません。
最低限keyである"aaa"や"ddd"などの比較でできれば何とか次に進めそうです。
皆さんの知識をお貸し頂けないでしょうか？
よろしくお願いいたします。

2つの辞書型を比較して差分を抽出したい（python）

DB設計の勉強をしております。
メルカリやヤフオクでは落札や購入アクションが起こると取引掲示板なる1対1の掲示板に飛ぶと思います。
例えば一般的な掲示板では1つのborard(掲示板)が多数のcomments(コメント)を持つという意味で、1:Nのリレーションを張れると思います。ユーザー情報(id)はboard、comments共に入っていると思います。

しかし、メルカリのような取引掲示板のテーブルのリレーションのイメージが全く付きません。
購入までのフローには1つの商品に対して多数のユーザーが購入を希望していて、お気に入り等のアクションを行っていると思いますが購入した途端、1対1の掲示板を行えるリレーションがよくわかりません。
簡易的なER図を作って見たのですが、、、(属性は色々省いているところがあります)
![イメージ説明](0b8c7959520fe04def6b314b54a9faac.png)

ヤフオクもメルカリもユーザーは出品も購入も出来ると思いますが、出品者と購入者のテーブルを便宜上分けております（正直なところを申しますとユーザーモデルという一つのリソースから購入も出品もするかというER図の書き方と実装をよくわかっておりません。。。）

このように商品に対してユーザーと購入者が紐付いていて、商品状態(マスターテーブル)の値をProductsテーブルでアップデートさせること取引中などにして、取引掲示板に遷移できるようにしているのだと考えました。
しかしここで取引掲示板のテーブルやその属性はどのようにリレーションさせれば良いかよく分からなかったです。

そもそも、このER図も間違ったものだと思いますが、、、DB設計初心者なこともあり分からないことだらけです。
よろしくお願い致します。

#### 【追記】
テーブル構造をメルカリやヤフオクが外部に漏らす訳もないので、
推測の域でもオリジナルでも構わないのですが、もしよろしければ皆さんが設計するならどのようなリレーションにするか、またこの機能を実現する上でこのようにすれば真っ当に動くようなものが作れるといったものを参考にしたいです。(最低限どのようなテーブルが必要か、またそのテーブル群がどのようにリレーションされるか等)

よろしくお願い致します。

メルカリやヤフオクなどの取引掲示板はどのようなテーブルのリレーションになっているのでしょうか？

下記のようなdataframeです。teamは1、0で2値化されています。pythonで「team_n＝1」の時のscore平均値を算出したいです。

例）
index  score  team_a  team_b  team_c 
1      50      1        0        0
2      60      0        1        0
3      40      0        0        1
4      35      1        0        0
5      55      0        1        0
6      60      1        0        0 
7      45      0        0        1
8      50      0        0        1
9      38      1        0        0
10     42      0        1        0

###試行コード
```python
import pandas as pd
import csv

df = pd.read_csv(./dataframe)

for col in df.columns:
    if df[df['col']==1]:
        print(df['score'].mean())

KeyError: 'col'

```
以下のように、1つずつ試行すればできるのですが、team数が膨大なので実行方法を教えて頂ければ幸甚です。

```python
df_team = df[df['team_a']==1]
df_team['score'].mean()
```

よろしくお願いします。

pythonでクラス別のスコア平均値を算出したい

初質問です。
タイトルどおり、画像や文章を機械学習させる際に、
画像や文章以外の特徴量も追加したい場合はどうすればよいのかを知りたいです。

例えば、画像の機械学習を行いたいとして、
ニューラルネットワークを用いて、100*100pxの写真を5000枚学習させるとします。
その結果、例えば、馬とか猫とか人とか機械に分類してくれる学習器ができました。

ところで、写真の画像データの他に、この写真には撮影場所や撮影時間いう特徴量（feature）があります。
そこで、この撮影場所、撮影時間という特徴量もデータに追加したいです。
その場合は、特徴量は10001番目、10002番目に追加するのでしょうか。

また、文章の機械学習を行いたいとして、
サイトの文章をベクトル化して、文章の雰囲気（女性向け、男性向け等）を分別するとします。
ベクトル化した結果、長さ2000のリストとなりました。文章は10000文あります。
文章は、10サイトから持ってきたため、どこのサイトの文章かを特徴量として追加したいです。
その場合は、特徴量は2001番目になるのでしょうか。

なんとなく、こうした場合、画像や文章そのものに対して、新しく追加した特徴量は軽視されるような気がしますが、
考え方としてこれであっているのでしょうか。
他に方法があるのか知りたいです。

よろしくお願いいたします。

#補足
10001番目と考えたのは、KojiDoiさんがおっしゃるように、「画像の機械学習の結果」を新しい特徴量として、試しに簡単な機械学習（ロジスティック回帰、SVM）を行ってみた場合、大幅に性能が低下した経験があるためです。（最初の質問にかけばよかったですね、すいません。）

この原因として、今回の例だと、
「画像の機械学習の結果」と、
「「撮影時間」、「撮影場所」等の特徴量（画像以外）からの学習結果」
であれば等価であり、これらの結果からアンサンブル学習を行えば良いのかなと思いましたが、
「画像の機械学習の結果」と「撮影時間」、「撮影場所」では、
重みが違いすぎてうまくいかないのかなと考えました。
もちろん、試しに追加した特徴量が悪かった可能性もありますが、
このケースの「撮影時間」や「撮影場所」のように意味はありそうな特徴量です。

なお、今回質問したいケースとしては、追加の特徴量（「撮影時間」「撮影時間」等）だけでは、
予測精度が出ないため、
「「撮影時間」、「撮影場所」等の特徴量（画像以外）からの学習結果」
は役に立たないけど、一つ一つの特徴量は有効だと考えられる場合です。

画像や文章の機械学習に、画像や文章以外の特徴量も追加したい場合

今回は技術的な質問ではなく、エンジニアとしての考え方に関する質問となります。

最近、技術の勉強`※1`をしていて、

> 「これで本当に勉強になっているのか？成長速度は遅くないか？」

と自問しております。

この自問の背景には、以下の仮説があります。
> より正しい考え方ができていないと、勉強しても何も身についていないのでは？
延いては、エンジニアのスキルそのものにも大きな影響を及ぼすのでは？

「より正しい考え方ができていないと勉強しても何も身につかない」という仮説`※2`を真とした場合、
その考え方とはどんなものがあるでしょうか？

---

`※1`
技術の勉強というのは具体的に、以下のことをしています。
```
・技術書を読む
・サンプルコードを書いてみる
・オリジナルアプリケーションを作って、実際に動かす
・質問する（御助言下さる方、本当にありがとうございます）
・VMでLinuxを動かす
```

`※2`
一例を挙げますと、

> 2時間勉強に使って、なんとか 「Hello, World!」 を出力できた

とします。

しかし、私の仮説においては、これでは全く勉強になっていません。その理由は、

> 仕組みを理解してこそ勉強であり、なぜ 「Hello, World!」 を出力できたのか、その仕組みの理解に全く時間が割かれていないため

です。

------------追記------------
貴重な御助言を下さいました皆様、ありがとうございます。

この質問に対してベストアンサーを決めることは、技術的な質問に対するそれとは異なり、
本質的な意味を持たないと考えております。
このまま勉強を続け、個人的に一番成長できたと思う考え方をベストアンサーとさせてください。

------------追記2------------
そもそも前提がおかしい、など、是非ご意見を頂きたく思っておりますので、お気軽にご回答ください。