常連

回答者

拍手喝采

自己紹介

### 前提・実現したいこと

Kerasで自作損失関数を作ろうとしています。

目的変数3つ(y[0],y[1],y[2])に対し

{(y_pred[0] - y_true[0])^2+(y_pred[0] - y_true[0] + y_pred[1] - y_true[1])^2}/2

となるような関数が作りたいです。

### 発生している問題・エラーメッセージ

目的変数をそれぞれ区別して計算する必要があり、K.meanといったkerasのbackend関数が使えず実装することができませんでした。


### 試したこと
```
def mean_squared_error(y_true, y_pred):
    return K.mean(K.square(y_pred - y_true), axis=-1)
```

KerasのMSEの実装を参考にしながらテンソル型について色々調べながら実装を試みましたがうまくいきませんでした。
損失関数の引数であるy_true,y_predを出力したところ、shapeが(?, ?)となっていました。
y_trueとy_predには実行された時点では値が入ってないと推測しましたが、この場合どうやって実装すればいいのでしょうか。

Kerasの自作損失関数を実装したい

# やりたいことの概要
学習済みのVGG16モデルで、上位層を新しい層に置換して転移学習を行いたい。その際にどのように変数の初期化を行えばよいのかわからない。

# 環境
* Ubuntu 18.04
* Python 3.6.8
* Tensorflow 1.12.0

# 質問の詳細
VGG16の訓練済みモデルを```.pb```ファイルとして手に入れました。ここにはモデルの構造と重みが両方含まれています。

```python
with tf.gfile.GFile('vgg16.pb', 'rb') as f:
  graph_def = tf.GraphDef()
  graph_def.ParseFromString(f.read())
  _ = tf.import_graph_def(graph_def, name="")
```
を使ってモデルを読み込んで、動作確認はすることができました。

ここからさらに、VGGの上位層をいくつか取り除き、新しく畳み込み層を付け加えようと思っています。層を付け加えるだけであれば

```python
block5_conv3 = tf.get_default_graph().get_tensor_by_name('block5_conv3/Relu:0')
```
で残したVGGの最上位層を取ってきて、それに新しく層を付け加えていくということでできるのですが、訓練時の変数を初期化において、新たに付け加えた層の変数のみ初期化をする必要があり、その方法がわかりません。```global_variables_initializer()```だとVGGの変数も初期化されてしまうので、どうしたら良いでしょうか。

```python
block5_conv3 = tf.get_default_graph().get_tensor_by_name(
    'block5_conv3/Relu:0'
    )
vgg_stop = tf.stop_gradient(block5_conv3)    # ここ以下の層は凍結

convA_1 = tf.layers.conv2d(
        inputs=block5_conv3,
        filters=1024,
        kernel_size=3,
        padding='SAME',
        activation=tf.nn.relu,
        name="convA_1"
        )
convA_2 = tf.layers.conv2d(
        inputs=convA_1,
        filters=1024,
        kernel_size=3,
        padding='SAME',
        activation=tf.nn.relu
        )
convA_3 = tf.layers.conv2d(
        inputs=convA_2,
        filters=self.class_num,
        kernel_size=1,
        padding='SAME',
        activation=tf.nn.relu
      )
global_ave_pool_A = tf.reduce_mean(convA_3, axis=[1, 2])

X = tf.get_default_graph().get_tensor_by_name('input_1:0')
init = tf.global_variables_initializer()
with tf.Session() as sess:
    init.run()   # VGGまで初期化されてしまう
    res = sess.run(global_ave_pool_A, feed_dict={X: "(1,224,224,3)の配列"})
```

よろしくお願いします。

Tensorflowの学習済みモデルを用いた転移学習の際の変数の初期化

### 前提・実現したいこと

ファイル名が列挙されたテキストファイルを読み込み、
特定ディレクトリ以下を再帰的に検索してそのパスを出力するプログラムを作成しています。
下にあるプログラムで検索・出力するところまでは出来たのですが、
出力されるパスのファイル名部分が小文字になってしまいます。
検索文字列は大文字、実際に存在するファイルの名前も大文字です。
どうすれば正しいパスが取得できるでしょうか。

### 該当のソースコード

```python
import csv
from pathlib import Path, PurePath

/*
  search()を呼び出す過程で、下の変数には以下の値が入れられています。
  listFile: 検索したいファイルの名前を列挙したテキストファイル
  search_target_dir: 検索対象となるディレクトリ

　最終的に返したいのは、
  検索対象のファイル名,←のファイルが存在したディレクトリへのパス
　が列挙されたcsvファイル
*/
def search(listFile, search_target_dir):
  f = open(listFile, 'r', encoding="utf-8")
  reader = f.read().split('\n')
  
  # 検索対象のパス
  search_target_path = Path(search_target_dir)

  iDir = Path(listFile).parent.resolve()
  
  # 結果のcsvの出力先
  resultFile = filedialog.asksaveasfilename(\
    filetypes = [("テキストファイル","*.csv")],\
    initialdir = iDir,\
    initialfile = "result",\
    defaultextension = ".csv",\
    title = "結果ファイルの出力")
  
  w = open(resultFile, 'w')
  writer = csv.writer(w, lineterminator='\n')
  
  for line in reader:
    # print(line) ここで表示されるファイル名は大文字
    if list(search_target_path.glob("**/" + line)):
      [ writer.writerow([line, p]) for p in search_target_path.glob("**/" + line) ]
      # [ print(p) for p in search_target_path.glob("**/" + line) ]
      # ここで表示されるパス名は小文字
    else:
      writer.writerow([line, ""])
  
  f.close()
  w.close()
```

listFileとして呼ばれるテキストファイルの例
```txt
180903_A.jpg
111111_ZA.jpg
APPLE.jpg
```

上のファイルをE:\Users\XXX\画像 以下で検索した例
```csv
180903_A.jpg,E:\Users\XXX\画像\tmp\180903_a.jpg
111111_ZA.jpg,E:\Users\XXX\画像\111111_za.jpg
APPLE.jpg,E:\Users\XXX\画像\image\color\apple_jpg
```

### 補足情報（FW/ツールのバージョンなど）

Python 3.6.5


## 追記（20180911）

上ののコードの一部書き換えで不具合の回避ができましたので、共有いたします。
```python
- [ writer.writerow([line, p]) for p in search_target_path.glob("**/" + line) ]
+ [ writer.writerow([line, p.with_name(line)]) for p in search_target_path.glob("**/" + line) ]
```

Path.glob()を使って検索したパスが一部小文字になる

Deep Learningで、転移学習とファインチューニングという用語がありますが、
この2つの違いがわかりません。
わかりやすく違いを解説いただけないでしょうか？

私の理解だとどちらも、
既存の学習済モデルがあり、そのモデルと類似した別のモデル生成したい時に、
学習済モデルの一部を変更して、そのモデルの重みを初期値として学習し直す、
ことだと思っています。

転移学習とファインチューニングの違い

【やりたいこと】
pythonを用いて、クリップボードに入った文字列のうち、{}で囲まれたものを、
置換用の辞書にあるキーと一致した場合に、値の文字列に一斉に置換するプログラムを作りたいと思っています。

（例)
辞書ファイル(rep_dict.txt)
郵便番号,〒100-8111
住所,東京都千代田区千代田１-１
宛先指名,山田　太郎
案件,H社向け××システム

クリップボードの文字：
{宛先指名}様
先月ご依頼いただきました{案件}についてですが、…（中略)

以下住所に書類を送付いただけませんでしょうか。
{郵便番号}  {住所} 宛

お忙しい中大変申し訳ありませんが、ご対応のほど、よろしくお願いいたします。

【やってみたこと】
下記コードを描いてみました。
```python3
import pyperclip, re, threading, random

def task():
    copy_text = str(pyperclip.paste())

    #todo:ここで読み込む。下はテストで置き替え。{}で囲まれた文字は****で置き換えはできた
#    new = re.sub(r'{.+}', '****', copy_text)
    
    if len(copy_text) > 0:
        pyperclip.copy(''.join(new))
#        print('---Rewrite Complete!---')
    else:
        print('---Failure---')
    th = threading.Timer(5, task)
    th.start()

t = threading.Thread(target=task)
t.start()



```
上記のコードで、定期的に{}内の文字を****に置換するのには成功したのですが、
辞書を読み込んで、その情報と一致したら置換する処理を描こうとして詰まってしまいました。

下記のコードを追加したら、辞書を読み込む際に、エラーが出てしまいました。

with open("rep_dict.txt") as f:
    s = f.read()
print(s)
dict_rep = dict(line.strip().split(',') for line in s)
dict_rep

ValueError: dictionary update sequence element #0 has length 1; 2 is required

もしよろしければ、よい解決策についてご教示いただければと考えます。

クリップボードにある文字列のうち、{}で囲まれたものを、辞書から検索し、置換したい

mp4の任意の動画をアニメっぽくしたいです。
アニメっぽいっていう言葉の意味がいまいち曖昧ですが、これ以上言えません。
とりあえずOpenCVで減色しただけではうまくいきませんでした。
k-meansとか使えばいいのかもですが今調べています。
タグにはOpenCVとつけていますが、OpenCVでなくても構いませんし
有償のものでも構いませんが
なにか有用なライブラリかSDKかAPPを知っている人はいませんか？
あとアプリを作りたいのでGIMPのプラグインやAdobe系のプラグインのたぐいは勘弁していただけるとありがたいです。

アニメっぽい絵ってどいうものかという指摘があったので提出します。
例えばこんなものです。
[https://twitter.com/kokawa2003/status/1001348771093991425](https://twitter.com/kokawa2003/status/1001348771093991425)

動画をアニメっぽくしたい

例えば、
{キャベツ、トマト、牛蒡、胡瓜、西瓜、ネギ、玉ネギ、、、}を野菜とし
{メロン、林檎、砂糖キビ、ナツメ、キウイフルーツ }を果物とします。

このような分類は視覚上全然類似性のないobjectを人間の概念による強引に分類されちゃうのです。
CNN+DNNなら、勿論このような強引さに対応できるのですが、分類精度と安定性を考えたら、やはり視覚的に近いobjectを同じclassにするほうが良いではと思い、

例えば、以下のようなやり方なら、理論上、分類の精度や安定度またはマシン訓練の難易度が改善できるかどうか、お尋ねしたいのです。

**１．まずは各object毎に識別を行います。胡瓜なら胡瓜、トマトならトマト、、、きちんと識別してから、**

**２．人間のロジック　トマト➡野菜、キウイフルーツ➡果物、、、のように既定ロジックで再度分類します。**
##
１では誤認識が発生しにくくなり、２はNNとは関係なく、単にindexingするので、誤差が発生しない、
という都合の良いやりかたではと思いますが、理論上の支持を得られるかどうか分かりません。

**★若しかして、もっとまずくなります？**

##どんなご意見やアイディアでも宜しいですので、
どうぞご発言、ご教授ください。

##
**【CONCLUSION】**

このDNN学習に関する議論を通じて、非常に重要な問題に気付きました。 

自分の中に『**意味のあるDNN学習**』と『**意味のないDNN学習**』という概念が生まれました。 

即ち,**DNNの利用形態**によく吟味しなければなりません。 

例えば、たくさんの痴漢の写真と非痴漢の写真をCNN・DNNに学習させても**「現実的な意味を持たない」**という事です。
 何故ならば、訓練に使われていない人の写真をテストする時、その推定結果は何であれ、テストされた人が本当に痴漢であるかどうかは**判断できない**のです。 

ところが、たくさんの美人の写真とブスの写真をCNN・DNNに学習させてから、
 学習写真にない新しい写真をテストする時に、CNN・DNNの判定結果(美人か、ブスか)はけっこう**信用度高い**と思います。 

なので、野菜・果物の分類問題にしても、奇数・偶数の問題にしても、
やはり、先に**ビジュアル特徴**によってそのobjectの正体を断定してから、
**ビジュアル以外のロジック**で分類するのは**論理的に妥当**だと思います。 

【論理的に**妥当でない**分類形態にする場合、**かえってDNNの"訓練"精度が高くなる**かも知れませんが、意義が全然違います】

CNN+DNN分類策略について

### 前提・実現したいこと
下記のソースでエラーが発生する理由が知りたいです。
どなたか教えて頂けないでしょうか。宜しくお願い致します。

### 発生している問題・エラーメッセージ
リスト内包表記でクラス変数に代入する際に
リスト内包表記の式で別のクラス変数"x"を使用すると
変数xが未定義である旨のエラーメッセージを出力します。

```
エラーメッセージ
Traceback (most recent call last):
  File "C:\Users\harad\Desktop\Copal.tmp", line 5, in <module>
    class class_demo:
  File "C:\Users\harad\Desktop\Copal.tmp", line 7, in class_demo
    y = [x for i in range(5)]
  File "C:\Users\harad\Desktop\Copal.tmp", line 7, in <listcomp>
    y = [x for i in range(5)]
NameError: name 'x' is not defined


```
### 該当のソースコード

```ここに言語名を入力
python3.6
エラーが発生するソースコード
class class_demo:
   x = 6
   y = [x for i in range(5)]


#以下試した際のコード
#その１
class class_demo:
   x = 6
   y = [i for i in range(x)]
   print(y) #[0, 1, 2, 3, 4, 5]

#その2
class class_demo:
   x = 6
   def make_listcomp(self):
       y = [class_demo.x for i in range(1)]
       print(y) #[6]

```

### 試したこと
上記ソース：その１　リスト内包表記のforステートメントにクラス変数は使用可能でした。
上記ソース：その２　クラスではなくメソッドの中に記述すると正常に出力されます。

クラス変数定義を行う際、リスト内包表記の式にクラス変数を使用するとエラーが発生する

最近開発をしていて思うのはコードリーディングは自分でコード書くより大変な時があります。
なんとなく、自分はコードリーディングが下手なのか、書かれているコードがおかしいのか、大した動作をしていないのに、ものすごくコードを読むのに時間がかかることがあります。

読みやすいコードを書くのは基本ですが、現実は読みにくいコードをなんとか読まなければならない状況の方が多いと思っており,共同開発者やオープンソースコミッターがデザインパターンに沿ってコードを書いていることを期待してはいけなく,最近では無からコードを生成する能力に比して,読みにくいコードでも読める力のウエイトの方が実務では大事なのではないかと思うようになりました。(自分が1から書けば良くなることがわかってる状態だとしても,何がしたいのかをコードから読み取らなければならないことが多いからです)

どうすれば読みにくいコードでも効率良く読み進めることができるか方法を思索しています。
最近ではものすごく時間をかけて調査した結果、些細なバグの原因が全くそのクラスと関係ない場所で定義されたメソッドで副作用起こしてるから等がありました。

特に読みづらいと思ったのは以下のような特徴を持つプロジェクトのコードです。


- moduleと継承が混在していて名前空間で分かれていないメソッドの呼び出し(どのファイルで定義された関数,メソッドなのかがわからない)
- そのスコープにおいて有効な変数が多すぎる(やむを得ない場合もありますが一時変数すらインスタンス変数に設定してあるものなど,インスタンス変数の定義場所と使用場所の区別がつかない場合など)
- 処理の途中で違う処理が挟まってる(単一処理できないこともありますが)
- 継承の多用(概念的に綺麗であれば大丈夫ですが分岐や深過ぎる継承同じ概念でまとめられるはずの継承)
- 大き過ぎるメソッド
- 小さすぎる大量のメソッド(的確に切り分けられてないと定義を飛び続けて元のコードの処理を追いづらくなる)
- 処理フローがめちゃくちゃなメソッド（名前と実行してる処理が違う,名前に対して色んな処理をしすぎ）
- 同じ処理が複数ファイルに散在している(読みづらい上に一箇所の変更が複数ファイルに伝播して直すのも大変)


このような特徴を持つコードでも読む時に意識すると読みやすくなるってことありますか？もしコードリーディングで意識していることがあれば教えて下さい。(ファイル上に存在しないメソッドは継承,標準ライブラリ,mixinで的を絞るなど)

よろしくお願いします。

コードを読みやすくするために意識していることを教えてください。

現在RailsアプリケーションでRSpecを使いながらテスト駆動か初に挑戦しています。

幾つかテストを書いて思ったことを質問させていただきます。
（テストを導入したのはアプリケーションの機能をほとんど実装してからです）

### 始めからテストをかけない
今回は、実装がほとんど出来ている状態からテストを書いているので、テストコードをメソッドごとにかけるのですが。
本来であれば最初に書くはずだと思います。ですが最初に書いたコードでは、綺麗にメソッド分割できておらず、ほぼベタ書き状態のものが多い気がします。
そこからリファクタリングをして、メソッドの分割、その後、各メソッドのテストコードを記述というのが理想的なような気がします。

###結合テストからするべき？（テスト=>実装の流れならば）
単体テストの場合ではクラス単位、メソッド単位で行うことが多いかと思います。
テストコードの中でクラスやメソッドを呼び出すということは、クラス名やメソッド名の変更、引数の有無など変更できなくなります。（その都度テストコードを書き換えるのならば良いのですが）

なので、結合テスト（ブラウザぽちぽちして、最終に得られる結果を期待するコードを書く）をすると、メソッドの分割や、名前の変更ができるようになるのではないでしょうか？

その後単体テストを記述し、ロジックの部分をリファクタリングするというのが良いのではないかと思います。

皆様の意見を聞かせて頂きたいです。

上手なテスト駆動開発の進め方について

ES6からグローバル汚染を避けるために、すべて即時関数の中に記載しなくてよくなったと聞きました。

ただの{}ですべて処理のグループをとりあえず囲めばブロックスコープになるのでこれにvar以外を使えばそれでよいのでしょうか？
初心者にはただの{}に式が詰まっているのは文法エラーのように見えるのですが、ただの{}というのは問題ないのでしょうか？

またトランスパイルする場合は、このやり方だと、letがvarに代わってしまうので、相変わらず即時関数か、無名関数で囲むしかないという認識でよいでしょうか？
また、一般的に正しい書き方は、トランスパイルする場合は、
まず全体を即時関数で囲み、その後各グループをさらに即時関数で囲んでいくというやり方でよいでしょうか？
即実行したくないものは、ここに入れてはいけないのかという疑問も初心者には出てくるのですが、そもそも即実行しないものなんて実際はないですかね？


・JS本格入門より
＞＞＞
即時命令は使わない
前項で触れた即時関数は、ES2015の環境では要らなくなります。以下のように、該当するコードをブロックでくくり、配下の変数をlet命令で宣言すれば、即時関数と同じ効果を得られるからです。
◉リスト4-20 let_block.js
 {
   let i = 5;
   console.log(i);     // 結果：5
 }

 console.log(i);     // 変数iはスコープ外なのでエラー
リスト4-18と比べると、ぐんとコードがシンプルになっていると思います。

ES6からグローバル汚染を避けるために、すべて即時関数の中に記載しなくてよくなったと聞きますが、疑問点があります。

抽象的な質問ですみません。
Web系のエンジニアで、自動車系の業界のIT部門にいます。
近年、IoTの世界でモノからデータをサーバに送るような試みが多くありますが、
その多くがNode.jsで開発されているような気がします。
しかしながら、Node.jsというサーバ言語がなぜそれほどIoTに適合するのかいまいちわかりません。
Node.jsにはノンブロッキングIOという仕組みがあって多くのリクエストを捌きやすいというのを聞いたことがあります。また、Socket.ioというWebSocketを実装したライブラリあることも知っています。
しかしこれらの要求は、他の汎用言語でも満たせると思いますし、JavaScriptという言語自体がサーバーサイドの開発において難易度が高そうな気がします。
僕はあまり知識がないので、簡単にでいいのでわかりやすく説明していただけないでしょうか。

なぜIoT分野ではNode.jsが用いられているのでしょうか？

いつもお世話になっております。
pycharmについて基本的な質問なのですが、ご教授いただきたいです。

Macでpycharmをインストールし、いざファイルに入力を行おうとしたところ。
入力できず、linuxのvimのように一度 i を入力しないと編集できない設定となっております。

これを直接入力できるようにしたいのですが、どの設定をすれば良いのかがわかりません。

初歩的な質問で申し訳ありませんが、ご教授お願いいたします。

※日本語化はしていないので、英語のメニューで教えていただけると幸いです。

pycharmの入力について

TensorFlow初心者です。
TensorFlowを使って重回帰分析をしようとしています。

# tl;dr
最適化関数に勾配降下法を用いるために、GradientDescentOptimizerを使ってみましたが、
重みが上手く更新されているようには思えません。
何が原因なのでしょうか。

# 重回帰分析の実装
弁当の売り上げを目的変数とし、
「気温」「年」「月」「特定のメニューであるか否か('fun'と呼びます)」の４つの説明変数を用いています。
さらに

```python
trainX1 = np.transpose(np.matrix(train['temperature']))
trainX2 = np.transpose(np.matrix(train['year']))
trainX3 = np.transpose(np.matrix(train['month']))
trainX4 = np.transpose(np.matrix(train['fun']))
x_columns = np.concatenate((trainX1,trainX2,trainX3,trainX4), axis=1)
one_columns = np.transpose(np.matrix(np.repeat(1,len(x_columns))))

trainX = np.concatenate((one_columns, x_columns), axis=1)
```


このようなコードで以下のようなtrainXの行列を作成します。
![イメージ説明](9685ce36138668ff0593481bc3d0ab17.png)


また、学習させる重みベクトルであるwを用意します。
```python
w = tf.Variable(tf.random_normal(shape=[5,1]))
```
![イメージ説明](6f028eb73d6d871e1a94b23cca5f2cd5.png)


これを損失関数RMSEと最適化関数SGDを使ってうまいこと更新してほしいのですが、うまくいきません。
```python
loss = tf.sqrt(tf.reduce_mean(tf.square(y_target - model_output)))
train_op = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)
```


# 実行してみた結果
正解である売り上げは1日せいぜい50個付近をうろうろするような値を取ります。

また、trainXの値はそれぞれ取る幅が大きく異なります。
気温は20前後、年は2015前後、月は1~12、funは0または1です。
なのにもかかわらず、
lossやwの遷移は、

1,000エポック目
```
Step #1000 w = [[ 2.5351398 ]
 [ 0.61772847]
 [ 1.01535892]
 [-0.57643688]
 [-0.82196891]]
Loss = 1968.61
```

50,000エポック目
```
Step #50000 w = [[ 2.53515816]
 [-2.04255724]
 [ 1.06837845]
 [-0.21111657]
 [-0.7757085 ]]
Loss = 2026.23
```

100,000エポック目
```
Step #100000 w = [[ 2.53515816]
 [-2.56503868]
 [ 1.07396245]
 [ 0.31354469]
 [-0.72820771]]
Loss = 2031.3
```

という風な結果になっています。
売り上げは-1990個とかになっています。(正解は50個程度)
直感的に考えてw[2]は他に比べてもっと差のある数値になるはずですが、上手く更新されていません。

ちなみにハイパーパラメータは
207個のデータに対して、
学習率: 0.001
バッチサイズ: 100
エポック: 100,000
と設定しています。


# 個人的な考察
ここからは推測なのですが、TensorFlowのSGDは各パラメータに対して同程度の更新しかできないのでしょうか。
パラメータ1が0.1くらい増加するのが最適なら、
パラメータ2が100増加するのが最適だとしても0.1しか更新できない、という風に。
だとすればエポックをもっと増やせば上手くいく気もしますが、lossが減っていないところを見るとそうでもなさそうです。

標準化をすればよいのでしょうか。
しかし、適切な標準化の仕方がわかりません。
trainX,testXに対して同様の標準化をし、yにはしない。
という風にしても良い結果は得られませんでした。

```python
ss = StandardScaler()
ss.fit(trainX)
trainX = ss.transform(trainX)
```

## 結果
```
Step #1000 w = [[-0.66529876]
 [-0.34425855]
 [ 0.14133939]
 [ 0.35682976]
 [-0.86263251]]
Loss = 91.1161
```

```
Step #100000 w = [[ -0.66529876]
 [-13.21006107]
 [-10.87212086]
 [ -0.82688373]
 [  5.15802956]]
Loss = 87.2392
```

売り上げは-31個とかを示しています。(正解は50個程度)

どなたかなにかわかる方がいらっしゃればご教示願えませんでしょうか。
よろしくお願いします。

TensorFlowのGradientDescentOptimizerについて

Rで欠損値処理をしている方には有名らしい、MICEという欠損値補完手法を、Pythonで試そうとしています。メソッドは、statsmodels.imputation.miceの中にあるものを使用します。

【質問】 
実際にどのようなコードを書けば、データフレームの欠損値を補完できるのか？

下記リンク先のドキュメントとソースコードの例を読み込みましたが、いまいちやり方が理解できませんでした。
【MICEモデルの概要の説明リンク】http://www.statsmodels.org/dev/generated/statsmodels.imputation.mice.MICEData.html
【MICEモデルのソースコード】
http://www.statsmodels.org/dev/_modules/statsmodels/imputation/mice.html#MICEData

【データフレームの性質】
コラムの数:237
行の数:219395

【試したコード】
```Python
#ライブラリ
#Libraries
import pandas as pd
import statsmodels.regression.linear_model as sm
from statsmodels.imputation.mice import MICE,MICEData
#欠損値補完
new_df = df.copy()
imp = MICEData(new_df)
fml = 'y ~ x1 + x2 + x3 + x4'
mice = MICE(fml, sm.OLS, imp)
```
よろしくお願いいたします。

Pythonで、MICEモデルを使った欠損値補完をしたい

普段はWeb、アプリエンジニアをしています。

近頃は機械学習の勉強を始めて、入門サイトや入門書で有名な「ゼロから作るDeep Learning」などを読み終わりました。

書籍にはサンプルプログラムとして画像識別が掲載されており、それを自分なりに応用することはできるようになりました。

現時点で業務と直結しているわけではないものの、趣味としてスポーツの勝敗予想を機械学習でやりたいと考えているのですが、具体的にどんなことを学習・実装すれば良いのかというところで躓いてしまいました。

近いものとして、ウェブ上には競馬の予想プログラムの実装についてのプレゼンや理論解説が掲載されており、それを糸口にしようとしたものの、いかんせんコード自体が公開されておらず、そもそもどこから手を付けて良いのかがわからない状態です。

プロスポーツの勝敗予想を行いたいのですが、この場合どのような学習プロセスを踏めば良いのか、オススメのサイトや書籍、あるいはどんな学習をするべきかというアドバイスを頂けないでしょうか。

抽象的な質問で申し訳ありませんが、ご回答頂けると幸いです。よろしくお願いします。

機械学習によるスポーツの勝敗予想の実装・学習方法を知りたい

エンジニアならこれは読んでおけ みたいな本を教えてください。
ほかにも読んですごく良かった本などでも知りたいです。

アルゴリズムの本や正規表現、TCP/IPなどなど
お願いします

読んでおいたほうがいい本

最近本格的にPythonの勉強をはじめたMacユーザ（HighSierra）です。
Pythonには2系と3系があって・・・とかpyenv、venv、virtualenv、Anacondaなどなど、いろいろありすぎてワケがわからなくなっています。

検索すると古い情報の海に溺れてしまいorz
書籍で勉強しようとすると毎回第１章の環境構築がうまくいかず、どの本も先へ進めません。
DockerがいいのかVirtualBoxがいいのかMacOS上でいいのかもわかりません。
OSの環境をなるべく汚さないほうがいい、というのは後から知ったので、もうすでに散々アレコレいじくり倒してしまいorz

2018年春の現時点で、みなさん結局どう管理してますか？

Pythonのバージョン管理、結局どうしてますか

仕事でEXCEL＋VBAを使うことが多いです。

VBAの利点は、さくっとVISUAL BASIC開発環境があり、
イミディエイトウインドウやローカル変数を見たりするのが
容易で、実行しながら開発できたり、デバッグが楽だったりします。

もう、これでほとんどの業務をこなすことができるのですが、
やはり自分としては、他のプログラム言語を習得したいと思っています。

しかしながら、やはりやりたいことをすぐ実現するには、
ＥＸＣＥＬ＋ＶＢＡがこの上なく便利すぎて、
他の言語を覚えたり、習得するまでの時間がもったいない現状です。


いまのところ、仕事での作業としては
・毎日のアウトルックメール
・ＣＳＶファイルからのデータ抽出
・課題管理、タスク管理
です。


他の言語に手が出しにくい要員を分析してみると、
やはり開発ツールの導入が必要ということです。

できればEXCELにに付属しているVBAエディタで、
Ｃ＃やＪＡＶＡやパイソンを動かせたらな・・・

いつもそういう風に思ってしまいます。
そんなことを思いながら、VBAをいじっている自分に
ときどきフラストレーションを覚えます。


こんな状況の中から、他の言語を習得されたり
業務で活かせるアプリケーションをさくっと
開発できる方はいらっしゃいますでしょうか？

共感した 0

EXCEL＋VBA以外の選択肢がほしい

プログラミングに関係ありません。
すみません。


どうしてもteratailでしか聞けないことだなと思い投稿しました。


なぜQiitaに投稿する人がいるのでしょうか？


どのようなメリット、心理があって投稿するのか以前から気になっており、
今、我慢できなくなって質問してます。



具体的に知りたいところは報酬に関してです。


先日、ある記事を読みました。
なぜクックパッドは楽天レシピに勝ったのか。



1つは情報量の差。(省略)
2つめが報酬の違いでした。



クックパッドがユーザーの投稿に対して他ユーザーから感謝・評価された時のユーザー心理を利用しているのに対し、楽天レシピは投稿してユーザーに返ってくるのがお金です。


報酬がお金だと人は楽しみを失い、やがてそのサービスから離れていくという内容だった気がします。




この報酬の性質に着目したとき、
Qiitaもクックパッドに近いから投稿者がついているのかなと考えました。
クックパッドと比べるとQiitaは評価機能は(コメントによるコミュニケーションもまた)少ないですが。



同列に考えていいものかとも思いますが、とりあえず。




以下は、僕が考えた、ユーザーがQiitaに投稿する理由です。



①備忘録

なんども検索したり勉強したりするのがめんどくさい。
せっかくなら記事としてウェブに残しておこう。みたいな。

ただ、あんまりここは理由として信用してないです。
備忘が目的ならBoostnoteに書けばいいだけですし。


②承認欲求


自分の投稿を他のプログラマーに認めてほしい。



③貢献欲求


自分が躓いて苦労したから同じような人のために。




以上です。
私は①～③も特に思ったことはないので、みなさんの気持ちがわからないです。




頭のいいteratailユーザーのみなさんなら、
僕が知りたいことを言語化してくれるのではないかと思いました。



できれば、以下を伝えてから回答してくださると嬉しいです。


①Qiitaをよく利用する
②teratailをよく利用する
③どちらもよく利用する
④どちらもあまり利用しない




結構、サイト作るときにここらへんを意識しなければいけないので、全く無意味な質問ではないと思います。teratailの思想には反していますが！





もし目に留まれば回答をお願いします。
よろしくお願いします。