常連

注目の的

社会貢献

質問力

tensorflowを用いて画像認識を行いたいのですが、学習させる画像データが約200万枚あり、自作したCNNに入れて学習させようとすると、メモリエラーとなりました。
そこで、質問なのですがこのような大量の画像データを学習させるにはどのようにすればよいのでしょうか？
画像データと正解ラベルの入ったデータを複数に分割してcnnに読み込むのかわかりません。
また、ラベルが数値でなくUTF-８の文字コード(例:EFBD２３９など)にしており、学習後に画像認識する際に、結果のラベルを文字コードから文字にしたいと考えています。
ただ、ラベルを数字でつける例はよく見るのですが、文字コードで画像にラベルをつけてnumpyなどの形式（.npzなど)に変換する方法がわかりません。
画像データ自体は文字の画像なので、ラベルは数字でなく文字コードで読み込みたいです。

以上まとめると、

１．２００万枚の画像で３００００種類のラベルがあるデータを学習させるにはどのようにすればよいか？（メモリエラーなどの問題を回避する方法が知りたいです。）
2.　画像データとラベル(文字コード）を最も扱いやすい形式に変換し、CNNに読み込む方法は何かあるのでしょうか？

わかりにくいかもしれませんが、回答いただければ幸いです。

tensorflowで200万枚３００００ラベルの画像を学習させメモリたいのですが、エラーになるため解決したいです。

他人の質問を見て、自分も考えましたが、なかなか結論を得ることができなくて、ヒントでも頂ければと思います。
例えば、下記TesorFlowの文の中のv1, inc_v1 には具体数値をまだ設定されていないと理解できていますが、疑っているのは
もしかして『**変数v1 と inc_v1の本体(memory空間)でさえ、その時点でまだ確保されていないでは？**』ということです。

即ち、v1 と inc_v1はプログラムがメモリにロード・展開された後でもv1 と inc_v1の実体はないでは？という疑問です。

これに対して、PythonやC言語の場合、プログラムがメモリにロード・展開されたら、変数のメモリが必ず確保されるのですね。

[C言語の場合,少なくともmallocのためのpointerメモリが必ず確保されます]

```Python
# Create some variables.
v1 = tf.get_variable("v1", shape=[3], initializer = tf.zeros_initializer)

inc_v1 = v1.assign(v1+1)

```

TensorFlowの文の性格に関する質問です

Android開発をしています初心者です。

検索機能を作成しています。
ScrollView内にListViewを3つ持ちたいです。
各々のLisViewに表示されるリストは1件〜3件までです。

デザインを担当している人がいるのですが
作成されたデザインに合わせて、JSONで1~3件ずつPHPからデータを取得して
別々のListViewに表示させています。
以下がUI(見ずらくて申し訳ございません)と、XMLのコードです。

```text
-------------------
-------------------
名前
List1
List2
List3
-------------------
全件表示ボタン
-------------------

-------------------
概要
List1
-------------------
全件表示ボタン
-------------------


-------------------
詳細
List1
List2
-------------------
全件表示ボタン
-------------------

```
```xml
<?xml version="1.0" encoding="utf-8"?>

<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    android:background="#EEEEEE"
    android:orientation="vertical">

    
    <LinearLayout
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:paddingTop="15dp"
        android:paddingBottom="15dp"
        android:background="#EEEEEE"
        android:orientation="horizontal">

            <TextView
                android:layout_width="wrap_content"
                android:layout_height="wrap_content"
                android:text="「"
                android:textColor="#515151"
                android:textSize="17sp" />

            <TextView
                android:id="@+id/search_result_text"
                android:layout_width="wrap_content"
                android:layout_height="wrap_content"
                android:text="text"
                android:textColor="#515151"
                android:textSize="17sp"
                android:textStyle="bold" />

            <TextView
                android:layout_width="wrap_content"
                android:layout_height="wrap_content"
                android:text="」の検索結果"
                android:textColor="#515151"
                android:textSize="17sp" />


    </LinearLayout>

    
    <LinearLayout
        android:layout_width="match_parent"
        android:layout_height="5dp"
        android:background="#FFFFFF" />



    
    <LinearLayout
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:background="#DBDBDB"
        android:gravity="center_vertical"
        android:paddingLeft="20dp"
        android:orientation="horizontal">


        <TextView
            android:layout_width="match_parent"
            android:layout_height="wrap_content"
            android:text="名前"
            android:background="#DBDBDB"
            android:textColor="#515151"
            android:textSize="18sp"/>


    </LinearLayout>

    
    <LinearLayout
        android:layout_width="match_parent"
        android:layout_height="5dp"
        android:background="#FFFFFF" />

    
    <ListView
        android:id="@+id/list_name"
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:paddingRight="20dp"
        android:paddingLeft="20dp"
        android:background="#DBDBDB"/>

    
    <ListView
        android:id="@+id/all_name"
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:paddingRight="20dp"
        android:paddingLeft="20dp" />



    
    <LinearLayout
        android:layout_width="match_parent"
        android:layout_height="5dp"
        android:background="#FFFFFF" />




    
    <LinearLayout
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:background="#DBDBDB"
        android:gravity="center_vertical"
        android:paddingLeft="20dp"
        android:orientation="horizontal">

        <TextView
            android:layout_width="match_parent"
            android:layout_height="wrap_content"
            android:text="概要"
            android:background="#DBDBDB"
            android:textColor="#515151"
            android:textSize="18sp"/>

    </LinearLayout>


    
    <LinearLayout
        android:layout_width="match_parent"
        android:layout_height="5dp"
        android:background="#FFFFFF" />


    
    <ListView
        android:id="@+id/list_gaiyo"
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:paddingRight="20dp"
        android:paddingLeft="20dp"
        android:background="#DBDBDB"/>

    
    <ListView
        android:id="@+id/all_gaiyo"
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:paddingRight="20dp"
        android:paddingLeft="20dp"/>




    
    <LinearLayout
        android:layout_width="match_parent"
        android:layout_height="5dp"
        android:background="#FFFFFF" />



    
    <LinearLayout
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:background="#DBDBDB"
        android:gravity="center_vertical"
        android:paddingLeft="20dp"
        android:orientation="horizontal">

        <TextView
            android:layout_width="match_parent"
            android:layout_height="wrap_content"
            android:text="詳細"
            android:background="#DBDBDB"
            android:textColor="#515151"
            android:textSize="18sp"/>

    </LinearLayout>


    
    <LinearLayout
        android:layout_width="match_parent"
        android:layout_height="5dp"
        android:background="#FFFFFF" />


    
    <ListView
        android:id="@+id/list_detail"
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:paddingRight="20dp"
        android:paddingLeft="20dp"
        android:background="#DBDBDB"/>

    
    <ListView
        android:id="@+id/all_detail"
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:paddingRight="20dp"
        android:paddingLeft="20dp"/>





</LinearLayout>
```

しかし、デザイン担当がぐちゃぐちゃに作っていたので
一つの画面に、3つのListViewがあり個々のListView単体でスクロールするため、
画面全体がスクロールしないです。なので、一番したにあるボタン(ListViewで作られた)が見えません。
小さい端末だと、ボタンどころか、下の詳細まで見えなくなります。

TextViewでやろうとしましたが、
Listの数は、1件〜3件と動的に変化するため、
setTextでやろうとすると、
例えば1件の場合、下にtextのない２件が表示されてしまいます。

下記の方法でやってみても、よくわからず。。。
http://blog.howtelevision.co.jp/entry/2015/03/19/115020

この記事の場合、
ListViewを継承しているclassは
新規にfileを作成したところに実装するのでしょうか？
また、これを呼び出す際は、Activityのどこで呼び出せば良いのでしょうか。


何か、情報の不足がありましたら、
追記しますので、コメント頂けますと幸いです。

文章ばかりでわかりにくく、申し訳ございません。
ご教示のほど、よろしくお願いいたします。

ScrollView内にListViewを複数

描画した図形を表示後、描画の座標を変え、再描画することで図形を移動させたいと考えています。

SurficeViewを使うとよいとのことで、SurficeViewを採用することにしました。

移動を実現する前にまず静止画として図形を描画しようと考えましたが、図形が描画されない状況です。

プログラム自体にエラーはなく、デバッグでも描画(しているつもり)の処理の部分を通過していることを確認したため、未到達により処理がされていないことはないと考えています。

どの認識が間違っているのか、ご助言頂きたく存じます。

以下、ソースコード
MainActivity.java

```
package com.example.surfaceviewtest;

import android.os.Bundle;
import android.app.Activity;
import android.view.Menu;

public class MainActivity extends Activity {
    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);


        //SurfaceView のインスタンスを実体化し、ContentView としてセットする
        SampleSurficeView surfaceView = new SampleSurficeView(this);
        setContentView(surfaceView);
    }

}
```


SampleSurficeView

```
package com.example.surfaceviewtest;


import android.content.Context;
import android.view.SurfaceHolder;
import android.view.SurfaceView;

public class SampleSurficeView extends SurfaceView {

    private SampleHolderCallBack cb;


    public SampleSurficeView(Context context) {

        super(context);

        SurfaceHolder holder = getHolder();
        cb = new SampleHolderCallBack();
        holder.addCallback(cb);


    }

}

```

SampleHolderCallBack.java

```
package com.example.surfaceviewtest;


import android.graphics.Canvas;
import android.graphics.Color;
import android.graphics.Paint;
import android.util.Log;
import android.view.SurfaceHolder;

import static android.R.attr.x;
import static android.R.attr.y;


public class SampleHolderCallBack implements SurfaceHolder.Callback, Runnable {


    private SurfaceHolder holder = null;

    private Thread thread = null;

    private boolean isAttached = true;


    @Override

    public void surfaceChanged(SurfaceHolder holder, int format, int width, int height) {


        // 使わない(´・ω・`)

    }


    @Override

    public void surfaceCreated(SurfaceHolder holder) {


        this.holder = holder;

        thread = new Thread(this);

        thread.start(); //スレッドを開始

    }


    @Override

    public void surfaceDestroyed(SurfaceHolder holder) {


        isAttached = false;

        thread = null; //スレッドを終了

    }


    @Override

    public void run() {

        Log.w("ろぐ", "てすと");


        Canvas c = holder.lockCanvas();
        Paint p = new Paint();
        c.drawColor(Color.BLUE);
        p.setStrokeWidth(8.0f);
        p.setStyle(Paint.Style.FILL);
        p.setColor(Color.RED);
        c.drawRect(200, 350, 220, 370, p);
        holder.unlockCanvasAndPost(c);

    }

}

```

SurficeViewをつかって描画したい

### 前提・実現したいこと

Python + TensorFlow + Kerasで機械学習をしています。
データセットにはtf.data.Datasetを使用しています。

実現したいのは以下のとおりです。

1. `tf.data.Dataset`から「入力画像」「教師ラベル」「画像ID」を取り出す
2. `tf.keras.Model`の`predict()`に「入力画像」を与え、予測結果を得る
3. 予測結果と「教師ラベル」を比較し、不一致であれば「画像ID」をファイル出力する
4. `tf.data.Dataset`が空になるまで、1.~3.を繰り返す。

### 発生している問題

当初は、`tf.Session`の`run()`を繰り返し実行することで、上記の1.~3.を行う実装にしていました。
しかし、`predict()`の結果が意図せぬ不規則な値となってしまいました。

やむをえず、すべてのデータに対して`predict()`を呼び出し、予測結果のリストを作成(loop 1)したあと、再びすべてのデータから「教師ラベル」と「画像ID」のリストを作成(loop 2)し、予測結果のリストと「教師ラベル」のリストを比較する、という陳腐な実装になってしまっています(下記ソースコード参照)。

以上を踏まえてのご質問です。機能としては一応実現できているのですが、下記コードをよりスマートに書き換えることはできないでしょうか？

具体的には、

* データセットに対するループは1回にしたい
* ループの中で予測結果と「教師ラベル」の比較を行いたい
* ループの中で「画像ID」のファイル出力を行いたい

といったところです。

可能であれば、コード例も合わせてご教示いただけると幸いです。
以上よろしくお願いいたします。

### 該当のソースコード

```python
model = tf.keras.models.load_model('model.h5')

iterator = dataset.make_one_shot_iterator()
image, label, id = iterator.get_next()

try:
  while True:  # loop 1
    pred = model.predict(image, steps=1)
    pred_array = numpy.append(pred_array, pred)
except tf.errors.OutOfRangeError:
  pass

with tf.Session() as sess:
  try:
    while True:  # loop 2
      ret = sess.run([label, id])
      label_array = numpy.append(label_array, ret[0])
      id_array = numpy.append(id_array, ret[1])
  except tf.errors.OutOfRangeError:
    pass

output_id_list(id_array[label_array != pred_array])
```

### 試したこと

* loop 2 に`predict()`を含めるパターンは、正しい予測結果が得られなかった。
`predict()`の内部でも`run()`を呼んでいるから？
* loop 1に`run()`を含めるパターンは、データセットを正しくイテレーションできず、
先頭のデータが常に返ってきてしまった。

### 補足情報

| software | version |
|:--|:--|
| python | 3.6.6 |
| TensorFlow | 1.10.0 |
| Keras | tf.keras |

TensorFlowのセッション中、model.predict()を呼び出す方法

機械学習で画像分類を勉強しています。画像にある対象物が写っていたら1、写っていなければ0に分類するような学習をしています。現在はファイルに一枚ずつ撮影した同じサイズの写真を入れてデータを作っていますが、これを1枚の画像を分割して複数のデータにしたいです。最終的に一枚の画像を入力すると、どの範囲に対象物が含まれているのかを検出するような学習がしたいのですが作り方が分かりません。また、参考になりそうなコードなどありましたら教えていただけると嬉しいです。

画像分類のデータセットの作り方

機械学習による二値分類をやろうとしているのですが、アンダーサンプリング後の正解率でトレーニングでは100%近くいっても、テストでは六割程度にとどまります。過学習対策をしても、トレーニングが下がるのはいいのですが、テストは上がる気配がありません。

データをMDSによる可視化したところ、以下のようになったのですが、この分布からしてそもそも機械学習による分類が厳しい可能性もあるでしょうか。

つまりは各ラベルのデータが目的ラベルとの関係なく全般的に分布しているので、いくらトレーニングでフィットできても、テストの結果はある程度以上は望めないといった可能性があるのかなと考えているのですが、ご意見をお聞かせください。
![MDSの結果](7a962f9ef565bcd0670a59ed26c68daf.png)