常連

拍手喝采

自己紹介

### 前提・実現したいこと

[こちら](https://qiita.com/ShuzoCreate/items/60f6e9a08751c38e3b8f)のKotlinのコードを参考に、スマホアプリをクライアントとしてTCP通信を行うプログラムを作成しています。
socket接続とサーバーとの電文のやり取りはできたのですが、outputStreamで送信してから〇秒以内に返信がない場合、というタイムアウトを設定することができません。
socket.soTimeoutを用いればタイムアウトを設定できるそうなのですが、動作してないように見えます。（java.net.SocketTimeoutExceptionに引っ掛かりません）
どのようにすればAndroidのKotlinでTCP通信のリードタイムアウトを設定できるのでしょうか？
socket.soTimeoutを使えるようにするのでも、何かタイマーを設けるものでも、タイムアウトの判定ができればいいです。

[参考（setSoTimeout）](https://docs.oracle.com/javase/jp/7/api/java/net/Socket.html#setSoTimeout(int))

### 該当のソースコード
whileで連続してサーバーに送信し続け、途中でサーバーを落とし、タイムアウト（もしくは切断）を検知できるか、という風にしています。

MainActivity
```kotlin

import android.os.Bundle
import android.os.Handler
import android.util.Log
import android.widget.Button
import androidx.appcompat.app.AppCompatActivity
import kotlinx.coroutines.channels.Channel
import java.nio.ByteBuffer


const val MSG_CONNECTION_SUCCESS = 111 // 接続成功
const val MSG_CONNECTION_FAILED = 222  // 接続失敗
const val MSG_IOEXCEPTION = 333        // 例外発生

class MainActivity : AppCompatActivity() {
    private var tcpcom: ComTcpClient? = null
    val ip = "10.0.2.2"
    val port = "2001"
    private val TAG = MainActivity::class.java.simpleName
    val handler = Handler()

    override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)
        setContentView(R.layout.activity_main)

        connect()

        val runnable = object: Runnable{
            override fun run(){
                val sendArray = ByteBuffer.allocate(30)
                sendArray.putInt(0x01020304)
                val byteArray = ByteBuffer.allocate(30)

                try {
                    tcpcom?.sendOrReceive { outputStream, inputStream ->
                        println("output")
                        outputStream.write(sendArray.array())
                        try{
                            println("input")
                            inputStream.read(byteArray.array())

                        } catch(e: Exception){
                            println("error")
                        }
                    }
                } catch(e: Exception){
                    Log.d(TAG,"Failed...")
                }
                handler.postDelayed(this,5000)
            }
        }
        handler.post(runnable)
   
    }

    fun connect(){
        val channel = Channel<Int>()
        if (!ip.isEmpty() && !port.isEmpty()) {
            tcpcom = ComTcpClient(ip, port.toInt(), channel)
            tcpcom?.connect()
        }
    }
}
```

ComTCPClient
サーバー切断後もjava.net.SocketTimeoutExceptionにもIOExceptionにも引っ掛かりません……。なんならExceptionにも引っ掛かりません。
```kotlin

import android.util.Log
import kotlinx.coroutines.Dispatchers
import kotlinx.coroutines.GlobalScope
import kotlinx.coroutines.channels.Channel
import kotlinx.coroutines.launch
import java.io.IOException
import java.io.InputStream
import java.io.OutputStream
import java.net.Socket
import java.net.UnknownHostException

class ComTcpClient(val ip: String, val port: Int, val channel: Channel<Int>) {
    private var socket: Socket? = null
    private val TAG = ComTcpClient::class.java.simpleName

    fun connect() {
        GlobalScope.launch(Dispatchers.Default) {
            Log.d(TAG, "接続開始...")
            try {
                socket = Socket(ip, port)
                channel.send(MSG_CONNECTION_SUCCESS)

            } catch (e: IOException) {
                Log.e(TAG, "IOException", e)
                channel.send(MSG_IOEXCEPTION)

            } catch (e: UnknownHostException) {
                Log.e(TAG, "UnknownHostException", e)
                channel.send(MSG_CONNECTION_FAILED)
            }
        }
    }

    fun sendOrReceive(callback: (OutputStream, InputStream) -> Unit) {
        socket?.soTimeout = 1000
        if (socket == null) throw java.lang.IllegalStateException()
        socket?.also { socket ->
            GlobalScope.launch(Dispatchers.Default) {
                try {
                    if (socket.isConnected) {
                        println("SOCKET!")
                        callback(socket.outputStream, socket.inputStream)
                    } else {
                        channel.send(MSG_CONNECTION_FAILED)
                        println("disconnect...")
                    }
                } catch(e: java.net.SocketTimeoutException){
                    println("Timeout!!")
                } catch (e: IOException) {
                    channel.send(MSG_IOEXCEPTION)
                    println("socket error")
                }
            }
        }
    }

    fun close() {
        if (socket == null) throw java.lang.IllegalStateException()
        socket?.also { socket ->
            GlobalScope.launch(Dispatchers.Default) {
                try {
                    if (socket.isConnected) socket.close()
                } catch (e: IOException) {
                    channel.send(MSG_IOEXCEPTION)
                }
            }
        }
    }
}
```


一応サーバー側も記載しておきます。両者はローカルループバックで接続しています。
```python
import socketserver

class MyTCPHandler(socketserver.BaseRequestHandler):
    def handle(self):
        while(True):
            self.data = self.request.recv(1024).strip()
            print("{} wrote:".format(self.client_address[0]))
            print(self.data)
            
            send_array = (0x01020304).to_bytes(4,byteorder="big",signed="true")
                  
            self.request.sendall(send_array) 

if __name__ == "__main__":
    HOST, PORT = '127.0.0.1', 2001

    with socketserver.TCPServer((HOST, PORT), MyTCPHandler) as server:
        server.serve_forever()
        
```

Android TCP通信 inputStream.readにタイムアウトを設定したい

○○規模のECサイトであれば○○のスペックのサーバーがほしいというのは
どうやったらわかるようになるのでしょうか？


例：
月間UU １０万　であり、AWSを利用するのであればEC2のこのインスタンスタイプがよい。


読むべきサイト、本。
漠然としていてすみませんが何卒お願いします。

Webエンジニアのインフラ知識について

技術的な質問です。
プログラミングの中で計算式をいれる際、下記のどのタイミングで入れるのが理想なのでしょうか？また、その理由をご教示いただけますでしょうか？

・python等の言語
・PL/SQL
・SQL

この質問の経緯としまして、企業の財務データを取り込み既存のデータに計算式を加えて必要なデータを算出するのが目的です。
それに伴い、どのタイミングで計算式を入れた方が現実的なのか疑問に思いご質問させて頂きました。またDB環境として「SQL Server」を採用しております。

漠然とした質問で申し訳ありませんが、
ご回答のほど、宜しくお願いいたします。

計算式を入れる上で最適な場所

seleniumで普段使う時のcookieをそのまま投入することが可能でしょうか

mac でやってみたんですが、ChromeOptions options = new ChromeOptions();
options.addArguments("user-data-dir=/path/to/your/custom/profil
この方法だとsettingは投入しましたが、cookieができませんでした

seleniumで普段使う時のcookieをそのまま投入することが可能でしょうか

###前提・実現したいこと
tensorflowを使ったテストプログラムを作成し、機械学習に必要十分なデータ量がどれだけなのか、その感覚を掴みたい、またはそのデータ量を推定するための見当のつけ方を身につけたい。です。

###発生している問題・エラーメッセージ
現在、「4つの値を入力とし、そのうち2番目の値と4番目の値が一致していれば０、不一致なら１を出力する」というルールで入力データ・学習データを自動生成し、学習・評価するプログラムを回しています。
**これの精度が上がらず、なぜ上がらないのかご教授いただきたい。**というのが今回の質問になります。

以下は100個のデータを渡して10000回学習を行い、1000回ごと及び学習終了後にテストデータによる評価をした結果です。誤差の値も上下を繰り返しており、精度も90%にすら届きません。
```
loss: 0.694365 accuracy: 0.400000
loss: 0.691950 accuracy: 0.600000
loss: 0.700912 accuracy: 0.400000
loss: 0.695201 accuracy: 0.400000
loss: 0.691830 accuracy: 0.600000
loss: 0.703954 accuracy: 0.400000
loss: 0.691710 accuracy: 0.600000
loss: 0.686128 accuracy: 0.600000
loss: 0.694570 accuracy: 0.400000
loss: 0.695068 accuracy: 0.400000

loss: 0.690764
accuracy: 0.600000
```

###該当のソースコード
ソースコード自体にスクリプトのパスは書かず、コマンドラインからpythonコマンドを叩いています。
```Python
import numpy as np
from numpy.random import randint
import tensorflow as tf
from pprint import pprint

# パラメータ設定
BATCH_SIZE = 100        # 1回の学習に用いるデータ数
NUM_TESTS = 25          # テストデータのデータ数
INPUT_DIMENSION = 4     # 入力データの次元数
HIDDEN_DIMENSION = 2    # 隠れ層の次元数
OUTPUT_CLASSES = 2      # 2クラスロジスティック回帰
LEARNING_RATE = 0.2     # 学習率
TRAIN_TIMES = 10000     # 学習回数

# テストデータの生成
# [1]と[3]の値は１か２のみで、この二つを比較し出力とする
def createSuperviserData(nDatas):
    inData = []
    outData = []
    for i in range(nDatas):
        tmpIn = [
            float(randint(18, 81)),
            float(randint(1, 3)),
            float(randint(18, 81)),
            float(randint(1, 3)),
        ]
        if tmpIn[1] == tmpIn[3]:
            tmpOut = [1, 0]
        else:
            tmpOut = [0, 1]
        inData.append(tmpIn)
        outData.append(tmpOut)
    return [inData, outData]

# 推論モデル
def inference(input_placeholder):
    # 隠れ層を一つ設ける
    with tf.name_scope('hidden'):
        W = tf.Variable(tf.zeros([INPUT_DIMENSION, HIDDEN_DIMENSION]), name='weight')
        b = tf.Variable(tf.zeros([HIDDEN_DIMENSION]), name='bias')
        _h = tf.nn.relu(tf.matmul(input_placeholder, W) + b, name='inference')

    W = tf.Variable(tf.zeros([HIDDEN_DIMENSION, OUTPUT_CLASSES]), name='weight')
    b = tf.Variable(tf.zeros([OUTPUT_CLASSES]), name='bias')
    y = tf.add(tf.matmul(_h, W), b, name='inference')

    return y

# 誤差。交差エントロピーを使う
def loss(logits, labels):
    labels = tf.to_int64(labels)
    xentropy = tf.nn.softmax_cross_entropy_with_logits(
            logits=logits, labels=labels)
    xentropy_mean = tf.reduce_mean(xentropy, name='loss')
    return xentropy_mean

# 訓練モデル。勾配降下法
def training(loss):
    optimizer = tf.train.GradientDescentOptimizer(LEARNING_RATE)
    train_step = optimizer.minimize(loss, name='training')
    return train_step

# モデルの精度確認
def accuracy(logits, labels):
    current_prediction = tf.equal(tf.argmax(logits, 1), tf.argmax(labels, 1))
    accuracy = tf.reduce_mean(tf.cast(current_prediction, tf.float32), name='accuracy')
    return accuracy

if __name__ == '__main__':
    # プレースホルダーなどを定義
    with tf.name_scope('superviser'):
        inputs = tf.placeholder(tf.float32, shape=(None, INPUT_DIMENSION), name='x')
        labels = tf.placeholder(tf.float32, shape=(None, OUTPUT_CLASSES), name='y')
        test_input, test_output = createSuperviserData(NUM_TESTS)
        test_feed_dict = {inputs: test_input, labels: test_output}
    pprint({'test_input': test_input, 'test_output': test_output})

    # 演算用のモデルなどを定義
    with tf.name_scope('main_op'):
        logits = inference(inputs)
        loss = loss(logits, labels)
        train_op = training(loss)
        accuracy = accuracy(logits, labels)
    pprint({'inputs':inputs,'labels':labels,'logits':logits,'loss':loss,
            'train_op':train_op,'accuracy':accuracy})
    print()

    # 訓練開始
    with tf.Session() as sess:
        init = tf.global_variables_initializer()
        init.run()
        for i in range(TRAIN_TIMES):
            x, y = createSuperviserData(BATCH_SIZE)
            sess.run(train_op, feed_dict={inputs:x, labels:y})
            if i % (TRAIN_TIMES//10) == 0:
                curLoss = sess.run(loss, feed_dict=test_feed_dict)
                curAccuracy = sess.run(accuracy, feed_dict=test_feed_dict)
                print('loss: %.6f accuracy: %.6f' % (curLoss, curAccuracy))
        print()
        print('loss: %.6f' % sess.run(loss, feed_dict=test_feed_dict))
        print('accuracy: %.6f' % sess.run(accuracy, feed_dict=test_feed_dict))

```

###試したこと
LEARNING_RATEとTRAIN_TIMESを中心に、パラメータを色々いじりながら試行を繰り返していますが、何が問題なのか見えていない状態です。

###補足情報(言語/FW/ツール等のバージョンなど)
Windows 10 にてVagrantでCentOS7の環境を用意し、そこでtensorflowのテストプログラムを作成しています。
> [vagrant@localhost python]$ cat /etc/redhat-release
> CentOS Linux release 7.3.1611 (Core)
> [vagrant@localhost python]$ pyenv versions
>   system
> * anaconda3-4.0.0 (set by /home/vagrant/.pyenv/version)
> [vagrant@localhost python]$ python -V
> Python 3.5.3 :: Anaconda custom (64-bit)

機械学習の精度が上がらない

現在、自社製の複数の機器をイーサネットで接続して、同期・連携させるための設計をしています。
当社では今までもそのように複数の機器をイーサネット接続する製品を作ってきてはいるのですが、自社製品間通信というのもあり、その通信プロトコルはTCPやUDPには準拠していますが、アプリケーション層は完全に独自プロトコルを作成してきていました。

このたび当社既存にとらわれない新しい仕組みを考えようとしています。
そこで、一般的に、自社製品通信の場合、プロトコル仕様はどのように実現しているのか気になりました。

経験者の方や、同じように通信プロトコル仕様を考えたりするエンジニアの方に質問というかご教授願いたいのですが、
当たり障りのない程度に、どのように実現しているかお教え願えませんでしょうか。
パターンとしては以下のどれかに当てはまるのかなぁと思います。
0. 当社と同じように、アプリケーション層のみ独自プロトコルを定義して使用
0. アプリケーション層にも、HTTPなどの既存一般的プロトコルを使用
0. 下位層に対しても独自プロトコルを定義して使用

私自身、このようなハードウェア構成が絡んだ設計経験が乏しいので、合わせてこのような設計をする際に気を付けるべきこと等もあればアドバイス頂ければ幸いです。
以上、ご教授の程、よろしくお願いいたします。
 
---

＜補足＞

ちなみに、私の場合は、以下のような用途を想定した製品です。
* 基本的には自社製品間でのイーサネット接続が主（というか当社ではそれしか経験がない）ですが、他社製品との接続も考慮しておきたい
* 接続する機器は、基本的にはイーサネット接続での通信のみを想定している。機器構成はPCのようにスペックが比較的高いものから、LANポートを搭載したマイコン（用語の使い方が正しくないかもしれませんが・・・）のようにスペックが限定的なものまで幅が広いです。

機器間通信プロコルについて

こんにちは。

現在、ファイルサーバから社外のレンタルサーバへ、
画像ファイルをFTP送信する機能を構築・運用しています。

###前提・実現したいこと

運用を行う中で、日々のファイル総量が増大しており、
FTP送信処理の通信時間を削減する事が課題となっています。

そこで、画像ファイルを圧縮・リサイズして軽量化を行う
機能を新規に構築したいと考えているのですが、
どのツールを使用すべきか？という点で悩んでおります。

まずはどのようなツールが有るのか候補を列挙し、
比較・検討したいと考えております。

【ツールに求める条件】

・Windows環境で動作する。
・画像のリサイズ・圧縮ができる。
・APIのようにプログラムに組み込み、またはコマンドラインで一括処理ができる。
・.jpgファイルが処理できる。
・有償/無償は問わない。

###試したこと

まず最初に「ImageMagick(Magick.Net)」をテストしており、
その対抗馬になるような候補を探しています。



###補足情報(言語/FW/ツール等のバージョンなど)

OS:Windows
開発言語:C#, VB.NET

画像ファイルを圧縮するツールを教えて頂きたいです。

Windowsアプリケーションからネットワーク関連の設定を行いたいと思っております。
従って、Win32APIを用いて実現しようと思っているのですが、
ネット上にあまり情報がなく、困っております。

設定を行いたいネットワーク設定は以下の通りです。
もしなにか情報があれば展開頂けないでしょうか。宜しくお願い致します。

・IPアドレス
・サブネットマスク
・デフォルトゲートウェイ
・DHCP有効/無効
・DNS
・コンピューター名
・ドメイン名
・ワークグループ名

【補足】
Win32APIの【IP Helper API】を使用してIPアドレスやDNS設定などを取得する事はできたのですが
取得した値を変更してWindows側へ設定する手段が見当たりません。
netshやWMIを利用した手段はいくつか見つかったのですが
開発環境であるVisualStudio&C++環境下で実現する方法があれば
そちらでの実装を行いたいと考えています。

Win32APIでネットワーク情報の設定

C/C++ ( Windows API 実装あり ) でやっています。

同期プログラム のようなものを作ろうかと思っています。
同期対象は iniファイルに記述するか、
自分用としてプログラムが指定するようなものです。

また手を付けていないですが、迷っている部分があります。

対象はプログラムが指定する方だとしても、
私の考えでは

更新先の削除 -> コピー

です。

ここまではいいのですが、問題は"更新元の決定" と "更新先の決定" です。

たとえば

C:\test\Checker\

と

リムーバブルディスク ( USB ) として
M:\Checker\

があるとします。

この"Checker"ディレクトリ内のファイルを更新するとします。

ですけど

C: -> M:

と

C: <- M:

の2通りありますね。

これをどうやって決めるかです。

たとえば、

自宅のPC ( 以下 H-PC ) に ファイルやディレクトリ ( 以下 対象 )を作成するなりインストールするなりします。
そのファイルやディレクトリを USBにコピーします。
このUSBを外出先で使用して更新があったとします。
USBを持ち帰って H-PC 内の 対象 を更新ソフトで更新します。
その更新状態のH-PCの 対象 をさらに編集します。
その状態 ( 編集後 ) を 更新ソフト で更新します。
...

というような感じです。

一応、私の知識( 聞いたことがある方法等 ) では、

■ コマンドラインで指定する方法

■ ユーザ入力による指定で決定する方法

■ ファイルやディレクトリの「更新日時」に相当するものをチェックして最新の方を更新元とする方法

です。

コマンドラインの方だと、

ファイル名すら未決定なので main.exe とします。( 例なので。 )

$rem -o = OUTPUT, -i = INPUT
$main -o 更新先 -i 更新元

のようにするとかです。

ユーザ入力... これは CUI なら cin とか gets関数とかで、GUI なら EDIT等のコントロール 等です。

更新日時を取得する方法は知らないですが、「Windows API 更新日時 取得」のように検索すればわかると思いますので、
取得方法が知りたいというわけではないです。
( 「取得できるデータと実際のデータが食い違う場合がある」等のように注意が必要な場合はその注意もですが。 )

知りたいことは、

普通はこういう場合はどういう風に元/先 を決定するのか

です。

できればダブルクリックで完了するようにしたいので、

ユーザ入力は やらないと思います。(多分。)

コマンドライン引数の場合は バッチファイルに書いておけばいいですし。ですけど、C->M と M->C の2つ用意しないといけないか、
バッチファイル内で IFで 分岐しないといけないので、ほぼユーザ入力と変わらない...

[環境等]
言語       : C/C++
Windows API: あり
コンパイラ : MinGW ( g++ )

宜しくお願い致します。

ヒントがほしい...

AWS Lambdaにコールバックを指定する方法を探してます。

わたしはいま、Twitter のようなWebサービスを作ってます。画像を投稿するとAWSのS3にアップロードされ、それと同時に、AWS Lambdaでサムネイル画像が自動的に生成されるようにしました。アップロードが完了する(S3からレスポンスが返ってくる)と、その画像のURLを<img>タグに動的に挿入し、画面に表示されるようにしました。

そこで、サムネイル化された画像を表示したいのですが、うまくいきません。
なぜかというと、S3からレスポンスが帰ってきた時点で描画が始まるのですが、その時点ではサムネイル生成が完了していないためです。サムネイル生成には0.5秒ほどかかるのです。

一応、対策はあります。S3からレスポンスが帰ってきた後、画像を描画するまでの間に、作為的に1秒ほどのディレイを挟むという方法です。この方法をとれば、うまく描画することはできましたが、スマートな解決策ではないと思っています。

理想的には、AWS Lambdaのコールバックを以って、描画を開始したいです。

AWS Lambda で コールバックを指定する方法

###前提・実現したいこと
インターネット向けWebページの開発・運用を実施したく検討しております。
現状、まだ開発は実施していません。
できれば、AWSの各種サービスを用いて実現したいと考えています。

前提として、開発を検討しているインターネット向けWebページからは随時プライベートなネットワークに存在するデータベース等との通信を発生させたいです。
既に両者間のアクセスを実現するための認証のような動きをするサーバ（以下認証サーバとします）は存在しており、REST APIにより認証、各種処理を実施します。
上記認証サーバは元々本件の目的のために導入されたものではありませんが、今回の目的にも利用できるのではと考えています。

###発生している問題・エラーメッセージ

標題にもありますとおり、セキュリティをどう実現するかが不明で先が見通せずにいます。

開発はHTML + JavaScriptで行い、認証はREST APIですので、試しに動作させるだけであればコード上に認証キー等をハードコーディングしHTTPリクエストを適切に発生させれば動作はします。

ただし、単純にハードコーディングしただけですとブラウザのコンテキストメニュー（右クリック）から「ページのソースを表示」などとするだけで認証サーバの認証キーが把握できてしまうと思います。
この認証キーをどう隠蔽するのかが課題です。

多く存在するECサイト（例えばAmazonや楽天）等でも確実にプライベートな環境との通信は発生していると思いますが、セキュリティに配慮したインターネットとプライベートネットワークとの通信というのは一般的にどのように実現しているのか知見がなく、ご意見をお聞きできればと考えています。
 
###試したこと
今回はAWSの利用を検討していますので、AWS Lambdaを利用し、認証処理をlambdaの１サービスで済ませてしまえばユーザーからは認証情報が隠蔽されているように見えるかな・・と考えていますが、それが通常の方法なのかどうか知見がありません。