常連

## テーマ、知りたいこと

アプリケーションのデータ全般を「効率的な保存と読み込み」を行う技術を知りたい。最近の技術であればなお嬉しい。

## 背景、状況

アプリケーション開発では欠かせないデータの保存。

例えば、iOSの写真の拡張子が「JPEG」から「HEIC」になったように、「xlsx」「csv」「xml」「json」「yaml」と様々なデータ形式が誕生したように、データの保存の仕方と読み込み方が多様多種になってきた。
最近は人工知能が流行していることもあり、NewSQLのように革新的なデータベースも登場している。

そこで、昔の手法からなにか変わったのか、効率の良い技術が生まれたのかと、「アプリケーションのデータに対する効率的な保存方法と読み込み方法」について知らない技術があれば知りたいといった具合である。

ゲームのセーブデータに特化した保存方法と読み込み方法の技術はこちらの意見交換がいいかも。
https://teratail.com/questions/i6m3svjilpdozy

アプリケーションの「データ全般」に関する効率的な保存方法と読み込み方法の技術

## テーマ、知りたいこと

PCゲームやコンソールゲームのセーブデータに**特化した**保存と読み込みの技術。

## 背景、状況

https://teratail.com/questions/hhqqy4s5ow84a5
こちらの意見交換で「「セーブデータに特化した」特別な技術」が出てきたので作りました。

ゲームのセーブデータはcsvやjson、あるいはdatやrpgsaveなど独自の拡張子で保存されている。
また、オンラインゲームであればデータベースからの読み込みを使うように、UnityであればPlayerPrefsを使うように、各自の状況に応じてセーブデータの効率的な保存方法と読み込み方法が存在する。

そこで、ゲームのセーブデータに**特化した**保存方法と読み込み方法について知らない技術があれば知りたいといった具合である。

ゲームの「セーブデータ」に特化した保存と読み込みの技術

### 前提・実現したいこと

アンケートベースのデータを加工しています。
色々な問題にぶつかり右往左往しているのですが、
今回は取り込んだデータのcolumnsをリスト型に変換する際に、
pd.DataFrameを使ってDataFrame型に変換したつもりでした。
そして無事実行でき、ディクショナリ型で作った新しいcolumnsを
リストを使って元のデータにappendしようとしたら
以下のエラーが起きました。

### 発生している問題・エラーメッセージ

```
---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-29-1eb9812825e1> in <module>
      1 column_names = []
----> 2 for column_no in list(data['a4'].columns.values):
      3     column_names.append(name_map[column_no])

c:\users\kawamura\lib\site-packages\pandas\core\generic.py in __getattr__(self, name)
   5174             or name in self._accessors
   5175         ):
-> 5176             return object.__getattribute__(self, name)
   5177         else:
   5178             if self._info_axis._can_hold_identifiers_and_holds_name(name):

AttributeError: 'Series' object has no attribute 'columns'
```

### 該当のソースコード
![元データ(data)](0e3ec8b608e1eab68850f89916954fa0.png)

```Python
name_map = {
    0: '~',
    1: '~~',
    2: '~~~',
    3: '~~~~',
    4: '~~~~~',
    5: '~~~~~~',
    6: '~~~~~~~',
    7: '~~~~~~~~',
    8: '~~~~~~~~~',
    9: '~~~~~~~~~~',
    10: '~~~~~~~~~~',
    11: '~~~~~~~~~~~',
    12: '~~~~~~~~~~~~',
    13: '~~~~~~~~~~~~~',
    14: '覚えていない'
}

data = pd.DataFrame(data)

column_names = []
for column_no in list(data['a4'].columns.values):
    column_names.append(name_map[column_no])

```


随時質問の内容を分かりやすく更新していきます。
何卒宜しくお願い致します。

SeriesをDataFrameにしたつもりがなっていない？？？

お世話になります。
PowerBIでのDAXの書き方について相談させてください。

### 前提・実現したいこと

ほぼ同じデータが入っていて、カラムだけが異なる２つの購買テーブルがあり、
注文番号と商品名でテーブルをつなげて
購買テーブル２にしか存在しない「購入個数」カラムを
取得するメジャーを作りたいです。

ただ、元データの関係上、テーブル１とテーブル２の間には
「連結テーブル」が存在しており、直接のリレーションが無いデータでこれを実現する必要があります。

購買テーブル１  連結テーブル    購買テーブル２
┏━━━━┓   ┏━━━━┓   ┏━━━━┓
┃注文番号┣━┫注文番号┣━┫注文番号┃
┃商品名　┃   ┗━━━━┛   ┃商品名　┃
┗━━━━┛                      ┃注文個数┃
↑ここに注文個数のメジャー   ┗━━━━┛

SQLで表せば以下のようなものを作れば良いと考えているのですが、
これをDAXに直して書くことは可能でしょうか？

```
SELECT B.購入個数
  FROM 購買テーブル１ A, 購買テーブル２ B
 WHERE A.注文番号 = B.注文番号
   AND A.商品名 = B.商品名;
```

### 試してみたDAX

以下のようなDAXになるのかと試してみましたが、エラーとなりました。

```
calculate(SUM('購買テーブル２'[注文個数])
         ,FILTER('購買テーブル２'
                ,'購買テーブル２'[注文番号] = '購買テーブル１'[注文番号])
         ,FILTER('購買テーブル２'
                ,'購買テーブル２'[商品名]   = '購買テーブル１'[商品名]))
```

エラー内容
> 列'注文番号'(テーブル'購買テーブル１')では1つの値を判断できません。
> これは、メジャーの式が、1 つの結果を得るため、min、max、count、または sum などの
> 集計を指定せずに多数の値を含む列を参照している場合に発生します。


DAXに不慣れな部分が多く申し訳ございませんが、よろしくお願いいたします。

PowerBIで別テーブルの値を取得するDAX

いつも本当に助かっています。
テーブルの設計についてご意見をお聞かせください。

仕事でデータロガーのシステムというものを実装しました。
そのシステムは外部の機械から何らかのデータを受けとり、保存していくだけの単純なものですが、受け取るデータ構造を可変としています。

---

例：
- 機械Ａは 気温、湿度、気圧
- 機械Ｂは 電圧、電流
- これらのデータが各機械から１０秒毎に（23℃, 30%, 1000hPa というように）送信されるので受信し保存する。


条件：
- 機械毎のデータ定義を画面から設定する。
(何カラムあり、どのカラムが何のデータで、型は何で、有効桁数が何桁で、単位は何か、等）
- 各カラムのデータ型は真偽値、整数値、小数値、文字列がある。
- 機械Ａも機械Ｂも数千台程度接続されている。今後機械Ｃも追加される
- データを元に各機械毎のグラフを描画したり全体で集計したりする。閾値判定も行う。
- データ蓄積後、定義の変更はある程度許容する。（列の追加や単位の変更など）

---

これらを実現するためのテーブル構造の案として、下段に記載した幾つかの案などがあるかと思います。
実はもうこのシステムは「案１」で開発が終了し、問題なく稼働しています。
上記は例ですが、実際に数億レコードのデータが蓄積されています。
ただ、設計実装が私一人で周りに頼れる人もなく、設計に不安があるため、皆様のご意見をお聞かせください。

**質問１．情報が少なくて恐縮ですが、「案１」を採用したのは正解だと思いますか？
質問２．現実的な案として下段以外のものはありますか？
質問３．下段の案の中で、上記条件に対して「ありえない」と考えるものはありますか？
質問４．一般的にこういったもののデザインパターンはありますか？
質問５．他、経験談や参考情報などありましたらご教示ください。**


実際に問題なく稼働しているのだからいいじゃん、という部分もあるかと思いますが、後学のためよろしくお願いいたします。
※できるだけ広くご意見を頂きたいので少し長めに質問をオープンしておくかもしれません。

CentOS7.2, MariaDB10.0, Java8

---

### 案

**１．ID, 機械ID, キー(VARCHAR), 値(VARCHAR), 日時 のカラムを持つテーブルを用意する。**
  ※一旦値をVARCHARで保存し(小数値1.23ならそのままテキストで)、読み出し時に各定義の型に合わせて解釈します。
  ※１カラム（例えば気温）だけで１レコード消費します。
  ※閾値判定時、VARCHARカラムに対して平気で 「値 > 1.23」 のようなことをやります。
  ※１回の送信データを示す集計基準は機械IDと日時です。
  ※この案を採用しました。


**２．「定義ごとに柔軟にテーブルを作る」システムを作る。**
  ※プログラムが CREATE TABLE 文を発行します。
  ※なんだか気持ち悪いという理由と、システムが複雑化しそうという理由で却下しました。
  ※データ量は最も少なくなり運用も楽そうなため、今はこちらの方がよかったかも、と思っています。


**３．ID, 機械ID, c1, c2, c3, c4..., 日時 のようにカラムを予めたくさん用意し、カラムとデータの対応テーブルを別途用意する。**
  ※ダサく感じたので却下しました。なしではなかったなと思っています。


**４．ID, 機械ID, データ(VARCHAR), 日時のカラムを用意し、データにXML, JSON, ハッシュオブジェクトシリアライズなどで保存する。**
  ※集計と運用が厳しくなるかと思い却下しました。


**５．RDBを用いない。**
  ※RDB以外を知らないことと、集計が厳しくなると思い、却下しました。

可変データ構造をRDBに保存する方法について

### 実現したいこと

複数の型を取れる配列の各要素に対し、その要素の型に依らず同じような処理を実行したい。

### 前提

言語はC++です。
下記の簡単なサンプルコードでは、複数の型のデータを一つの配列でまとめて、各要素に同じような処理を実行しています。
このコードでも問題はないのですが、`test[i].type`の値で分岐しているところが冗長な気がします。
値のやりとりするとき毎回こんなキャストしなければいけないかとも思います。
long long 型にキャストして出力、というのは型に依らず同じ処理なので、一文にまとめられる上手い書き方があればいいな、というのが今回の質問です。
**なお、今回void\*には(unsigned )int, (unsigned )long long, charなどの数値型しか入らないとします。（キャスト不可な場合は考えない？）**

### 該当のソースコード

```C++
//main.cpp

#include <iostream>
#include <vector>
#include <stack>


using namespace std;

class TEST{
public:
	void* val;
	int type;
};

int main(void) {
	int a = 1;
	char b = 'c';
	long long c = 10000;


	TEST test[3];
	test[0].val = &a;
	test[0].type = 0;
	test[1].val = &b;
	test[1].type = 1;
	test[2].val = &c;
	test[2].type = 2;
	
	for (int i = 0; i < 3; i++) {
		switch (test[i].type)
		{
		case 0:
			cout << (long long)*(int *)test[i].val << endl;
			break;
		case 1:
			cout << (long long)*(char *)test[i].val << endl;
			break;
		case 2:
			cout << (long long)*(long long *)test[i].val << endl;
			break;
		default:
			break;
		}
	}
}
```

### 試したこと

templateやanyなどで解決できそうな気もしましたが、やはりうまい方法が思い浮かびません。可能なら、その方法をご教示願います。

↓こんなのもありました。これなら実現できますが、上記のレベルでここまで大層なことをしないといけないでしょうか。
https://qiita.com/mm_sys/items/9afb811c2e0c67a5cfd5
（[C++] 異なる型を一つの配列で管理するクラス）

### 備考
あくまで知見を広めたい為の質問ですので、C++のバージョンなどの環境によって可能/不可能変わるような書き方でも是非教えて頂きたいです。
以上、宜しくお願い致します。

汎用な型を取れる配列の各要素に、同じ処理を実行したい。

仕様書が存在していないプロジェクトに参加して、システムの仕様を把握するのに苦労しています。

実際の現場に入って2か月目の新人です。

特に、テストデータを用意する場合に、どのようにすれば、正しくデータを構成できるのかいつも悩んでいます。

ソースをすべて読んで、処理を追うことでしか仕様の把握をすることはできないのでしょうか。

システム全体の仕様を仕様書なしで把握する効率的な方法があれば、教えていただきたいと思います。

よろしくお願いいたします。

仕様書がないシステムの仕様を把握する方法

### 前提・実現したいこと

以前も似たようなご質問をさせていただきましたが、再度質問させていただきます。
[以前の質問](https://teratail.com/questions/254257)

C#でUSB接続でシリアル通信を行うWindowsアプリを作成しています。
同時に複数のデータが来た場合に対応するために、マルチスレッドに変更したいと思っております。
が、恥ずかしながらマルチスレッドの実装を行ったことがなく、ググってもイマイチだったため、
皆さまのお力を借りたいと思いました。
現状は、データが2回来て正常なデータとするため、同時に来た場合にさばけない状態となっています。
（先勝ちな状態です。）

データの一連の流れは、下記になります。
①データ受信[1回目]
②データ受信[2回目] ← ここでデータ確定
③受信データをAPI経由でDBへ格納
④戻り値を受信元へ送信

### 該当のソースコード

```C#
using Newtonsoft.Json;
using Newtonsoft.Json.Linq;
using System;
using System.Collections.Generic;
using System.IO;
using System.IO.Compression;
using System.IO.Ports;
using System.Net.Http;
using System.Reflection;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;
using System.Xml.Linq;

namespace App
{
	public partial class Form : Form
	{
		private SerialPort serialPort;

		// APIパス
		private const string API_PATH = @"http://XXXXX";

		private int			iRetry = 1;
		private int			iSeq = 0;
		private string		sBefData = string.Empty;
		private string		sData = string.Empty;
		private string		sVal1 = string.Empty;
		private string[]	sReturnVal = new string[2];
		private bool		bFirst = true;

		readonly string sPath = AppDomain.CurrentDomain.BaseDirectory;
		private string sFilePathBefore;
		string sLogFolder = "LogFile";
		private bool bSuccess = false;

		public Form()
		{
			InitializeComponent();
		}

		/// <summary>
		/// フォームロード時イベント
		/// </summary>
		/// <param name="sender"></param>
		/// <param name="e"></param>
		private void Form_Load(object sender, EventArgs e)
		{
			string[] ports = SerialPort.GetPortNames();
			foreach (string port in ports)
			{
				this.cmbSerials.Items.Add(port);
			}
			if (0 < this.cmbSerials.Items.Count)
			{
				this.cmbSerials.SelectedIndex = 0;
			}
		}

		/// <summary>
		/// 接続ボタン押下時イベント
		/// </summary>
		/// <param name="sender"></param>
		/// <param name="e"></param>
		private void btnConnect_clicked(object sender, EventArgs e)
		{
			if (this.cmbSerials.SelectedItem != null && this.serialPort == null)
			{
				// COMポートをOPEN
				serialPort = new SerialPort();
				serialPort.DataReceived += new SerialDataReceivedEventHandler(SerialPort1_DataReceived);
				serialPort.PortName  = this.cmbSerials.SelectedItem.ToString();
				serialPort.BaudRate  = 19200;
				serialPort.DataBits  = 8;
				serialPort.Parity    = Parity.None;
				serialPort.StopBits  = StopBits.One;
				serialPort.Encoding  = Encoding.UTF8;

				try
				{
					serialPort.Open();
				}
				catch (Exception ex)
				{
				}
			}
		}

		/// <summary>
		/// データ受信時イベント
		/// </summary>
		/// <param name="sender"></param>
		/// <param name="e"></param>
		private void SerialPort1_DataReceived(object sender, SerialDataReceivedEventArgs e)
		{
			if (serialPort != null && serialPort.IsOpen)
			{
				try
				{
					// 受信データを読み込む
					SerialPort sp = (SerialPort)sender;
					string sChildData = sp.ReadExisting();

					if (sChildData.Length == 2 && bFisrst)
					{
						sVal1 = sChildData;
					}
					else
					{
						sData = sChildData;
						if (bFirst) {
							return;
						}
					}

					if (!string.IsNullOrEmpty(sData) && !string.IsNullOrEmpty(sVal1))
					{
						if (0 < sData.Length) {
							if (string.IsNullOrEmpty(sBefData) || sBefData != sData)
							{
								var parameters = new Dictionary<string, string>()
								{
									// APIへ渡すデータセット
								};
								var content = new FormUrlEncodedContent(parameters);

								try {
									sReturnVal = GetResponseAPI(API_PATH, content);
									sBefData = sData;
									bSuccess = true;
								} catch {
									bSuccess = false;
								}

								if (bSuccess)
								{
									if (0 < sReturnVal.Length)
									{
										try
										{
											// 送信元へデータ送信
										}
										catch (Exception ex)
										{
										}
									}
									else
									{
										this.iRetry = 1;
									}
								}
								sData = string.Empty;
								sVal1 = string.Empty;
								sReturnVal = new string[]{ };
							}
						}
					}
				}
				catch (Exception ex)
				{
				}
			}
		}

		/// <summary>
		/// 終了ボタン押下時イベント
		/// </summary>
		/// <param name="sender"></param>
		/// <param name="e"></param>
		private void btnFinish_clicked(object sender, EventArgs e)
		{
			if (serialPort != null && serialPort.IsOpen)
			{
				serialPort.Close();
				serialPort = null;
			}
		}

		/// <summary>
		/// APIをたたいてレスポンスを取得
		/// </summary>
		private string[] GetResponseAPI(string sApiUrl, FormUrlEncodedContent sContent)
		{
			string[] sVal = new string[2];
			var task = Task.Run(() => {
				return HttpPost(sApiUrl, sContent);
			});
			string response = task.Result;
			JArray data = (JArray)JsonConvert.DeserializeObject(response);
			foreach (JObject obj in data)
			{
				JValue did = (JValue)obj["device_id"];
				JValue val = (JValue)obj["return_data"];
				sVal[0] = (string)did.Value;
				sVal[1] = (string)val.Value;
			}

			return sVal;
		}

		/// <summary>
		/// APIをPOSTする
		/// </summary>
		/// <param name="sUrl">APIのURL</param>
		/// <param name="fContent">引数をエンコードしたもの</param>
		/// <returns></returns>
		async public Task<string> HttpPost(string sUrl, FormUrlEncodedContent fContent)
		{
			var client = new HttpClient();
			var response = await client.PostAsync(sUrl, fContent);
			return await response.Content.ReadAsStringAsync();
		}
	}
}

```

### 補足情報（FW/ツールのバージョンなど）

Windows 10
Visual Studio 2017
c#／Windows Form／.Net Framewrok 4.7.1