コンマ区切りの数値をスペースでグループ分けしたテキストファイルをNumpy arrayに変換したい

Question

Python初心者です.

コンマ区切りの数値をスペース区切りでグループ分けしたテキストファイルを, 以下のようなNumpy arrayに変換したく思い, 試行錯誤しています.

$ cat test.txt
1,2,3 4,5,6
11,22,33 44,55,66

>>> np.array([[[1,2,3],[4,5,6]],[[11,22,33],[44,55,66]]])
array([[[ 1,  2,  3],
        [ 4,  5,  6]],

       [[11, 22, 33],
        [44, 55, 66]]])
>>> np.array([[[1,2,3],[4,5,6]],[[11,22,33],[44,55,66]]]).shape
(2, 2, 3)

NumPyのgenfromtxtを試してみたのですが, コンマ区切りとスペース区切りをうまく分けることはできませんでした.
（どちらもnanが出てしまい, そもそもテキストファイルの形式を保つこともできませんでした…）

>>> np.genfromtxt("test.txt", delimiter=",")
array([[ 1.,  2., nan,  5.,  6.],
       [11., 22., nan, 55., 66.]])

>>> np.genfromtxt("test.txt", delimiter=" ")
array([[nan, nan],
       [nan, nan]])

ご助言いただけますと幸いです. どうぞ宜しくお願いいたします.

Answer 1

元ファイルの空白をいったん改行に置き換える書き方は、
上のjeanbiegoさんの投稿のスクリプトを使わせていただきました。

１、元のファイルを読み込み、
２、求める配列に変換してから、
３、json形式で別ファイルへ書き込み、
４、それを読み込んで確認する

という手順を書いてみました。

jsonシリアライズのために、こちらを参考にクラスを再定義しています。

解决：TypeError: Object of type xxx is not JSON serializable - 简书
日付型のエラーは確認してませんが、こちらが参考になりそうです。
[Python] dateやdatetimeをjson.dumpでエラーなく出力する - YoheiM .NET

ご参考になれば幸いです。

#!/usr/bin/env python3
#-*- coding: utf-8 -*-↲

import io
import numpy as np
import json
import time

#json encoder
class MyEncoder(json.JSONEncoder):
    def default(self, obj):
        if isinstance(obj, np.integer):
            return int(obj)
        elif isinstance(obj, np.floating):
            return float(obj)
        elif isinstance(obj, np.ndarray):
            return obj.tolist()
        elif isinstance(obj, time):
            return obj.__str__()
        else:
            return super(NpEncoder, self).default(obj)

# intを前提
# input test.txt
# output out.json

with open('test.txt') as f:
    data = f.read().replace(" ","\n")
    a = np.loadtxt(io.StringIO(data), delimiter=',', dtype=int)

# 配列を求める形に整える
# ここで欲しい形式に整えます。
# 2*2*3=12通りのデータとしています。
a = a.reshape([2,2,3])
print(a)

#json形式で保存
#write json
with open('out.json', 'tw') as out:
    json.dump(a, out, cls=MyEncoder)

#書き出したファイルをテストで読み込み
#load json
with open('out.json','tr') as inp:
    b = np.array(json.load(inp))

#読み込み元と、書き込み先が一致しているか目視する
print(b)

Answer 2

長く書くとこうです。

>>> import numpy as np
>>> with open('test.txt', 'r') as f:
...     s3 = f.read()
...
>>> x3 = []
>>> for s2 in s3.strip().split('\n'):
...     x2 = []
...     for s1 in s2.split(' '):
...         x1 = []
...         for x in s1.split(','):
...             x1.append(int(x))
...         x2.append(x1)
...     x3.append(x2)
...
>>> a = np.array(x3)
>>> a
array([[[ 1,  2,  3],
        [ 4,  5,  6]],

       [[11, 22, 33],
        [44, 55, 66]]])

短く書くとこうです。

>>> import numpy as np
>>> with open('test.txt', 'r') as f:
...     s3 = f.read()
...
>>> a = np.array([[[int(x) for x in s1.split(',')] for s1 in s2.split(' ')] for s2 in s3.strip().split('\n')])
>>> a
array([[[ 1,  2,  3],
        [ 4,  5,  6]],

       [[11, 22, 33],
        [44, 55, 66]]])

Answer 3

変なファイルなんですね。
とりあえず、一回空白を改行に置き換えてから、numpy配列として読み込み直してみました。

import numpy as np
import io
with open('test.txt') as f:
    data = f.read().replace(" ","\n")
    print(data)
    # 1,2,3
    # 4,5,6
    # 11,22,33
    # 44,55,66

    a = np.loadtxt(io.StringIO(data), delimiter=',', dtype=int)
    print(a)
    # [[ 1  2  3]
    # [ 4  5  6]
    # [11 22 33]
    # [44 55 66]]