テキストファイルをcsvファイルに変換したい

Question

https://drive.google.com/file/d/1zI_3gYRx0V8tQHZ94TdhXsLhKDLpyP2j/view?usp=sharing

上のリンクに変換したいテキストファイルを置きました。

SZ VZ VA LAD BRF_toc BRF_toa
10 30
0
0.004976
0.076048 0.080558
10 30
0
0.04976
0.071202 0.075713

上から数行を抽出したものです。
4行で1セットになっています。

これを
SZ VZ VA 　　LAD 　　　BRF_toc 　　BRF_toa
10 30　0　0.004976　　0.076048 　 0.080558
10 30　0　0.04976　　0.071202 　　0.075713
. . . . . .
. . . . . .
. . . . . .
このように合計4840行のcsvファイルにしたいです。

こんな並びの汚いテキストファイルだと都合よく変換することはできないのでしょうか。
詳しい方がいたら教えていただきたいです。

Comments

[Zuishin]

それ CSV なんですか？

[BeatStar]

CSVファイルとは何でしょうか。無知な私に教えてくださいませんか?

[8524ba23]

その「汚い」ものを「都合よく」変換するルールを提示ください。
そうすると回答得られやすくなると思います。

[Zuishin]

CSV ではなく固定長フォーマットに見えます。
もしそうであるならそのように書き換えないと、求めていない回答しかつかないでしょう。

[melian]

このデータは何らかのプログラムから出力されたものではないでしょうか？ もしくはデータベースから SQL などを用いて抽出したものなのかもしれませんが、データの作成方法が判明すれば対処方法も変わるかもしれません。

[jinoji]

この後どのように使うつもりなのかによっても、取るべき方法は変わってくるかも。
それによって、CSVがいいのか固定長がいいのか、あるいはそれ以外の選択肢を選ぶ方がいいのかを
判断することができるかもしれないですね。

[1T2R3M4]

質問は
出来るか
出来ないか
を知りたいってことですか。
それとも作業依頼ですか。

[01294941]

たくさんのコメントありがとうございます。
テキストファイル自体はモデルを複数回回してその結果を出力したものです。
これをルックアップテーブルとしてのちに条件にあった値を抽出したいと考えています。

[01294941]

嬉しいことに皆様に複数の解答を得られたので全て確認させていただきたいと思っています。

[melian]

> テキストファイル自体はモデルを複数回回してその結果を出力したものです。

出力データを整形するのではなく、その出力ルーチン自体を修正する方が良いのではないでしょうか。

Answer 1

タイトルにある

csvファイル

とは、スペースをデリミタとした character-separated values をデータ行とするファイルという意味と解釈しました。

とりあえず、半角スペース1個をデリミタとするCSV(Character Separated Value)ファイルをoutputB.csvとして作るには、以下でよいかと。
（※ファイルをオープンできない場合のエラー対応は省略しています）

f_in = open('outputA.txt')
f_out = open('outputB.csv', 'w')

csv = []
line_counter = 0

for line in f_in:
  if line_counter == 0:
    f_out.write(line)
  else:
    csv.append(line.strip())
    if line_counter % 4 == 0:        
      f_out.write(' '.join(csv))
      f_out.write('\n')
      csv = []
  line_counter += 1


f_out.close()
f_in.close()

• サンプル ???? tera: 371196 @replit.com

備考1

何らかのドキュメントの中で、そのドキュメントの文脈の中でCSV とは、区切りをカンマに限定せず、何らかのデリミタ文字による区切りのほうの Character Separated Value を表しているということを明記しているものの例を探すと、以下のようなものがありました。

• Character Separated Value (CSV) files and reports - IBM z/OSオペレーティング・システム

ただし、一般的には CSV と言われると、デリミタについて特に何の言及もない場合は、デリミタはカンマであると想定する、すなわちCSVのCは、Commmaの略であることを暗黙の了解とするのが通例です。

備考2

tatsu4941さんへ

• 質問のタイトルが、「テキストファイルをcsvファイルに変換したい」というものだったので、上記の回答は 質問のタイトルどおり、（デリミタがカンマ以外もあり得るという意味で広義の）CSVファイルを出力することを最優先にしています。

• デリミタをスペース1個にしたのは、入力ファイルのデータ行に 10 30 や 0.031592 0.047514 といった、スペース1個区切りの行が元からあるので、これを踏襲したものです。

• ちなみに上記で回答したコードによって出力された、スペース1個区切りのCSVファイルoutputB.csvを質問にあるような、各列を何らかの桁数で揃えたテキストを得るのは、プログラムを書かなくても awk というコマンドを使えばできます。

$ awk '{printf "%2s %2s %-2s %-8s %-8s %-8s\n", $1, $2, $3, $4, $5, $6}' outputB.csv | head -5
SZ VZ VA LAD      BRF_toc  BRF_toa 
10 30 0  0.004976 0.076048 0.080558
10 30 0  0.04976  0.071202 0.075713
10 30 0  0.2488   0.057755 0.066864
10 30 0  0.4976   0.046093 0.058653

awkも便利なのでちょっとお調べになってみるとよいかもしれません。

備考3

質問にある google drive にあるファイルをダウンロードして outputA.txt というファイルに保存してテキストエディタ(vi)で開いてみると、以下のようになっています。

これを見るに、^Mは \r(キャリッジリターン）ですので、元々、outputA.txt はスペース1個をデリミタとするCSVにしようとして、し損なっているかのようにも思えました。とまれ、現状は上記のようになっているので、\r を削除すれば、スペース1個区切りのCSVになります。それには、Pythonでプログラムを書かなくても sedコマンドで可能です。

$ sed -e "s/\r//g" outputA.txt | head -5
SZ VZ VA LAD BRF_toc BRF_toa
10 30 0 0.004976 0.076048 0.080558
10 30 0 0.04976 0.071202 0.075713
10 30 0 0.2488 0.057755 0.066864
10 30 0 0.4976 0.046093 0.058653

または、先ほどのawkを使って桁をそろえると、以下のようになります。

$ sed -e "s/\r//g" outputA.txt | awk '{printf "%2s %2s %-2s %-8s %-8s %-8s\n", $1, $2, $3, $4, $5, $6}' | head -5
SZ VZ VA LAD      BRF_toc  BRF_toa 
10 30 0  0.004976 0.076048 0.080558
10 30 0  0.04976  0.071202 0.075713
10 30 0  0.2488   0.057755 0.066864
10 30 0  0.4976   0.046093 0.058653

Comments

[Zuishin]

質問の例を見る限り、どう見ても空白一つではありません。
タブでもないですね。
複数のスペースで列揃えをしているように見えます。
データを全部舐めた上で列のサイズを定めるか、または各列のサイズをあらかじめ指定する必要がありそうです。

また、元データにデリミタのある行とない行が存在します。
ここも調整が必要でしょう。

[Zuishin]

高評価されたようなので、低評価で 0 に戻します。
この回答は CSV について述べたものですが、質問は現状公開されている情報のみから判断して、固定長フォーマットに見えます。

[01294941]

kilesa様
私のつたない説明にもとても細かく説明を載せてくださりありがとうございます。
非常に参考にさせていただきます。

Answer 2

UNIX tools には column というコマンドがありまして、、

$ tr -d '\r' < outputA.txt | column -t > output.txt
$ wc -l output.txt
4841 output.txt
$ head output.txt
SZ  VZ  VA   LAD       BRF_toc   BRF_toa
10  30  0    0.004976  0.076048  0.080558
10  30  0    0.04976   0.071202  0.075713
10  30  0    0.2488    0.057755  0.066864
10  30  0    0.4976    0.046093  0.058653
10  30  0    0.9952    0.034163  0.049216
10  30  0    1.4928    0.026823  0.044030
10  30  0    1.9904    0.022056  0.039995
10  30  0    2.488     0.019717  0.038485
10  30  0    2.9856    0.017362  0.037714

# 欠損値の有無をチェック
$ awk '{print NF}' output.txt | uniq
6

Comments

[01294941]

melian様
ありがとうございます。
columnコマンド参考にさせていただきます。
またもとのルーチンも見直してみようと思います。
また何かありましたらアドバイスいただけると幸いです。

Answer 3

ExcelVBAでよければ置いときます。

Option Explicit
Sub sample()
    
    Dim ws As Worksheet
    Set ws = ActiveSheet
    
    Dim fso 'As Scripting.FileSystemObject
    Set fso = CreateObject("Scripting.FileSystemObject")
    
    Dim all
    all = fso.OpenTextFile("C:\outputA.txt").ReadAll
    
    Dim lines, head, cmax
    lines = Split(all, vbLf)
    head = Split(lines(0))
    cmax = UBound(head)
    ws.Rows(1).Resize(, cmax + 1).Value = head
    
    Dim i, e
    Dim dic As Scripting.Dictionary
    Set dic = CreateObject("Scripting.Dictionary")
    
    For i = 1 To UBound(lines)
        For Each e In Split(lines(i))
            If e <> "" Then dic.Add dic.Count, e
            DoEvents
        Next
    Next
    
    ReDim data(1 To dic.Count / (cmax + 1), 1 To cmax + 1)

    Dim r, c
    r = 1
    For Each e In dic.Items
        c = c + 1
        data(r, c) = e
        If c > cmax Then
            c = 0
            r = r + 1
        End If
        DoEvents
    Next
    
    ws.Range("A2").Resize(UBound(data, 1), UBound(data, 2)).Value = data

    
End Sub

Comments

[01294941]

jinoli様
ありがとうございました。コピペさせて頂きました。
ExcelVBAなんて使ったことなかったのですが、使える人がやるとこんなに便利なのかと感動しました。
また何かあったら教えていただけると幸いです。

Answer 4

import csv

def special_read(fname):
    """ 最初の行のアイテム数に合わせて読み込む """
    with open(fname, 'r', newline='', encoding='shift_jis') as fo:
        reader = csv.reader(fo, delimiter=' ')
        lst = [[item for item in row if item]for row in reader]
        k, sz = 1, len(lst[0])
        lst2 = [(k:=i+1) and sum(lst[j:i+1], []) 
                   for i in range(1, len(lst)) 
                   if sum(map(len, lst[k:i+1])) == sz and (j:=k)+1]
        return [lst[0]] + lst2

def write_ssv(fname, lst):
    with open(fname, 'w', newline='', encoding='shift_jis') as fo:
        writer = csv.writer(fo, delimiter=' ')
        writer.writerows(lst)

def write_by_format(fname, lst, form):
    with open(fname, 'w', newline='', encoding='shift_jis') as fo:
        cont = [' '.join(f'{s:{abs(form[i])}}' if form[i] < 0 else f'{s:>{form[i]}}' 
                   for i,s in enumerate(ls))+'\n' for ls in lst]
        fo.writelines(cont)

# 最初の行のアイテム数に合わせてリストに読み込む
lst = special_read('outputA.txt')
# 単に半角スペース区切りで 'outputB.txt' に出力
write_ssv('outputB.txt', lst)
# フィールド幅を指定（負の値は左寄せ）して 'outputC.txt' に出力
write_by_format('outputC.txt', lst, [2, 2, 3, -8, -8, -8])