Pandasで読み込んだデータのX文字目からY文字目までを結合する方法について又は任意の文字数でのtableの分割方法

Question

前提・実現したいこと

貰ったテキストファイルをpandasで読み込んで、加工後、Excelで出力を行いたい。

発生している問題・エラーメッセージ

元のテキストデータはTabや「,」で区切られておりません。
このため、行ったのは1,005文字を一文字づつ区切って
data[0]+data[1]...で結合を行っているが、1,005文字あるのでこれを手作業で行うよりは
X文字目からY文字目まで結合するなどのコードが分かればと思い質問させていただきました。
よろしくお願いします。

コードを使う使わない別として、全てのコードを記載しました。
分かりづらくて申し訳ありません。

現在成功している事
読み込んだデータを１文字づつ区切る

引用テキスト(元データ)

HDABCDEF 000111 YYYYMMDDYYYYMMDDYYYYMMDD

作成したいデータ

HD,ABCDEF, ,000111, ,YYYYMMDD,YYYYMMDD,YYYYMMDD

※スペースは文字列としてカウント

結合は
HD,ABCDFE, ,000111, ,YYYYMMDD,YYYYMMDD,YYYYMMDD
1～2, 3～7, 8～18 ,19～24, 25～28, 29～36, 37～44, 45～52 文字目を結合したいです。
2 6 11 6 4 8 8 8 ←それぞれの結合したい文字数

該当のソースコード

import pandas as pd
import numpy as np
import os
import openpyxl
import glob
import re

#ファイルパス
filepath = ('Python/test.txt')

#ファイル読み込み
df = pd.read_table(filepath , header=None)

df1 = df.iloc[0][0]

#1文字づつ分割
data = [df1[i: i+1] for i in range(0, len(df1), 1)]

#1文字目と2文字目、     3～7文字目を結合、                                8～18文字目を結合
df2 = data[0]+data[1], data[2]+data[3]+data[4]+data[5]+data[6]+data[7], data[8]+data[9]+data[10]+data[11]+data[12]+data[13]+data[14]+data[15]+data[16]+data[17]+data[18]

という形での途中まで結合を行いました。
解決法がございましたら、よろしくお願いします。

Comments

[jeanbiego]

コードは```と```の間に全文まとめて書いて下さい。
あと、元データの分割ルールが自明ではないようです。何文字区切りとか、日付形式YYYYMMDDとか、他の人にわかるように書かれたほうが回答がつくと思います。

[y_waiwai]

質問のタイトルと内容があってないように思います

おそらく文字列を分割するというはなしだと思いますが、どういう法則で分割するのか、を説明していただけますか。

[ErstNeun]

jeanbiego様

書き方を教えていただきありがとうございます。
分割方法がまずいのだとは思うのですが、これ以外の解決方法が見つからなかったため
１文字づつ分割して、文字数にあったように結合する方法を取っております。
かなり見にくいプログラムになっており申し訳ありません。

[ErstNeun]

y_waiwai様

書き方が悪く、誤解させる内容で申し訳ありません。
１文字づつ分割するという形は一応完成しております。

この後に、１文字目と２文字目、３文字目～７文字目・・・と結合しようとする際のコードが
単純なコードしか分からず困っております。

Answer 1

文字列を分割するところだけですが、こんな感じで関数を作ると、何文字ずつ区切るかをlistで指定できるようになります。

def split_line(s, chunk_len):
    results = []
    for n in chunk_len:
        chunk, s = s[:n], s[n:]
        results.append(chunk)
    return results

line = 'HDABCDEF           000111    YYYYMMDDYYYYMMDDYYYYMMDD'
chunks = [2, 6, 11, 6, 4, 8, 8, 8]

print(split_line(line, chunks))
# ['HD', 'ABCDEF', '           ', '000111', '    ', 'YYYYMMDD', 'YYYYMMDD', 'YYYYMMDD']

Comments

[ErstNeun]

ありがとうございます。
最初の区切るところで修正できたのですね。
遠回りで１字ずつ区切って区切る以外の方法が分からず、遠回りをする事にしていました。

結合する事しか考えていなかったので、前工程から改善できたのがとても嬉しかったのでベストアンサーとさせていただきます。

Answer 2

Daregadaさんのスマートなのと違って愚直に組んでみました。
一回、listで処理してからdataframeにしてます。

test="""HDABCDEF           000111    YYYYMMDDYYYYMMDDYYYYMMDD
HDABCDEF           000111    YYYYMMDDYYYYMMDDYYYYMMDD"""

import io
import pandas as pd
import numpy as np
import os
import openpyxl
import glob
import re

#ファイルパス
filepath = io.StringIO(test)

#ファイル読み込み
lst_lines = list()
with filepath as f:
    lines = f.readlines()
    for line in lines:
        lst_line = list()
        line = re.split("\s+", line)  # ['HDABCDEF', '000111', 'YYYYMMDDYYYYMMDDYYYYMMDD']
        lst_line.append(line[0][:2])  # HD
        lst_line.append(line[0][2:8])  # ABCDEF
        lst_line.append(line[1])  # 000111
        while len(line[2])>7:  # 各YYYYMMDD
            lst_line.append(line[2][:8])    
            line[2] = line[2][8:]
        lst_lines.append(lst_line)
df = pd.DataFrame(lst_lines)
print(df)
#   0       1       2         3         4         5
#0  HD  ABCDEF  000111  YYYYMMDD  YYYYMMDD  YYYYMMDD
#1  HD  ABCDEF  000111  YYYYMMDD  YYYYMMDD  YYYYMMDD

Answer 3

1文字ずつ区切って結合するという解決法ではありませんが、元の行を正規表現でグループに分割して新たなDataFrameを作ってはどうでしょう。

提示されている部分だけ分割するコードの例。

import pandas as pd

df_src = pd.read_table("hogehoge.dat", header=None)
df_dst = df_src[0].str.extract(r'^(..)([^\s]+)\s+(\d+)\s+(\d{8})(\d{8})(\d{8})', expand=True)
print(df_src)
print(df_dst)

                                                   0
0  HDABCDEF           000111    20200901202008012...
1  IDGHIJKL           000112    20200902202008022...
2  JDMNOPQR           000113    20200903202008032...
3  KDSTUVWX           000114    20200904202008042...
    0       1       2         3         4         5
0  HD  ABCDEF  000111  20200901  20200801  20200831
1  ID  GHIJKL  000112  20200902  20200802  20200831
2  JD  MNOPQR  000113  20200903  20200803  20200831
3  KD  STUVWX  000114  20200904  20200804  20200831

Comments

[ErstNeun]

回答ありがとうございます。
ここまで短いコードで出来るのですね。

追加の質問になってしまい申し訳ないのですが、スペースを残す方法
またはスペースを追加する方法はありますでしょうか？

[Daregada]

\s が空白文字なので、(\s+)のようにカッコで囲めば、空白の連続をグループ化して切り出すことができます。