pythonの日付検索でテキストデータ内の情報をcsvファイルの同時刻の行に追記したい。

Question

前提・実現したいこと

pythonの日付検索を用いてテキストデータ内の情報をcsvファイルの同時刻の行に追記したい。

具体的には各大型トラックの位置データ（一つのcsvファイル）に同時刻における拠点の荷物量（端的に言えばダンボール数。一日ごとの毎時刻のテキストデータ）を追記したいと思っております。

初めての投稿かつ初心者のため、稚拙な投稿で申し訳ございません。
お力添えを賜われればと存じます。

追記したいCSVデータ（緯度経度.csv）

2時間毎の緯度経度・積載可能量・拠点の荷物量（ヘッダーのみ）

車体A,
yyyymmddhh, lon, lat, 積載可能量, 拠点荷物量（←日付検索から値を入れたい列）
2000010102, 138.00, 35.66, 100,
2000010104, 138.53, 35.67, 100,
2000010116, 139.42, 35.70, 100,
2000010108, 139.44, 35.69, 100,
2000010110, 139.88, 35.64, 100,
車体B,
2000010116, 139.42, 35.70, 90,
2000010108, 139.44, 35.69, 80,
2000010110, 139.88, 35.64, 90,
.....
車体Z,
.....
2018123122, 139.44, 35.60, 80

参照したいテキストデータ（ディレクトリ構造）

基本的に一日ごとのデータが年代順に整理され、格納されています。

拠点荷物量/yyyy/mm/荷物量_yyyymmdd.txt

テキストデータの中身（荷物量_20000101.txtの例）

4列目の荷物量を先程のcsvデータに持っていきたいです。

拠点, mm, dd, hh, 荷物量（←csvファイルに追記したい値）
xxx, 01, 01, 0, 800
xxx, 01, 01, 1, 900
・・・・
xxx, 01, 01, 23, 1000

環境

環境はPython3系となります。

Comments

[Matsui_hero]

すべてのコードを一から回答するのは望ましくないので、一緒に考えていければと思います。
確認ですが、入力は「緯度経度.csv」、「荷物量_yyyymmdd.txt」で、出力は「緯度経度.csv」に荷物量を加えたものということでよろしいですか。

基本的に入力は、「緯度経度.csv」の読み込みにpandasのread_csv、「荷物量_yyyymmdd.txt」の読み込みにはglobでパスを取得し、readlinesを使用すれば良いと思います。

CSVには、
車体X,
yyyymmddhh, ...
のように、各「車体」の中に「データフレーム」がある形式になっていますが、
これだとデータフレームとして読み込む際に若干都合が悪いので、read_csvを使うのではない方法二したほうが良いのでお伺いしますが、この形式でお間違いないでしょうか。

[tomo_40kii28]

ご教授ありがとうございます。
このような質問投稿を行うのが初めてなもので、大変申し訳ございません。

ご質問頂きました点につきまして
1.入力及び出力は仰る通りでございます。

2.緯度経度.csvの形式については「車体」の中に「データフレーム」がある形式で間違いございません。私もそこの扱いが一番頭を悩ませているところです。

[Matsui_hero]

早々にご回答ありがとうございます。
＞2.緯度経度.csvの形式については「車体」の中に「データフレーム」がある形式で間違いございません。私もそこの扱いが一番頭を悩ませているところです。
ということですと、pandas.read_csvで読み込むのは難しいと思います。読み込んでも、車体Aのみがデータフレームの項目として認識されますよね、きっと。

そうしますと、流れとしては、
1. 「荷物量_yyyymmdd.txt」を読み込んでデータフレームを作成する。
2. 「緯度経度.csv」をテキストファイルとしてreadlinesで１行ずつ読む。
　　読み込んだ各行の最初のコンマまでの文字列（yyyymmddhh）を見る。
3. 1で作成したデータフレームのyyyymmddhhと読み込んだyyyymmddhhが一致するものを探す。
　　一致するものがあればその荷物量を行の末尾に追記する。
4. 各行をCSVファイルに追記していく。
２〜４をファイル末尾になるまで続ける。

こんな感じでしょうか。

[tomo_40kii28]

ご教授ありがとうございます。
こちらを参考に試行錯誤してみます！

Answer 1

たたき台レベルですが、ざっくりと作ってみました。
データフレームを活用できないので、テキストファイルから日付リストと荷物量を作成して、それと比較するという形を取りました。
データフレームを活用するためには、車体ID的なのを項目に追加して、再編成したものを別のCSVファイルに保存しておくとできると思っています。

str_outputが最終的にCSVに出力する文字列です。

変なところがあるかもしれませんので、あくまでたたき台レベルとして、ご了承ください。

### txtファイルの中を読み込む(とりあえず１つのファイルを対象に)
txt_path = '(荷物量_yyyymmdd.txtへのパス)'
# ファイル名から年月日を取り出す
yyyymmdd_txt = txt_path[-12:-4] # 後ろから.txtを除いて8文字抜き出すと年月日になる。
fp = open(txt_path)
line = fp.readline() # 最初の１行はyyyymmdd,など項目名が入っているのでスキップする。
# line.replace(' ', '') # スペースを削除
# item = line.split(',') # コンマで分割する(項目名)
index_hh = 3 # hhの場所（データの何番目にhhがあるか）
index_nimotsu = 4 # 荷物量の場所（データの何番目に荷物量があるか）
date_list = list()
nimotsu_list = list()
while True:
    line = fp.readline()
    if not line: break
    line.replace(' ', '')
    data = line.split(',') # コンマで分割する
    date_list.append(yyyymmdd_txt + data[index_hh]) # yyyymmddとhhを結合し、yyyymmddhh(date_txt)を作成する。
    nimotsu_list.append(data[index_nimotsu])


# csvファイルの中を読み込む
csv_path = '(緯度経度.csvへのパス)'
fp = open(csv_path)
str_output = ''
while True:
    line = fp.readline()
    if not line: break
    date_csv = line[:line.find(',')] # 左から一つ目のコンマの直前までを抜き出す。(コンマがなければ全体)
    if date_csv in date_list: # CSVから読み出したyyyymmddhhと一致するyyyymmddhhがある場合
        line += ', ' + nimotsu_list[date_list.index(date_csv)] # 文字列に荷物量の値を追加 # (コンマやスペースは必要かどうかに応じて調整してください)
    str_output += line
    str_output += '\n'

気になるところ、疑問、不具合等ございましたら、ぜひおっしゃっててください！