ある１要素に対する処理を全要素に対して行う方法

Question

プログラミング初心者です.
現在,pythonを用いてcsv形式のデータの分析を行っております.
前提として,csv,numpy,pandasなどのモジュールを使用しないプログラムを組んでおります.

5分ごとに計測する機器が１か月間計測したデータがあり、そのデータの欠損している時刻（ランダムに欠損している）を補完する（時刻のデータのみが時刻通りに補完できていれば可）プログラムを自分なりに組んでみました。
このデータは、あらゆる地点のデータがまとめられたものであり、下のプログラムでは、ある一点のみのデータを抽出して欠損した時刻を補完しているのですが、全地点に関して同様の処理を行うことはできないでしょうか。
補足
・地点にはそれぞれ地点番号が振られています。
・i[0] = 　時刻
・i[2] =　地点番号
・要素数は１データにつき１０個
・流れとしては、#ある一点のみのデータを配列に格納　の部分を

data={}
for i in data2:
    a=data.get(i[2],[])
    a.append(i)
    data[i[2]]=a

に変え、地点番号をキーとして、データを辞書型に格納して処理を行いたいと考えています。
その他に、プログラムを簡潔に示す方法があればご指摘よろしくお願いします.

以下にプログラムを記します。

import datetime

filepath = 'aaa.csv' 

start =(datetime.datetime.strptime('2018/09/01 00:00', '%Y/%m/%d %H:%M'))
end =  (datetime.datetime.strptime('2018/09/30 23:55', '%Y/%m/%d %H:%M'))

with open(filepath,encoding="shift-jis") as f:#データ読み込み
    next(f)
    data2=[]
    for line in f:
        line = line.replace('\n','')
        data = line.split(',')
        data2.append(data)

for i in data2:#時刻のデータ型変更
  tmdata=(datetime.datetime.strptime(i[0], '%Y/%m/%d %H:%M'))
  i[0]=tmdata
  
data3=[]#ある一点のみのデータを配列に格納
for i in data2:
    if i[2] =='1':
        data3.append(i)
        
error=0
error1=0
error2=0
i=0
n=len(data3)
if data3[0][0] != start:#1つ目のデータの時刻が00:00でない場合の欠損
   sabun1 = data3[0][0] - start
   min1 = sabun1/ datetime.timedelta(minutes=5)
   data3.insert(0,[start,0,0,0,0,0,0,0,0,0])
   if min1 != 1:
        error1=min1
        a1=1
        while a1<=min1-1:
            kesson1=start+datetime.timedelta(minutes=5)*a1
            data3.insert(a1,[kesson1,0,0,0,0,0,0,0,0,0])
            a1 +=1
   else: 
        error1=1        

d=int(n+error1)
if data3[d-1][0] != end:#最後のデータが23:55でない場合の欠損
   data3.append([end,0,0,0,0,0,0,1,0,0])
   error2=1

d=int(error1+error2)
while i<8638: #欠損数を求める
     sabun=data3[i+1][0]-data3[i][0]
     min=sabun/ datetime.timedelta(minutes=5)
     if min != 1:
        error=error+(min-1)
        a=1
        while a<=min-1:
            kesson=data3[i][0]+datetime.timedelta(minutes=5)*a
            data3.insert(i+a,[kesson,0,0,0,0,0,0,0,0,0]) 
            a+=1
     i += 1

print(len(data3))

下に示すURLの「一般道路の「断面交通量情報」 (2019年8月分)」がほぼ同じ形式のデータになります.
http://public-data.jartic-raws.durasite.net/opendata.html
プログラムでは2018年9月ですが,用意できたデータは2019年8月のみでした.

Comments

[hayataka2049]

＞前提として,csv,numpy,pandasなどのモジュールを使用しないプログラムを組んでおります.
練習目的ならそう明記してください（見る人は気になるので）。練習目的でないのであれば、その方針はおすすめしません。外部ライブラリが使えない条件でもcsvモジュールは役に立つことでしょう。

[TKWTsan]

pythonの基礎的なプログラムの組み方を練習するため、モジュールを使用しないようにしています。説明不足で申し訳ないです。

[t_obara]

でもdatetimeモジュールは利用するのですね。
基礎的なという意図であれば、numpyは十分基礎的な範囲かとは思いますが。

[tiitoi]

numpy、pandas は準標準といってもいいぐらい有名なライブラリですし、実用上は numpy、pandas を使うことになるので、最初からそのライブラリを使ったやり方を覚えたほうがいいと思いますが

Answer 1

練習のためnumpyやpandasを使用しないようにしていたのですが、ご指摘のように実用的なことも考え、モジュールを使用したプログラムの作成も練習していきたいと思います。
pandasに欠損値の処理を行う機能があったので、まずpandasの使用を検討してみます。