csvファイルの一括集計

Question

import pandas as pd
from openpyxl import Workbook
import glob

file_list=glob.glob('//192.168.1.4/pi/mydata202107*')#7月の稼働率ファイルを全て取り込み
print(file_list)

for file in file_list:#7月の稼働率ファイル全てに繰り返し処理で集計したい
    pd.read_csv(file)
　　x=file.iloc[:,0].count()#稼働率集計
    y=file.iloc[:,1].sum()＃稼働率集計
    a=(str(y/x*100)+'%')＃稼働率集計
    
    rcd=[]
    rcd.append(a)#稼働率をリストに追加
    df=pd.DataFrame(rcd)#データをpandasに変更
    df.to_excel('202107.xlsx')#書き込み
コード
```### 前提・実現したいこと
機械稼働率のデータを１か月毎にファイル作成し、ファイルの中には1日毎の稼働率を書き込みたいです。
ラズベリーパイの光センサーにて毎分稼働状況をcsvファイルに保存し、リアルタイムに稼働率を数字とグラフで表示しています。次のステップとしてpythonを使用し、windowsからラズベリーパイ(linux)に保存されたcsvファイル(1日毎に所得済み)を一括で取り込み、それぞれのファイルに集計を作業を加えてひと月毎のファイルに1日の稼働率書き込みを目指しています。

自分が目指している事と同じようなコードがインターネット上に情報があまりない為、コードの例を教えていただけると幸いです。
### 発生している問題・エラーメッセージ


エラーメッセージ

AttributeError: 'str' object has no attribute 'iloc'
### 該当のソースコード
AttributeError                            Traceback (most recent call last)
<ipython-input-2-098ab965c9fc> in <module>
     21 for file in file_list:
     22     pd.read_csv(file)
---> 23     x=file.iloc[:,0].count()
     24     y=file.iloc[:,1].sum()
     25     a=(str(y/x*100)+'%')

    

### 試したこと



### 補足情報（FW/ツールのバージョンなど）
for分の構造を理解していないのかもしれません。

Comments

[meg_]

コードは「コードの挿入」で記入してください。

[meg_]

> for分の構造を理解していないのかもしれません。
そもそもファイルを読み込んでいる箇所が見当たりませんが。

[F91_]

読み込みがありませんでした。pd.read_csv(file)で繰り返し処理され、7月分のファイルを順番に繰り返し処理される理解で合っていますか？

Answer 1

エラーメッセージの意味は　
変数　file は　str（文字列型）であり、
文字列型には iloc というメソッドやプロパティはないよ、と言っているわけです。

下記のようにすれば良いと思いますがいかがですか？

for file in file_list:#7月の稼働率ファイル全てに繰り返し処理で集計したい
    df = pd.read_csv(file)
　　 x = df.iloc[:,0].count()#稼働率集計
  〜以下略〜

Comments

[F91_]

ありがとうございます。こちらのエラーメッセージに関しては解決出来ました。

Answer 2

##完成版

import pandas as pd
from openpyxl import Workbook
import glob

file_list=glob.glob('//192.168.1.4/pi/mydata202107*')#7月の稼働率ファイルを全て取り込み
print(file_list)

l=[] # 一日毎に記録するためのリストを用意
for file in file_list:　　#7月の稼働率ファイルを一日毎処理
    df = pd.read_csv(file)  # CSV読み込み、データフレーム化
    d=(file[23:31])  # 日付の取得
    df[3]=df[1]==df[2] # 完全停止時間
    df=df.set_index(0)  #　時間列をインデックスに退避
    # '日付','稼働時間','無人稼働時間','完全停止時間','カウント' のリストを作成
    l.append([d] + df.sum().to_list() + [df.sum().sum()])

df=pd.DataFrame(l) #データをpandasに変更

df.columns=['日付','稼働時間','無人稼働時間','完全停止時間','カウント']
df['稼働率']=(df['稼働時間'] / df['カウント'] * 100).round(1) 

filename = d[:6] + '.xlsx'

df_excel=df.drop(['完全停止時間','カウント'],axis=1)
df_excel['稼働時間']=df_excel['稼働時間'].astype(str) + '分'
df_excel['無人稼働時間']=df_excel['無人稼働時間'].astype(str) + '分'
df_excel['稼働率']=df_excel['稼働率'].astype(str) + '％'

df_excel.to_excel(filename) # 書き込み

---

concatenating-objects

リンク先に参考になる情報があります。

df_list=[]
for file in file_list:#7月の稼働率ファイル全てに繰り返し処理で集計したい
    df_list.append(pd.read_csv(file))

df=pd.concat(df_list)

このようにいったん全てのファイルをデータフレームのリストに格納して、pandas.DataFrame.concatで一括処理した後所用の集計を実施してみてはどうでしょうか？

---

data="""index data
0 日付20210701
1 稼働時間96分
2 無人稼働時間0分
3 稼働率100.0%
4 日付20210702
5 稼働時間299分
6 無人稼働時間0分
7 稼働率99.7%
8 日付20210703
9 稼働時間777分
10 無人稼働時間1分
11 稼働率99.7%"""
import io
import pandas as pd

df = pd.read_csv(io.StringIO(data),sep=' ')
df['index']=df['index']//4
df.index=df.index % 4
df.pivot(columns='index',values='data').T

いちおうやってみましたが、お勧めしません

他の方も書いていますが、まず、csvの中身を提示してください

日付、稼働時間、無人稼働時間、稼働率のヘッダーの下にデータがあるのが自然な形だと思いますが、
データフレームにするまでに色々とやりすぎてデータが変になっています。

---

data="""21:23 1 0
21:24 1 0
21:25 1 0
21:26 1 0
21:27 1 0
21:28 1 0
21:29 1 0
21:30 1 0
21:31 1 0
21:32 1 0
21:33 1 0
21:34 1 0
21:35 1 0
21:37 1 0
21:38 1 0
21:39 1 0
21:40 1 0"""

import io
import pandas

l=[]

d="20210701" # 日付データの抽出に変えてください
df = pd.read_csv(io.StringIO(data),header=None,sep=' ')　 #　読み込み
df[3]=df[1]==df[2] # 完全停止時間の列作成
df=df.set_index(0) # 計算用に時間をindexに退避

l.append([d] + df.sum().to_list() + [df.sum().sum()]) # count()の分を３つのデータの足し算で代替
l　 # 日付、稼働時間、無人稼働時間、完全停止時間、カウント

途中までですがここで投稿しておきます。

いったんファイルを読み込んだあと、このような変更をすると注釈に書いたリストができます。
forで日付の作成からデータフレーム作成、リスト追記をしていって
全部処理を終わった後、最初に書いたpd.DataFrame.concatpd.DataFrameで一括処理が可能です。
（各行が入ったリストをデータフレームにするので、こちらでしたね。）

稼働率は全部一緒になった後のデータフレームでも、１行１日になっていますし、すぐ出ます。

Comments

[F91_]

import pandas as pd
from openpyxl import Workbook
import glob

file_list=glob.glob('//192.168.1.4/pi/mydata202107*')

rcd=[]
for file in file_list:

a=pd.read_csv(file)
d=(file[23:31])
x=a.iloc[:,0].count()
y=a.iloc[:,1].sum()
z=a.iloc[:,2].sum()
w=round(y/x*100,1)

rcd.append('日付'+d)
rcd.append('稼働時間'+str(y)+'分')
rcd.append('無人稼働時間'+str(z)+'分')
rcd.append('稼働率'+str(w)+'%')

df=pd.DataFrame(rcd)

df.to_excel('202107.xlsx',header=False,index=False)

print(df)

0
0 日付20210701
1 稼働時間96分
2 無人稼働時間0分
3 稼働率100.0%
4 日付20210702
5 稼働時間299分
6 無人稼働時間0分
7 稼働率99.7%
8 日付20210703
9 稼働時間777分
10 無人稼働時間1分
11 稼働率99.7%

上ような形で出力出来ました。ありがとうございます。理想に近づいてきました。
目指しているのは下記ですので、リンク先を参考にして粘ってみます。
日付20210701 稼働時間96分　無人稼働時間0分
日付20210702 稼働時間96分 無人稼働時間0分

[F91_]

CSVファイルの中身は以下です。ラズベリーパイの光センサーで1分毎に記録し、毎日日付毎にファイル保存しています。稼働があった場合は2例目が1となります。無人稼働の場合は2列目を0とし、3列目を1とします。完全停止中は2列目、3列目が0になります。

21:23 1 0
21:24 1 0
21:25 1 0
21:26 1 0
21:27 1 0
21:28 1 0
21:29 1 0
21:30 1 0
21:31 1 0
21:32 1 0
21:33 1 0
21:34 1 0
21:35 1 0　　
21:37 1 0
21:38 1 0
21:39 1 0
21:40 1 0

[F91_]

すみません。目指している形式は以下です。
202107という名前のファイル名で１か月毎に保存
稼働時間 無人稼働時間　稼働率
20210701 96 分 0分 ・・%
20210702 96 分 0分 ・・%
20210703 96 分 0分 ・・%
20210704 96 分 0分 ・・%

[F91_]

ここまで作成していただきありがとうございます。

申し訳ございません！！！私の説明が悪かったです。
21:23 1 0
21:24 1 0
21:25 1 0
21:26 1 0
21:27 1 0
21:28 1 0
21:29 1 0
21:30 1 0
21:31 1 0
21:32 1 0
21:33 1 0
21:34 1 0
21:35 1 0　　
21:37 1 0
21:38 1 0
21:39 1 0
21:40 1 0

上記は家庭で所得したデータなので２列目が全て1になっています。ずっと稼働状態を示しています。
停止の場合は2列目、3列目が0
21:40 0 0

稼働の場合が2列目が1、3列目が0
21:40 １ 0

無人稼働の場合は2列目0、3列目1
21:40 0 1

上記としています。

[F91_]

そもそも私の説明が悪かったのですが、
df[3]=df[1]==df[2] # 完全停止時間
上記は処理内容が理解出来ていないので削除しました。

df=df.set_index(0) #　時間列をインデックスに退避
上記に関してKeyError: 'None of [0] are in the columns'となってしまいます。
自分の方で調べて考えた結果、set_indexで列番号の指定までは出来ず、column名の指定までしか出来ないのではないかと思いました。

[F91_]

申し訳ございません。
色々とご回答をしていただきましたが、解決出来ませんでした。どうしても解決したい問題でもありますのでもう一度整理して再質問しますので、お時間などありましたらアドバイスをいただけると幸いです。

Answer 3

csvファイルの形式がわからないので正しい答えは回答しようがありません。

また、質問にあるコードは全角半角を含んでいるので、動かないでしょう。

エラーは以下のようにすればなくなるでしょうが、処理論理自体が間違っているために求める答えは出ないだろうと思います。

    df = pd.read_csv(file)
    x = df.iloc[:,0].count()#稼働率集計
    y = df.iloc[:,1].sum()＃稼働率集計
    a = (str(y/x*100)+'%')＃稼働率集計