[python] テキストファイルの中身の最新のデータの値だけ演算したい

Question

前提・実現したいこと

同じディレクトリ内にあるテキストファイル内にある温度のセンサ情報の一番下の値のみ演算したいのですが、どうもうまく実装できず困っています。

テキスト内のデータは下の通りです。

AMG88xx pixels
-- Pixels Test --
 
[15.75, 16.75, 17.75, 18.25, 19.25, 21.75, 23.75, 25.75, 
 16.25, 15.75, 17.00, 17.50, 19.50, 22.75, 23.50, 23.75, 
 15.25, 15.75, 16.25, 17.25, 19.00, 22.25, 22.50, 22.25, 
 15.00, 15.25, 16.25, 17.00, 18.50, 21.25, 20.25, 18.50, 
 15.00, 15.75, 15.50, 16.00, 15.75, 15.25, 16.00, 15.75, 
 15.00, 15.00, 15.50, 15.25, 15.75, 15.75, 15.25, 16.00, 
 15.25, 14.50, 15.75, 15.50, 15.75, 15.00, 16.00, 15.25, 
 14.75, 14.25, 15.75, 14.75, 15.25, 14.00, 14.25, 14.75, 
 ]
 
 [15.75, 16.50, 18.00, 18.00, 19.00, 21.50, 23.75, 25.50, 
 16.00, 16.25, 17.25, 18.00, 19.50, 22.75, 23.25, 23.75, 
 15.00, 16.00, 16.50, 18.00, 19.50, 22.50, 22.50, 22.25, 
 15.00, 15.25, 15.50, 16.50, 18.50, 21.00, 20.00, 19.00, 
 15.00, 15.50, 15.25, 15.50, 15.75, 15.25, 16.00, 15.75, 
 15.75, 14.75, 15.50, 16.00, 15.50, 16.25, 15.50, 16.00, 
 14.50, 14.75, 15.25, 15.00, 15.50, 15.75, 15.75, 15.50, 
 14.25, 14.00, 15.00, 14.50, 14.75, 14.25, 14.25, 14.75, 
 ]
 
[16.25, 16.75, 17.75, 18.25, 19.25, 21.75, 23.75, 26.00, 
 15.50, 15.75, 17.00, 18.00, 19.25, 22.25, 23.25, 24.00, 
 15.50, 15.50, 16.50, 18.00, 19.25, 22.50, 22.50, 22.75, 
 15.00, 15.00, 16.00, 16.75, 18.50, 21.25, 20.25, 18.25, 
 15.50, 15.25, 16.00, 15.50, 16.00, 15.25, 15.50, 15.75, 
 14.75, 15.00, 15.50, 15.50, 15.75, 16.25, 15.50, 16.00, 
 15.25, 15.25, 15.25, 16.00, 15.75, 15.50, 15.25, 15.00, 
 14.75, 13.75, 14.50, 15.25, 15.00, 14.00, 14.25, 14.25, 
 ]

 [16.50, 16.75, 17.75, 18.50, 18.75, 21.50, 23.75, 25.75, 
 15.50, 16.00, 16.75, 18.25, 19.50, 22.75, 23.25, 23.50, 
 15.25, 15.25, 16.25, 17.75, 19.50, 22.25, 22.75, 22.00, 
 14.75, 14.75, 15.25, 16.25, 18.50, 21.25, 19.75, 18.00, 
 15.25, 15.25, 15.25, 15.50, 15.75, 15.00, 15.75, 16.00, 
 15.25, 15.00, 15.75, 15.50, 15.50, 16.50, 14.75, 15.50, 
 15.00, 15.50, 15.50, 15.25, 15.75, 15.25, 15.50, 15.25, 
 14.75, 13.75, 15.50, 15.00, 15.00, 14.00, 14.75, 13.75, 
 ]
 

１秒ごとに[]の中身が生成されているのですが、最新の括弧内のみ足し算したいです。

発生している問題・エラーメッセージ

Traceback (most recent call last):
  File "test2.py", line 11, in <module>
    print(a)
NameError: name 'a' is not defined

該当のソースコード

f = open('/home/test_temp.txt', 'r')

while True:
  data = f.readline()
  if data == '[':
      for i in data:
        if i==']':
            break
        else:
            a = a + float(i)


  if data == '':
    break
 
  print(a)

f.close()

こちらのソースコードは一番最新の[]を探索するのは書いていません。
とりあえずカッコ内の足し算がしたいと思って書きました。

試したこと

このテキストデータは配列で扱えるのかなと思い、
data[0]などと表示してみましたが、data[2]以降、

IndexError: string index out of range

と出ました。

初めて質問するので不備などございましたらご指摘お願いします。
ヒントなどいただければ光栄です。

Answer 1

ベストアンサー決定後に失礼します。

ファイル /home/test_temp.txt の最後の9行だけを処理対象にしたいものと思いました。だとすると、コマンドラインから

cat /home/test_temp.txt | tail -9

で、以下が出力されるかと思います。

 [16.50, 16.75, 17.75, 18.50, 18.75, 21.50, 23.75, 25.75, 
 15.50, 16.00, 16.75, 18.25, 19.50, 22.75, 23.25, 23.50, 
 15.25, 15.25, 16.25, 17.75, 19.50, 22.25, 22.75, 22.00, 
 14.75, 14.75, 15.25, 16.25, 18.50, 21.25, 19.75, 18.00, 
 15.25, 15.25, 15.25, 15.50, 15.75, 15.00, 15.75, 16.00, 
 15.25, 15.00, 15.75, 15.50, 15.50, 16.50, 14.75, 15.50, 
 15.00, 15.50, 15.50, 15.25, 15.75, 15.25, 15.50, 15.25, 
 14.75, 13.75, 15.50, 15.00, 15.00, 14.00, 14.75, 13.75, 
 ]

これを一行にして、さらに不要な空白、先頭と末尾の[と]、および]の直前の,を削除するために、
tr -d '\n[] ' と sed -e 's/,$//' を通してやり、

cat /home/test_temp.txt | tail -9 | tr -d '\n[] ' | sed -e 's/,$//'

とすると、出力は以下の一行になります。

16.50,16.75,17.75,18.50,18.75,21.50,23.75,25.75,15.50,16.00,16.75,18.25,19.50,22.75,23.25,23.50,15.25,15.25,16.25,17.75,19.50,22.25,22.75,22.00,14.75,14.75,15.25,16.25,18.50,21.25,19.75,18.00,15.25,15.25,15.25,15.50,15.75,15.00,15.75,16.00,15.25,15.00,15.75,15.50,15.50,16.50,14.75,15.50,15.00,15.50,15.50,15.25,15.75,15.25,15.50,15.25,14.75,13.75,15.50,15.00,15.00,14.00,14.75,13.75

なので、以下のような内容：

from sys import stdin

print(sum(map(float, stdin.read().split(','))))

のPythonファイル total.pyを作成しておいて

cat /home/test_temp.txt | tail -9 | tr -d '\n[] ' | sed -e 's/,$//' | python total.py

とするか、あるいはtotal.pyの内容を、pythonコマンドの -c オプションで指定して

cat /home/test_temp.txt | tail -9 | tr -d '\n[] ' | sed -e 's/,$//' | python -c "from sys import stdin;print(sum(map(float, stdin.read().split(','))))"

とすれば、

1091.25

という出力が得られます。

Comments

[AGLAAGLA]

わざわざご丁寧にありがとうございます。
shellからするやり方もあるのですね。
大変勉強になりました。
今後の知識として使わせていただきます。

Answer 2

以下でやってみてください。

import re
import ast
with open('/home/test_temp.txt', 'r') as f:
    last_sum = sum(ast.literal_eval(re.findall('[[^]]*]', f.read())[-1]))

print(last_sum)

実行結果

>>> print(last_sum)
1091.25

Comments

[AGLAAGLA]

こんな２時間ほどもかけて調べていたのがこんな数行で実装できることに驚きです。
見たことがないライブラリばかりで、
正直、コードをもらっただけでは自分に意味がないと思うので、自分で調べてみようと思います。
この度は助けていただきありがとうございました。

[ppaul]

https://docs.python.org/ja/3/library/re.html#re.findall
https://docs.python.org/ja/3/library/ast.html#ast.literal_eval
をお読みください。

[AGLAAGLA]

ご丁寧にありがとうございます。
厚かましいのですが、最後に2つ疑問点をお聞きしてもよろしいでしょうか。
1 : '[[^]]*]'は何を指し示しているのでしょうか？
2 : 後ろの[-1]はなにを指しているのでしょうか？
以上お時間が許す限り、よろしくお願いします。