with構文を2つ続けると結果がおかしくなります

Question

実現したいこと

sample1.datは以下のようなファイルです。
Num p T
1501 0.7 500
1503 1.4 700

sample2.datは以下のようなファイルです。
Num p T
1504 0.8 550
1506 1.9 850

今、この2つのファイルを読み込んで、p<1でまとめたファイルA-1.csv、1<p<2でまとめたA-2.csvを出力したいと思っています。「該当のソースコード」の、
①　25行目～35行目だけをコメントアウトしたコードの出力
②　13行目～23行目だけをコメントアウトしたコードの出力
は正しいのですが、「該当のソースコード」の出力は
A-1.csvが
['1501' '0.7' '500']
['1501' '0.7' '500']
A-2.csvが
['1503' '1.4' '700']
['1503' '1.4' '700']
となっておかしいので、「該当のソースコード」を直してください。

欲しい出力は
A-1.csvが
['1501' '0.7' '500']
['1504' '0.8' '550']

A-2.csvが
['1503' '1.4' '700']
['1506' '1.9' '850']
です。

また、datファイルの読み込みの部分は書けたには書けたのですが、もっとシンプルに（分かりやすく）書くことができそうな気がするので、もしそうであるならば直してください。

該当のソースコード

import numpy as np
import pandas as pd
import csv

filename1  = "A-1.csv" 
file1 = open(filename1, 'w')

filename2  = "A-2.csv" 
file2 = open(filename2, 'w')
  
data = []

with open("sample1.dat", "r", encoding="utf-8") as f:
    list = f.readlines() 
for i in list:
    word = i.split()
    data.append(word)

for i in range(1,3,1):
    if float(data[i][1])<1:
        file1.write(str(data[i])+'\n')
    elif float(data[i][1])<2:
        file2.write(str(data[i])+'\n')        

with open("sample2.dat", "r", encoding="utf-8") as f:
    list = f.readlines()    
for i in list:
    word = i.split()
    data.append(word)

for i in range(1,3,1):
    if float(data[i][1])<1:
        file1.write(str(data[i])+'\n')
    elif float(data[i][1])<2:
        file2.write(str(data[i])+'\n')   

試したこと

with構文を正しく理解していないのかなと思っていますが、よく分かりませんでした。

Comments

[TakaiY]

デバッグ作業で実行中のデータの内容をチェックしてみれば発見できる内容だと思うのですが、デバッグ作業はしていないのでしょうか。

[fiveHundred]

質問の内容とは全く関係ないですが、listという名前は既に使われているので、この名前の変数は定義してはいけません。

Answer 1

sample1.datの処理後にdataの初期化data = []を追加すれば良いかと思います。

Comments

[yyicp]

できました。
どうもありがとうございました。

[TakaiY]

この回答が、最も質問者さんの当初の意図どおりだと思われますね。
dataの初期化もれ

Answer 2

既に解決済みですが，御参考として入力ファイルを増やす場合に多少更新し易いと思われる記述例を下記に示します。

なお，出力ファイルの「区切り文字」と「ファイルの拡張子」は入力ファイルに合わせ「タブ」と「.dat」にしてみました。

import pandas as pd

file_name = ['sample1.dat', 'sample2.dat']

df_lst = []
for fn in file_name:
    df_lst.append(pd.read_csv(fn, sep='\t'))

df = pd.concat(df_lst)

df.query('p < 1').to_csv('A-1.dat', sep='\t', index=False)
df.query('1 <= p < 2').to_csv('A-2.dat', sep='\t', index=False)

（追記）
melian様のコメントを加味すると下記の記述例になります。

import pandas as pd

file_name = ['sample1.dat', 'sample2.dat']

df = pd.concat([pd.read_csv(fn, sep='\t') for fn in file_name])

df.query('p < 1').to_csv('A-1.dat', sep='\t', index=False)
df.query('1 <= p < 2').to_csv('A-2.dat', sep='\t', index=False)

Comments

[yyicp]

できました。
どうもありがとうございました。

[melian]

データフレームのリストを渡すなら list comprehension でもよいかと。

file_name = ['sample1.dat', 'sample2.dat']
df = pd.concat([pd.read_csv(fn, sep='\t') for fn in file_name])

[little_street]

コメントありがとうございます。追記しました。

Answer 3

With構文の書き方や2つあることが原因ではありません。
同じデータが2つ書けてしまう原因は、配列dataの中にあるデータの捉えかたが間違えていて、31行目からのfor文で参照しているデータの範囲が、file1から読んだものになっているからです。

処理では、file1とfile2を順に読んで、配列dataに順にappendしていますから、質問の場合、2つめのループの段階では

[['1501' '0.7' '500'],
 ['1503' '1.4' '700'],
 ['1504' '0.8' '550'],
 ['1506' '1.9' '850']]

のように入っています。

質問のコードを生かして直すならこんな感じでしょうか。
★ 質問を受けて修正。 CSVの1行目のヘッダーをスキップ。

filename1  = "A-1.csv" 
file1 = open(filename1, 'w')

filename2  = "A-2.csv" 
file2 = open(filename2, 'w')
  
data = []

with open("sample1.dat", "r", encoding="utf-8") as f:
    list = f.readlines() 
for i in list[1:]:
    word = i.split()
    data.append(word)

with open("sample2.dat", "r", encoding="utf-8") as f:
    list = f.readlines()    
for i in list[1:]:
    word = i.split()
    data.append(word)

for datum in data:
    if float(datum[1])<1:
        file1.write(str(datum)+'\n')
    elif float(datum[1])<2:
        file2.write(str(datum)+'\n')        

file1.close()
file2.close()

Comments

[yyicp]

ありがとうございます。

私の環境ではうまく動作しませんでした。
エラーメッセージは以下のようなものが出ました。

Traceback (most recent call last):
File "〇〇〇\testCV470-2.py", line 26, in <module>
if float(datum[1])<1:
^^^^^^^^^^^^^^^
ValueError: could not convert string to float: 'p'

[fiveHundred]

まずはご自身でdataを出力して確認してみてください。

[TakaiY]

みおとしてました。
ちょっと直しますね。

[yyicp]

>TakaiY様
できました。
どうもありがとうございました。

Answer 4

もっとシンプルに書くことができそうな気がするので、もしそうであるならば直してください。

Pandas を利用すると以下の様に書くことができます。

import pandas as pd

s1 = pd.read_csv("sample1.dat", delimiter="\t")
s2 = pd.read_csv("sample2.dat", delimiter="\t")
s_all = pd.concat([s1, s2])
a1 = s_all.query("p < 1")
a2 = s_all.query("1 <= p < 2")

filename1  = "A-1.csv"
filename2  = "A-2.csv"
a1.to_csv(filename1, index=False)
a2.to_csv(filename2, index=False)

Comments

[yyicp]

ありがとうございます。

私の環境ではうまく動作しませんでした。
エラーメッセージは以下のようなものが出ました（長いです）。

Traceback (most recent call last):
File "〇〇〇\Python312\Lib\site-packages\pandas\core\computation\scope.py", line 231, in resolve
return self.resolvers[key]
~~~~~~~~~~~~~~^^^^^
File "〇〇〇\Python312\Lib\collections\__init__.py", line 1015, in __getitem__
return self.__missing__(key) # support subclasses that define __missing__
^^^^^^^^^^^^^^^^^^^^^
File "〇〇〇\Python312\Lib\collections\__init__.py", line 1007, in __missing__
raise KeyError(key)
KeyError: 'p'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
File "〇〇〇\Python312\Lib\site-packages\pandas\core\computation\scope.py", line 242, in resolve
return self.temps[key]
~~~~~~~~~~^^^^^
KeyError: 'p'

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
File "〇〇〇\testCV470.py", line 47, in <module>
a1 = s_all.query("p < 1")
^^^^^^^^^^^^^^^^^^^^
File "〇〇〇\Python312\Lib\site-packages\pandas\core\frame.py", line 4823, in query
res = self.eval(expr, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^
File "〇〇〇\Python312\Lib\site-packages\pandas\core\frame.py", line 4949, in eval
return _eval(expr, inplace=inplace, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "〇〇〇\Python312\Lib\site-packages\pandas\core\computation\eval.py", line 336, in eval
parsed_expr = Expr(expr, engine=engine, parser=parser, env=env)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "〇〇〇\Python312\Lib\site-packages\pandas\core\computation\expr.py", line 809, in __init__
self.terms = self.parse()
^^^^^^^^^^^^
File "〇〇〇\Python312\Lib\site-packages\pandas\core\computation\expr.py", line 828, in parse
return self._visitor.visit(self.expr)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "〇〇〇\Python312\Lib\site-packages\pandas\core\computation\expr.py", line 412, in visit
return visitor(node, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^
File "〇〇〇\Python312\Lib\site-packages\pandas\core\computation\expr.py", line 418, in visit_Module
return self.visit(expr, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^
File "〇〇〇\Python312\Lib\site-packages\pandas\core\computation\expr.py", line 412, in visit
return visitor(node, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^
File "〇〇〇\Python312\Lib\site-packages\pandas\core\computation\expr.py", line 421, in visit_Expr
return self.visit(node.value, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "〇〇〇\Python312\Lib\site-packages\pandas\core\computation\expr.py", line 412, in visit
return visitor(node, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^
File "〇〇〇\Python312\Lib\site-packages\pandas\core\computation\expr.py", line 719, in visit_Compare
return self.visit(binop)
^^^^^^^^^^^^^^^^^
File "〇〇〇\Python312\Lib\site-packages\pandas\core\computation\expr.py", line 412, in visit
return visitor(node, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^
File "〇〇〇\Python312\Lib\site-packages\pandas\core\computation\expr.py", line 532, in visit_BinOp
op, op_class, left, right = self._maybe_transform_eq_ne(node)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "〇〇〇\Python312\Lib\site-packages\pandas\core\computation\expr.py", line 452, in _maybe_transform_eq_ne
left = self.visit(node.left, side="left")
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "〇〇〇\Python312\Lib\site-packages\pandas\core\computation\expr.py", line 412, in visit
return visitor(node, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^
File "〇〇〇\Python312\Lib\site-packages\pandas\core\computation\expr.py", line 545, in visit_Name
return self.term_type(node.id, self.env, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "〇〇〇\Python312\Lib\site-packages\pandas\core\computation\ops.py", line 91, in __init__
self._value = self._resolve_name()
^^^^^^^^^^^^^^^^^^^^
File "〇〇〇\Python312\Lib\site-packages\pandas\core\computation\ops.py", line 115, in _resolve_name
res = self.env.resolve(local_name, is_local=is_local)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "〇〇〇\Python312\Lib\site-packages\pandas\core\computation\scope.py", line 244, in resolve
raise UndefinedVariableError(key, is_local) from err
pandas.errors.UndefinedVariableError: name 'p' is not defined

[melian]

sample1.dat や sample2.dat の内容が質問にあるものと異なるのかもしれません。例えば、実際にはスペースではなくカンマで項目が区切られているとか、ヘッダが付いていないなどです。

[yyicp]

例えば私のsample1.datは
Num p T
1501 0.7 500
1503 1.4 700
のようになっています。
文字と文字、数字と数字の間はタブです。
なので、delimiter=" "をdelimiter=" \t"に直したらうまくいきました。

datファイルをpd.read_csvで読み込むとは思いませんでした。

ありがとうございました。