pythonでcsvファイルのある行を削除したい

Question

###pythonでcsvファイルのある行を削除
例えば

1,2,3
4,5,6
7,8,9

というcsvファイルに対して１行目だけを削除する、といった具合です。書き込むにはwriterow()を使えばいいですが、削除はどうすればいいでしょうか。
ただし速さが肝心の処理なので（それゆえpandasやfor文の使用などはしたくないです）、そこを考慮いただいた回答であるとありがたいです。

追記：具体的にやりたい処理は1~500行目くらいまでを削除する操作です（ぼかす意図はありませんでした）
どうしてもpythonである必要はないですが、他の言語を使う<速さを諦める程度の感じです。

追記２：頑張って具体的に書いてみます。対象のcsvファイルは10000行程度のファイルですが、300行/sくらいのスピードで増えていきます。しかし増え続けると読み込みの際の時間が無限に増えていってしまうので①対象のcsvから古い行を削除していく②書き込むcsvファイルを新しいものに変えていく、のどちらかの対策を取ろうと思いました。今回の質問は①の方法ができないかと考え、したものです。対象csvを読み込むプログラムと同じところに削除するシステムも組み込もうとしたので速さが重要だと書きましたが、別ファイルから対象のcsvをいじる操作でも良いとは思います。（しかし現状以下の画像のような謎の行が挿入されてしまいうまくいっていません）

Comments

[KojiDoi]

どうしてもpythonでないとダメなんでしょうか。unix系ならsedが一番手っ取り早そうに思えますが。

[Q71]

毎回1行目だけ削除ですか？仕様の肝だと思いますが、そこをぼかす？

[KojiDoi]

ぼかす意図がなくても、やりたいことが伝わらなければ期待した答えは得られませんよ。
500行ぐらいまでの削除？ それは当初の質問にあった最初の1行だけ削除というのは随分様子が違うように思いますが。「ぐらい」といいますがファイルごとに300行だったり550行だったりするのですか？ そもそも対象ファイルの大きさは？　全体が700行のファイルが対象のときと100万行のファイルが対象のときではふさわしい手法がたぶん違ってきますよ？

[KojiDoi]

あなたが考えるべきことは「行を削除する」ではなく「行を読み飛ばす」です。
おそらく「読み込みの際の時間」よりは「行を削除して書き込む」のほうが時間がかかるので、あなたの抱えている問題は解決できません。
そもそもその状況だと、どこまで読み進めたかを管理しないことにはどこまでを削除するかが判断できないでしょう。非常にややこしいことになりそうな気がします。

[Q71]

KojiDoiさんのコメントに加えて、
書き込み中は、他のプロセスからファイルを書き込むことができないので、「ある時点のコピーを作る」しかできません。（できない、ではないが、ファイルが壊れる）
お使いのフレームワークによっては、書き込むときに一定の条件を満たせば別のファイル名で書き込む、ようなこともできます。
一旦質問を閉じ、何が問題か、その問題を解決するために考えたことを整理し、あらためて質問し直すとこを勧めます。
今回は、問題解決のアプローチを間違っていると思います。

Answer 1

速さが必要なら、Pythonなど使ってはいけません。

１行目だけを削除する

のであれば、以下です。

sed '1d' csvファイル > new.csv

Pythonなど不要、そう、シェル芸ならね！！

Answer 2

どうしてもpythonを使いたい場合はこんな感じ。
この程度であればループを使わない方法は幾らでもありそうなので、とりあえず４通り羅列してみました。
実際にどれが高速なのかは全く確認しておりませんので、必要であれば比較してみてください。

• Pandasにて read_csv()のパラメータにskiprow=1使う方法

import pandas as pd
pd.read_csv('in.csv', header=None, skiprows=1).to_csv('out.csv',index=False, header=False)

• Pandasを使い スライスで２行目以降を保存する方法

import pandas as pd
pd.read_csv('in.csv', header=None)[1:].to_csv('out.csv',index=False, header=False)

• Numpyにて loadtxt()のパラメータに skiprow=1を使う方法

import numpy as np
np.savetxt('out.csv', np.loadtxt('in.csv', delimiter=',', skiprows=1), fmt='%d', delimiter=',')

• Numpyを使い スライスで２行目以降を保存する方法

import numpy as np
np.savetxt('out.csv', np.loadtxt('in.csv',delimiter=',')[1:,:], fmt='%d', delimiter=',')

Answer 3

たくさん回答ありがとうございます。言われたように、問題解決方法を改めて考え直してみます。

Answer 4

csvファイルのある行を削除するには、

1. csvファイルを読み込む。
2. ある行を検索する。
3. ある行を削除する。
4. 削除後のデータをcsvファイルへ書き込む。

となるため、単純にcsvファイルに行を追加するよりも複雑になります。

for文を使いたくたいのであれば、「ある行を検索する」の部分をキャッシュするなど何かしら工夫する必要がありそうです。