CSVのデータを加工するwebアプリケーションについて

Question

知り合いに頼まれ、CSV形式の顧客データをフロントエンドでサーバーにアップロードし、バックエンドで加工してフロントエンドから出力する、という形のtoBWebアプリケーションをDjangoで開発しています。
実装方法としては、入力されたCSVデータをサーバー上の特定のディレクトリに一時的にアップロードし、あらかじめ用意してあるいくつかのCSVデータ(1MBほど)を読み込みそこから名前を参照し、対応する値を取り出して新たなデータを形成しCSVの形式に直して出力、という行程で考えているのですが、ggるとまずCSVのデータをDBに格納して扱っているものばかりで、DBを使わずにファイルを読み込んでdictionaryに格納して扱ってしまうのはなにか問題があるのではないかと思い皆様の知見を教えて頂きたくて投稿しました。

そもそも個人情報の含まれるCSVファイルを扱うことがなかったのでセキュリティの面でも不安です。
加工後にサーバー上からデータを消すため永続的にサーバー上に顧客データが置かれるわけではないのですが何か問題はありますでしょうか。
よろしくお願いします。

Answer 1

CSVファイルをアップロードしてサーバにそのまま配置しようとしてるってことですよね？

• そのCSVファイルが本当にCSVファイルなのかどうか中身のチェック面倒くさい

万一それがサーバに悪意を及ぼすプログラムだった場合に困るので、アップロードする前に一度中身を全部調べて確実にCSVファイルであることを確認してからアップロードすることになると思います。
それって割と面倒くさい処理だし、だったらいったん中身全部取り出してJSONかなんかでサーバに放り投げた方が楽じゃないかなと。

• だいたいの場合ファイルアクセスよりDBアクセスの方が高速

ファイルアクセスはどうしても遅くなりがちなので、大きなファイルを扱おうとか大量のファイルを扱おうとかするとパフォーマンス的にDBの方が優れている場合が多いです。

• セキュリティ的にはそれほど大差ない（はず。たぶん。）

暗号化するとか、アクセス制限かけるとか、そういった対策はどっちにもできるのでセキュリティ面ではどっちでもいいと思います。
が、おそらくDBを扱う方がネット上の情報量は多いと思います。

詳しくないので間違ってるかもしれませんが、通信を傍受された場合にJSONデータは改ざんできないがファイルの中身は改ざん可能とかって理由もあったかもしれません。

Comments

[munk_tktk]

ありがとうございます。
ちなみに悪意あるファイルがサーバに保存された場合、python側でその中身を開いてdictionaryに格納するだけでも攻撃を受けるのでしょうか？
(実行されるわけではなく読み込まれるだけではないのでしょうか？)

[spookybird]

配置されてしまうだけで問題が起きるファイルである可能性もありますし、読み込もうとした時点で悪意のあるコードを実行されてしまうファイルである可能性もあります。
攻撃ファイルを作った経験はないので具体的な攻撃方法までは詳しく知りませんが、ファイルをサーバに配置できるなら攻撃の手段は無限大だと思います。
簡単に言えばウィルスを配置できるということです。

[munk_tktk]

なるほど、ありがとうございました！