CSVファイルに使用する記号のエンコード処理について

Question

お世話になります。

システム間の連携ではcsvファイルを使用することが多いですね。
この前見かけたものではカンマ区切りでダブルクオート無しというフォーマットで、
文字列にカンマや改行を加える場合にはパーセントエンコードをするというのがありました。

私の認識ではこういう場合、バックスラッシュとかを使用してエスケープ処理を入れるものだと思っていました。
しかもパーセントエンコードはurlのエンコードの際に使用するもので、こういった場合には使うことはないとも考えていたのですが。
もしかしたら、ダブルクオート無しのフォーマットで改行を含めるための措置なのでしょうか。
そもそもなじダブルクオート無しのフォーマットにするのか分かりません(政治的理由？)

こういったやり方はありなのでしょうか？

どのような理由でエンコード処理をすると考えられるか、
また皆様のところではどういった形で作られているのか教えていただきたいです。

よろしくお願いいたします。

Answer 1

CSVって厳密に定義が決まっていないのでありといえばありです。

RFC4180っていうのがありますが、どこまで浸透しているのか・・・

改行(CRLF)、ダブルクォーテーション、カンマを含むフィールドは、ダブルクォーテーションで囲むべきである。

RFCにのっとってるわけではないですが、この対応が多いです。
Excelで取り込めるようにというのが理由です。

Comments

[annderber]

コメントありがとうございます。
csvの扱いについては多くの方言があるといいますが、あえてパーセントエンコードにする利点がよく分からないです。当然動きはするのでしょうが、もやもやします。

[momon-ga]

政治的理由というか、CSVは独自の解釈がたくさんあるのが実情で、既存システムを考慮すると一律この方式というのが、決めにくいのだと思います。実際は、ライブラリ化していてエスケープ方法を意識しないようになっていませんか？

[annderber]

コメントありがとうございます。
ライブラリ化されているかどうかはちょっと分からないです。
確かに色々な事情があってそうせざるをえないことがあるのはわかるのですが、あえてパーセントエンコードを使った(使わざるを得なかった)理由が知りたかったのです。私の中ではurlのエンコードに使用する認識でしたので。

Answer 2

利点として思いつくのは、CSVファイルをハンドリングするライブラリを持たない言語（環境）で処理が楽。
単にカンマで区切って、項目毎にデコードすれば良いので。

まあ、がんばってちゃんとしたライブラリを一度作っちゃえば良いと言えばそうなのですが。

Comments

[annderber]

コメントありがとうございます。
ちなみにエスケープ処理ではなく、パーセントエンコードを使う利点というのは何か考えられるのでしょうか。

[otn]

あなたの言うエスケープ処理が、「,」⇒「\,」のようなことであれば、私の書いたメリットが失われますね。項目中にカンマが現れないようにする必要があります。
他には、「,」⇒「\x2c」というのも考えられますが、「%2c」より長いです。

[annderber]

コメントありがとうございます。

Answer 3

憶測ですが、自前でエスケープするのが面倒だったから・・・ではないでしょうか？
\と"だけなんですけど。
個人的には人が見てもわかるという利点がなくなってしまうので、避けたいところです。……あっ、パッと見わからないというのが目的なのかな？

Comments

[annderber]

コメントありがとうございます。
確かに自前で用意するのが面倒だったという気もします。

Answer 4

どのようなエスケープ文字を使っていようと、そういうデータだと言われればそれまでなので、処理可能な形式であれば、そのデータ仕様に従った処理とします。

ただ、処理が厄介になりそうなものは、変更をお願いします。

以前文字区切り記号が無いCSVで、項目に改行が含まれていたことがあり、文字区切り記号を付加するようお願いしました。

項目区切りの無い固定長データをCSVデータと言い張る相手もいましたね、そういえば。

疑問符が付くようなデータの場合、大体において既存システムがそのような管理を行っている生データだったりします。

Comments

[annderber]

コメントありがとうございます。
場合によっては改行とか、タブを区切り文字にすることもあるそうですね。
確かに言われた仕様に合わせて作ることが多いですが、なんでこうしたのだろうと考えるときがあります。
今回はそのような質問でした。パーセントエンコードを使用する利点って何か考えられますでしょうか

[sazi]

利点は思いつかないですね。一番出現頻度が低かったんじゃないでしょうか。
若しくは、一般的なエスケープ文字を何らかの制御コードで使っていたとか。
逆に他のエスケープ文字で考えられる利点がありますか？（ライブラリがあるとかは抜きにして）
どんなエスケープ文字であろうと、そのエスケープ文字を文字として使用したい場合は、その文字を重ねるとかのルールで置き換えるから、どんな文字でもエスケープ文字として使えますし。
何にしても、利点ではなく制約によるものだと思います。

[annderber]

コメントありがとうございます。
ここでのコメントを読ませていただいた感じとして、エスケープ処理のルール化を面倒がったからではないかと考えています。