CSVファイルをバイナリで見た際の疑問点について教えてください。

少しトンチンカンな質問かもしれませんがよろしくお願いします。質問は2つです。

あるwebsiteからデータをCSV形式でダウンロードしました。
1つはShift_Jis文字コード出力、もう1つはUTF-8文字コード出力で、内容は同じものです。

質問1

その2つのファイルを見比べてみようと、Stirlingというバイナリエディタでそれぞれ開いたのですが、
Shift_Jisの方は日本語の表記も見えるのですが、UTF-8の方は文字化けしています。
(1つの画像ファイルに並列して並べました)

文字化けを修正？というかShift_Jisのように日本語を表記するにはどうしたらよろしいのでしょうか？
設定項目をいろいろみたのですが、うまくいきませんでした。

質問2

画像の中でカーソルのある箇所(「ドット」のところ、バイナリだと「0A」のところ)が、
CSVファイルの改行の箇所なのですが、「0A」はアスキーコードだと、「改行」にあたります。
エクセルなどでCSVファイルを作成すると改行コードは「0D」「0A」と「復帰」「改行」と2バイトで表示されます。

これは、エクセルで作成したCSVファイル(もしくはエクセルで保存したCSVファイル)が
Shift_Jisだからであって、画像の方は、WebからダウンロードしたCSVファイルを
そのままバイナリエディタで開いたから(webサーバがUnix?その可能性が高い？)であって、
Shift_Jisではないから、なのでしょうか？

よろしくお願いします。

firegrape

2020/10/08 16:08

こんばんは。質問1でShift-jisで日本語で開けたのに、UTF-8の方で日本語表記にしたい理由が知りたいです。興味とかでしょうか？それとも変換しないといけない理由があるのでしょうか？

u_zu

2020/10/08 16:17

firegrapeさん　＞質問1でShift-jisで日本語で開けたのに、UTF-8の方で日本語表記にしたい理由が知りたいです。理由は特にないです。全くの素人考えで、片方では日本語で、片方では文字化けで。。。なぜだろうと思いまして。。。

行動規範の内容に同意します

回答2件

ベストアンサー

質問1

Stirling（EBCDICコード表示できるバイナリーエディター）
デフォルトASCIIコードから変換できますがUTF-8は無いように見受けられます。

Binary Editor BZ
をおすすめしておきます。

質問2
改行に用いることができる制御文字
テキストの改行に関しては

CR = キャリッジリターン (\r、16進数で 0x0D、10進数で13) — 次の行へ進まずに、カーソルを行の先頭へ移動する。
LF = ラインフィード (\n、16進数で 0x0A、10進数で10) — カーソルを行の先頭へ移動せずに、次の行へ下に移動する。

文字コードは関係ありません。

OSがwindowsの場合、基本CR+LFセットで改行としています。
古いMacだとCRのみ、UnixだとLFのみだったりする場合もあります。
今はほぼCR+LFセットなのですがExcelのセル内改行はLFのみだったりします。

この辺りはOS上仕様プログラムの仕様とCSV等使用目的により変化します。
よってプログラマは「CRのみ」「LFのみ」「CR+LFセット」の想定を行い
CSVの読み込みプログラムを作成します。

投稿2020/10/08 16:21

kuma_kuma_

総合スコア2506

u_zu

2020/10/08 16:36

kuma_kuma_さん　ありがとうございます。＞この辺りはOS上仕様プログラムの仕様とCSV等使用目的により変化します。「改行」のみでも「復帰」「改行」と2つにしても　作業者レベルでは差異がない、という理解でよいのでしょうか？（開発者でもないかぎりあまり気にしなくていい？）例えば、CSVファイルを利用する側から考えると、メモ帳で開いたり、エクセルファイルで開いたりする程度なら利用上、同じように見えるので。。。

kuma_kuma_

2020/10/08 16:43 編集

Windows上でテキストを扱う場合、特殊なソフトでない限り「CRLF」で保存されます。 Windowsのメモ帳で開いても特に問題なく開けます。今はほとんどのソフトで問題ないようになっています。ただ保存すると「CRのみ」が「CRLF」として自動変換され保存されます。よって気にするのはプログラマぐらいです。

u_zu

2020/10/08 16:48

ありがとうございます。実は今回のようにCSVファイルをダウンロードしてきて、そのファイルを基に簡易な業務ソフトを作ってます。改行コードでレコードを区別しようとしたらCRLFではないので焦りました。　実際にバイナリエディタでみたらCRのみだったので。。。実際問題として、このようにバイナリエディタとかで現物を見て、個別に対応、ということになるんでしょうね。。。素人考えでしたら色々教えてください。

kuma_kuma_

2020/10/08 16:59

そうですね最近はプログラム言語自身で「ファイルから1行読み込む」という命令が既に存在していて 3パターンにすでに対応済みなんでこともあります。よって知らないで作成されている方もいるんじゃないかと感じています。アドバイス的には「うまく行で取れない場合は改行コードを確認しましょう」「できれば3パターン対応としておきましょう」ぐらいです

kuma_kuma_

2020/10/08 17:04

CR+LFにそろえるには 1. CR→CRCRに変換 2. LF→LFLFに変換 3. CRCRLFLF→CRLFに変換 4. CRCR→CRLFに変換 5. LFLF→CRLFに変換

u_zu

2020/10/09 01:08

ありがとうございます。1のCR→CRCRは最初からCRLFとかにしてしまえないんですかね（きっと何か見落としてますね）

kuma_kuma_

2020/10/09 05:04

むかしからある呪文と思ってください。 3パターンで試すと判ります。

u_zu

2020/10/09 10:51

なるほど！