Q&A
データの内容が何なのかわかりませんが、改行が含まれているなら、そのまま登録しなくてはいけないのでは？
やろうとしてること
SQLserverのデータをCSVで吐き出し、それをプログラムを通じて、バッチでMySQLに登録するシステムを作っています。
起きている問題
吐き出されたCSVを確認すると、レコードの途中で改行されてしまっている。
そのCSVをプログラムで読み込むと、エラーとなってしまう。
おかしな位置で改行される２パターンあり、とあるカラムの値が
①「<<<<<<<<<<<<<」「改行」
②「V1234567」(V+７桁の数値)「改行」
となっている。
どうも、SQLserverの1データの中で改行されているようで、CSV出力されたときにそのまま改行も出力されたようです。
ただ、自宅からはそのSQLserverに接続することができなく、会社に行かないとSQLserverに接続できません。なので、再CSV出力とかDB内の値をみたりとかはできない状況で、なんとか手持ちのCSVでどうにかしたいと考えています。
#やってみたこと
VScodeでそのCSVを開き、正規表現で改行を検索しているのですが、通常のレコードの終わりの改行は問題なく検出されているのですが、問題の位置の改行は正規表現の検索でヒットしません。
そこが検索にヒットするのであれば、
「.*<<\n$」とかで後方一致で改行を消してしまえるのですが、それができません。
#わからないこと
なぜ改行されているにもかかわらず、正規表現で検出されないのか。
実現したいこと
不要な改行を消してCSVファイルを正常な状態にしたい。
宜しくお願いいたします。
回答1件
0
まずはバイナリエディタ等でCSVファイルの問題箇所の改行コードを確認してみては如何でしょうか？
＜参考＞
■ Stirling - 使いやすさと高機能を両立した最強の新・定番バイナリエディタ
https://www.vector.co.jp/soft/win95/util/se079072.html
投稿2022/01/01 07:36
総合スコア4648
バイナリエディタ（Hex Friend）で確認したところ、問題の改行の一位置には「 」が入っていました。
これを一括で置換で消したいのですが、正規表現等を使って条件指定して一括置換をしたいのですが、そういったツールありますでしょうか。
> バイナリエディタ（Hex Friend）
もしかして Windows ではなく MacOS でしょうか？（SQL Server ということで Windows だと思い込んでいました。。）
> 問題の改行の一位置には「 」が入っていました
すみません、それは改行コードでなく空白文字ということでしょうか？（文字が判別できません。）
できれば文字コードで提示お願いします。
もしかして文字化けしているという可能性はありませんか？
元のデータに何が入っていたのか確認してみた方が良い気がします。
すみません、色々情報不足していました。
まず、MacOSでした。
あと、SQLserverは会社にあるwindowsマシンに入っており、現在連休中なので手持ちのCSVでなんとかするしかない状況です。
わかったこととしては、おそらくそもそものDBの値に改行が入っていると思われます。
文字化けはしておらず、バイナリでみると「20」と表示されていました。
デフォルトでは改行はスペースになってCSVにされるようです。
https://sql55.com/sql-server/ssms-export-data-with-carriage-returns-to-csv.php
正規表現でスペースを探してみているのですが、いけそうな気がしてきました。
> バイナリでみると「20」
「20」はスペースですね。
> そのCSVをプログラムで読み込むと、エラーとなってしまう。
そもそも、何というエラーが出ていたのでしょうか？
改行とは関係ないエラーが出ていた、ということでしょうか？
また、KOZ6.0 さんの指摘にあるように、元の項目に改行が入っていた場合、
それをスペースまたは除去して問題無いかというのは気になるところです。
カラムの長さが違います的なメッセージだったと思います。
改行は除去しても問題ないです。
> カラムの長さが違います的なメッセージ
だとすると、改行自体は発生しているエラーとは関係なさそうですね。
現状はスペースに置き換えられており、これ自体が桁数超過の原因とはならない為です。
エラー箇所について再度確認した方が良いかと思います。
例えば、問題となっていると思われるレコードをCSVファイルから削除して事象が再現するか、等。
あなたの回答
tips
プレビュー
