質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

90.52%

  • 正規表現

    793questions

    正規表現とは特定の文字列によるパターンマッチングを行う際に用いられる宣言型プログラミングです。

正規表現で"特定の文字で終わらない"行の検索について

解決済

回答 3

投稿

  • 評価
  • クリップ 0
  • VIEW 263

jagabee72

score 3

お世話になっております。
正規表現についての質問です。

末尾が特定の文字列で終わらない、といった条件で処理を行いたいのですが、どのような方法があるでしょうか。
いろいろ調べてパターンを試したのですが、やりたいことを実現する方法がわかりませんでした。

背景として、とあるDBからデータをcsv出力し、データの集計を行いたいのですが、
一番後ろのカラムのデータが長すぎると、csv出力した際に途中で改行されて出力されてしまいます。

例)
yyyy.mm.dd,abc,111,xxxxx
yyyy.mm.dd,def,222,xxxxxxxx
yyyy.mm.dd,ghi,333,xxxxxxxxxxx
xxx
yyyy.mm.dd,jkl,444,xxxxx

↑上記の例で、3レコード目が途中で改行され、4行目にきてしまっている

これが数件なら手で直すのですが、70万レコードぐらいあり、手で直すには少々つらい状況です。
末尾は必ず決まった文字が入る仕様ですので、末尾がその文字でなかった場合、改行コードを削除するように
置換処理を考えております。
※現状はsakuraのキーマクロで無理やり処理していますが、置換などできれいに処理したいと考えています

お手数ですが、よろしくお願い致します。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

質問への追記・修正、ベストアンサー選択の依頼

  • mather

    2018/07/12 17:57

    「一番後ろのカラムのデータが長すぎると、csv出力した際に途中で改行されて出力されてしまいます。」こちらを修正できるならそれが一番いいと思うんですが…なにか事情があるんですよね。

    キャンセル

  • KojiDoi

    2018/07/12 20:49

    linuxでやりたいということならそういうことは最初から書いておいてほしかったですね。正規表現にもいくつかバージョンがあり、一部の機能はツールによってサポートされていたりいなかったりします。

    キャンセル

回答 3

+2

「末尾がその文字でなかった場合、改行コードを」ということですが、その決まった文字が行の途中に出てこないという保証はあるのでしょうか。その保証なしにこのような置換を試みると、とりこぼしが出る可能性がありますよね。

例を見る限り、当該データは日付で始まることになっているように見受けられます。「先頭が日付ではない行」があった場合はそれを前の行につなぐという作戦の方がベターのように思いました。

しかし、筋論からいいますと、不適切な改行を後で削除するのではなく、「一番後ろのカラムのデータが長すぎると、csv出力した際に途中で改行されて出力されてしまう」腐った仕様をどうにかして、変な改行が最初から入らないように算段すべきと思います。

追記:
sakuraエディタなるものは知らなかったのでコードを提示しないでいたのですが、実際にはlinuxでやりたかったということですので、perlにて「先頭が日付ではない行」があった場合はそれを前の行につなぐという作戦」を書いてみました。ワンライナーでできます。日付のパターンの部分はもちろん実態に応じて書き換えてください。

perl -pe 'chomp; ($.>1 and /^yyyy\.mm\.dd/) and print "\n"; END{print "\n"}' input.csv

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/07/12 19:57

    ご返信ありがとうございます。

    決まった文字が行の途中に出てこないか、については、実は決まった文字は厳密には"文字列"であり、
    行の途中には出てこないことが保証されております。

    なお、以降のご指摘については仰る通りだと思います。
    しかしながら、csv出力元のソフトは私が作ったものではなく、改修ができないものでございます。
    そのため、本質問をさせて頂きました。

    「「先頭が日付ではない行」があった場合はそれを前の行につなぐという作戦」についても
    考えてみたのですが、置換で検索対象の前の文字を消すという方法がわからず、断念致しました。

    キャンセル

  • 2018/07/12 20:22

    > 「先頭が日付ではない行」があった場合はそれを前の行につなぐという作戦の方がベターのように思いました。
    私もこの作戦が良いと思います。

    To: jagabee72 さん
    > 考えてみたのですが、置換で検索対象の前の文字を消すという方法がわからず、断念致しました。
    改行コードは検索対象なのですから、「検索対象の前」を探す必要はありませんよね。

    検索: \n(?!yyyy.mm.dd)
    置換: (空文字)

    キャンセル

  • 2018/07/13 12:03

    >KojiDoiさま
    追記ありがとうございます。
    また、コードのご提示についても大変助かります。
    頂いた内容にて試してみたいと思います。

    >think49さま
    ありがとうございます。
    仰る通り、ちょっと頭が固かったようです。
    ご提案頂いた内容について試させて頂きます。

    お二方、誠にありがとうございます。
    すぐにでも試したいところですが、諸事情により本日は試せないので、後日試行させて頂きます。
    本当に助かりました。

    キャンセル

checkベストアンサー

+1

csvで改行されている、ということは「対象以外の文字」+「改行コード」を検索し、該当行の「改行コード」を削除できればOKですかね。

※現状はsakuraのキーマクロで

↑sakureエディタを使用している、という事なので、正規表現での一括置換で終わりじゃないですかね。

検索対象:
「([^x])\r\n」

変換後:
「$1」

※改行文字は「CRLF」を想定して書いています。「LF」のみの場合はうまいこと対応してください。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/07/12 20:00

    ご返信ありがとうございます。
    sakuraは苦肉の策でしたので、実際はLinux上で処理したい内容になります。
    頂いたご回答を参考に、「%s/\([^x]\)\n/\1/g」の置換でうまくいきました。
    大変助かりました。

    キャンセル

+1

ある文字以外 は、[^x] ですから、[^x]$ でうまくいきませんかね。

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2018/07/12 20:01

    ご返信ありがとうございます。
    文字列の否定を「^(?!x)」の方法でしか考えてなく、式が複雑化していましたが、
    ご提示いただいた式がとてもヒントになりました。
    ありがとうございました。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 90.52%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

  • 解決済

    XMLのルールのルールについて

    XMLのPHPでパースを行っていて気がついたのですが、array2xmlという関数を使っていましたが、最初はこれのバグかと思いましたがどうもXMLの構造の仕様なのかな?と感じるとこ

  • 受付中

    ロリポップ!でMXレコードが反映されず、メールアドレスが新規作成できません。

    お世話になります。 独自ドメインxxxxxx.co.jpで、新規アドレスを作成しようとすると、うまくできません。 ◆やりたいこと 1.リニューアルしたHPを表示したい 2.メール

  • 受付中

    CakePHP ページネーションしつつ検索結果を一括取得

    ■目的 CakePHPで検索した結果をCSV書き出ししようと考えています。 書き出しは別メソッドで行うため、検索結果をそのメソッドに渡そうとしたのですが、 ページネーションによって

  • 解決済

    ccTLDが紐付いているサーバの場所

    aguse.jpでなんとなくgoogle.co.jpを見ると サーバの場所が日本でないことに気づきました。 国別ドメインccTLDはその国に住所がある会社や個人でないと

  • 解決済

    csvへの出力

    実現したいこと 下記のような内容のcsvファイルを出力させたいと思っています。 "name","score1","socore2","average" "A","40","

  • 受付中

    Access VBAでCSVファイルから取得した値を配列に格納したい

    配列にエクセルの値を格納したいです。 Dim a As String Dim aa Dim buf Dim intFF As Integer, i

  • 解決済

    SPFレコードの設定について

    現在運用改善系のサービスの導入を進めています。 該当サービスのメールサーバーから送信したメールを弊社のドメインから送信されたようにする為に(ドメイン偽装)、 SPFの設定を行おうと

  • 受付中

    CSVファイルの改行コードの削除

    お世話になっております。 データの移行作業を行っているのですが、移行元データCSVに改行コードが 入っておりSQLLoaderで取り込んだ際に、ずれが起こってしまいます。 (列

同じタグがついた質問を見る

  • 正規表現

    793questions

    正規表現とは特定の文字列によるパターンマッチングを行う際に用いられる宣言型プログラミングです。