既存のファイルを複数の指定の行数で分割保存する方法はありますか？

Question

###前提・実現したいこと
膨大なデータ(excelで開けません)を指定の行で分割保存したいです。
その時、例えば、合計10000行のデータを、
1~1000行で1ファイル(1000行)、
1001行～3500行で1ファイル(2500行)、
3501行～7000行で1ファイル(3500行)、
7001行～10000行で１ファイル(3000行)、
といったようにばらばらの行数を指定して保存したいです。

###試したこと
ネットで調べたところ、指定の行で分割する方法はたくさん出てきました。
しかし、１種類の指定の行でしか分割できず、数種類の行数での分割方法は見当たりませんでした。
調べ不足でしたら申し訳ありません…。

###補足情報(言語/FW/ツール等のバージョンなど)
より詳細な情報
分割したいデータが膨大なため(2GB)、Excelでは開けません…。
また、分割指定をしたい行の種類も1000を超えているため、手作業では難しいです...。
分割したい行数のリストはあるのですが、どうすれば良いのか分からない状態です。

どなたか助言いただければ幸いです。
よろしくお願い致します。

###追記
皆さまご回答ありがとうございました。
本当に助かりました。
また何かありましたらよろしくお願い致します。

Answer 1

昔つくったテキストファイルを10000行ずつに分割するツール
不便がないので昔から全然アップデートしてないので
ちょっと変な書き方もありますが、参考程度に

※１行目のデータをヘッダとして認識して、分割後の全てのファイルの
１行目にヘッダをつけています

「分割.vbs」という名前でテキスト保存して、そのアイコンに分割したい
テキストファイルをドロップして下さい

sub main()
  set args= wscript.arguments
  set oWSH =WScript.CreateObject("WScript.Shell")
  set fs = CreateObject("Scripting.FileSystemObject")
  if args.count=0 then
    msgbox "ファイルを落としてください。"
    exit sub
  end if

  set f=fs.getfile(args(0))
  fb=fs.getBasename(f)
  ext=fs.getExtensionname(f)
  fp=fs.GetParentFolderName(f)+"\"
  if lcase(ext)<>"txt" then
     msgbox "指定ファイルがちがう"
     exit sub
  end if

  set otf = fs.OpenTextFile(f)
  header=otf.readline()
  j=1
  Do While j < 99
    Set myfile = fs.CreateTextFile(fp+fb+"-"+right(Cstr(100+j),2)+"."+ext, True)
    myfile.WriteLine(header)
    for i=0 to 9999
      l=otf.readline()
      myfile.WriteLine(l)
      if otf.AtEndOfStream then
        exit do
      end if
    next
    myfile.Close
    j=j+1
  loop
  otf.close
  msgbox "ok!"
end sub

main()

Answer 2

もし linux などの unix OS が使えるなら
sed や awk や perl などでスクリプトを書くか
もしくはこんな感じで

head 1000 hoge.txt > 1.txt                 #1~1000行で1ファイル(1000行)
head -3500 hoge.txt | tail -2500 > 2.txt   #1001行～3500行で1ファイル(2500行)
head -7000 hoge.txt | tail -3500 > 3.txt   #3501行～7000行で1ファイル(3500行)
head -10000 hoge.txt | tail -3000 > 4.txt  #7001行～10000行で１ファイル(3000行)

動作確認してませんが、少し調整すればいけるんじゃないかな?
--- 追記 ---

分割指定をしたい行の種類も1000を超えている

見逃してましたが、それならそのもととなるデータを読み込んで
上記を生成するスクリプトをなんかで作るという話になりますかね。

Comments

[mendako]

ご回答ありがとうございました。
headは頭からしか数えられないと思っていたので、行数指定ができることは初めて知りました。
勉強になりました。
分割指定をする部分を考えてみようと思います。

Answer 3

500行ずつに分割して、あとで結合して希望の行数にすればいいと思います。

あるいは、Unix系のsedのようなツールだと、指定行だけ抜き出せます。
sed -n "1001,1500p" infile > outfile1001
とか。

Comments

[mendako]

ご回答ありがとうございます。
sedを使えば抜きだし可能なのですね。勉強になりました。
当方が提示した例が悪くて大変申し訳ありません。
分割したい指定行は123、1809、などと切りが良い数字ではなく、本当にばらばらなのです。

[cateye]

>本当にばらばら・・・であれば、行に含まれる情報で分割する方法がないのでしょうか？（たとえば、行に含まれる数値…あればですがw…が１０００番台、２０００番台など）であればもっとやり方があると思います。

[otn]

切りの良い数字かどうかで、何かが変わるとお思いでしょうか？
変わりませんよ。そのまま書けばいいだけです。
sed -n "123,1809p" infile > outfile

[cateye]

言葉が悪かったのかもしれません。私が言いたかったのは切り出す行のなかにキーになるデータがあるなら、行数を指定しなくても出力ファイルが切り替えられるのではないか？と言うことだったのですが。・・・例えば、試験の結果の点数によって生徒の情報を別ファイルに吐き出すといったようなことです。

[otn]

あ、cateyeさんじゃなくて、質問者のmendakoさんへのコメントです。

[cateye]

はやとちりしました＾＾；　もうしわけないm(_"_)m

Answer 4

ruby で書いてみました。

line_sep.rb

##  使用例：
##  $ ruby line_sep.rb src.txt 10 20
##     src.txt を 1..10 行、11..20行、21..30 公卿、31.. 最終行 のファイルに分割する。
#      ファイル名は 0000000001.txt	0000000010.txt 0000000020.txt となる。
#   出力ファイルは、確認なしに上書きされる。
#
def split_file(file_name, lines = [1], out_name_pattern)
  out_f = File.open(format(out_name_pattern, 1), 'w')
  File.open(file_name) do |file|
    file.each_line.each_with_index do |line, index|
      out_f.write(line)

      next unless lines.include?(index + 1)
      unless out_f.nil?
        out_f.close
        out_f = File.open(format(out_name_pattern, index + 1), 'w')
      end
    end
  end
  out_f.close if out_f.nil?
end

file_name = ARGV.shift  # 読み込むファイル名
lines = ARGV.map(&:to_i) # 各ファイルの終了行番号
out_name_pattern = '%010d.txt' # 不出力ファイル名のパターン
split_file(file_name, lines, out_name_pattern)

実行例：

#  10000 行のファイルを作る
$ seq -w 1 10000 > hoge.txt

# 作成したプログラムで 1000 行、2500行、3500行, ３０００行で分割
$ ruby line_sep.rb hoge.txt 1000 3500 7000

# 分割結果のファイルの行数を確
$ $ wc -l 0*.txt
    1000 0000000001.txt
    2500 0000001000.txt
    3500 0000003500.txt
    3000 0000007000.txt
   10000 total

# 各ファイルの一行目を表示
$ $ head -n 1 0*.txt
==> 0000000001.txt <==
00001
==> 0000001000.txt <==
01001
==> 0000003500.txt <==
03501
==> 0000007000.txt <==
07001

# 分割した結果をすべて連結させて、元の hoge.txt と比較
$  cat 0*.txt > cat.txt
$ diff hoge.txt cat.txt
$

Answer 5

既に回答がいろいろついてるので蛇足ですが、

分割数が多いことを鑑みると、分割時に何度も元のファイルをスキャンするより1回のスキャンで全ての分割ファイルを生成した方がいい気もするので、自分はtakasima20さん回答の「スクリプトを自動生成する」という考え方とawkを組み合わせたりします。

仮に分割位置指定ファイルが分割すべき最終行を1行ずつ並べたlines.txtに入っており、bigfile.csvの分割結果をdir/0001.csv,dir/0002.csvへ分割すると考えれば以下のような雰囲気です。

#!/bin/sh
rm dir/* 2>/dev/null && true
awk '
function genfn() {
  ord++; return sprintf("dir/%04d.csv", ord)
}
{ print "NR <= "$1" { print>>\""genfn()"\"; next }" }
END {
  print "{ print>>\""genfn()"\"; next }"
}' lines.txt > split.awk
awk -f split.awk bigfile.csv

---

こうしたテキスト処理はやはりUnix系の環境でやりたくなります。既に回答されている方々も同様の想定をしておられますね。WindowsでもBash on Ubuntu on Windowsが使えるようになってきて今は大抵の汎用PC(Linuxそのもの、Macintosh, Windows)で手軽にこういう環境が使えるのではないでしょうか。

Answer 6

Cのタグがついているので書いてみました。
コマンドラインから入力パラメーターを以下のようにして実行します。

実行モジュール名 <読み込みファイル名> <分割1開始行> <分割1終了行> <分割1出力ファイル名> ...

例

hoge.txt readfile.txt 1 1000 hoge1.txt 1001 3500 hoge2.txt 3501 7000 hoge3.txt 7001 10000 hoge4.txt

注意

• 入力パラメーターのチェックは一切行っておりません。
• １行あたりの読み込みバッファは1024バイトしか確保しておりません。
• ファイルオープン/クローズ/読み込み/書き込みのエラーチェックはしておりません。

#include <stdio.h>

int main(int argc, char**argv)
{
	FILE *fr, *fw;
	int i, st, ed;
	char *fn;
	char b[1024];
	char *ret;
	long l;

	// 読み込みファイルオープン
	fr = fopen(argv[1], "r");
	if(!fr) return -1;

	// パラメーター分ループ
	for(i = 2, l = 1; i < argc; i+=3){
		// 開始行
		st = atoi(argv[i]);
		// 終了行
		ed = atoi(argv[i + 1]);
		// 出力ファイル名
		fn = argv[i + 2];
		// ファイルオープン
		fw = fopen(fn, "w");
		if(!fw) break;
		// 読み込んで書き込むループ
		for(; l <= ed; l++){
			// 読み込み
			ret = fgets(b, sizeof(b), fr);
			if(!ret) break;
			if(l < st) continue;
			// 書き込み
			fputs(b, fw);
		}
		// 出力ファイルクローズ
		fclose(fw);
		if(!ret) break;
	}
	// 入力ファイルクローズ
	fclose(fr);
}

Answer 7

取り合えず分割するところまでC++で組んでみましたが＾＾；・・・コンパイルは通してあります。

#include <iostream>
#include <fstream>

using namespace std;

int main(int argc, char **argv)
{
	if( argc != 3 ){
        return 1;
    }
    //
    ifstream lnfile(argv[1]);
    if( !lnfile ){
        return 2;
    }
    ifstream infile(argv[2]);
     if( !infile ){
        return 3;
    }
    //
    string lineno;
    while( getline(lnfile,lineno)){
        int count= static_cast<int>(strtol(lineno.c_str(),0,10));
        string line;
        // ここでファイルを書き出し用にオープン
        for( int i= 0; i < count; i++ ){
            if(getline(infile,line))            {
                cout << line << endl; // ファイル出力にする。
            }else{
                return 4;
            }
        }
        // ここでファイルをクローズ
    }
    //
    return 0;
}

使い方は、program 分割指定ファイル 分割したいファイル
※分割指定ファイルは、一行に分割したい行数１つのみ

Answer 8

なければ作ればよいのです。
JavaなのかCなのかMySQLなのかよくわかりませんが、手軽にJavaで作ると下記な感じでしょうか。
2GBのファイルでは試してませんが、多分動くのではないかと思います。

import java.util.*;
import java.io.*;

public class Split {

   private File srcfile;
   private List<Integer> splist;

   public static void main(String args[]) throws IOException {
      File srcfile = new File(args[0]);
      File splines = new File(args[1]);

      Split sp = new Split(srcfile, splines);
      sp.split();
   }

   public Split(File srcfile, File splines) throws IOException {
      this.srcfile = srcfile;
      this.splist = new ArrayList<Integer>();

      try {
         FileReader fr = new FileReader(splines);
         BufferedReader br = new BufferedReader(fr);

         String line;
         while (null != (line = br.readLine())) {
            int num = Integer.parseInt(line);
            splist.add(num);
         }

         br.close();
      } catch (FileNotFoundException e) {
         throw e;
      } catch (IOException e) {
         throw e;
      }
   }

   public void split() throws IOException {
      int sequence = 0;
      try {
         FileInputStream fis = new FileInputStream(this.srcfile);
         InputStreamReader isr = new InputStreamReader(fis, "UTF-8");
         BufferedReader br = new BufferedReader(isr);

         for (int i : splist) {
            PrintWriter pw = new PrintWriter(Integer.toString(sequence) + ".txt", "UTF-8");
            BufferedWriter bw = new BufferedWriter(pw);

            int count = 0;
            String line;
            while (count < i && null != (line = br.readLine())) {
               bw.write(line);
               bw.newLine();
               count++;
            }
            bw.close();
            sequence++;
         }
         br.close();
      } catch (FileNotFoundException e) {
         throw e;
      } catch (IOException e) {
         throw e;
      }
   }
}

$ seq -w 1 100000 > hoge
$ for i in 1000 2000 3000 4000 5000 6000 7000 8000 9000; do echo $i >> fuga; done
$ /opt/jdk-9/bin/java Split hoge fuga
$ ls
0.txt  1.txt  2.txt  3.txt  4.txt  5.txt  6.txt  7.txt  8.txt  Split.class  Split.java  fuga  hoge
$ wc -l *.txt
  1000 0.txt
  2000 1.txt
  3000 2.txt
  4000 3.txt
  5000 4.txt
  6000 5.txt
  7000 6.txt
  8000 7.txt
  9000 8.txt
 45000 合計

---

追記：

文字コードがUTF-8のファイルの読み書きに対応してみました（未検証）。

Comments

[mendako]

ご丁寧な回答、ありがとうございました。
回答していただいた方法でやってみたところ、正しく分割できました。誠にありがとうございました。
しかし、元々のファイルの文字コードがutf-8で、分割後の文字コードがshift_jisなのですが、
文字コードutf-8の指定で分割することは可能でしょうか？
基本的な質問で申し訳ありません。また、助言いただければ幸いです。

[退会済みユーザー]

Javaだと文字コードはネックになりますね。
環境によらずUTF-8のファイルを扱うようにコードを修正してみました。
BufferedWriterは使う必要なかったかもしれませんが、直すのも手間なのでそのままにしてます。
問題あるようでしたら適宜修正ください。

[mendako]

修正していただいたプログラムを実行したところ、当方が望んでいた結果が出力されました。
この度は早々のご回答を賜り、誠にありがとうございました。
また何かありましたら、よろしくお願い致します。

[退会済みユーザー]

うまく動いたようでよかったです。
WORAへの道は遠いですね。