質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.91%

分割コミットをする方法がわかりません

解決済

回答 1

投稿

  • 評価
  • クリップ 0
  • VIEW 255

SystemAjisai

score 169

前提・実現したいこと

SpringBatchとMyBatisを使ってCSVをデータベースに登録するバッチを作成しています。
バッチはチャンクモデルで作成していて、以下のような構成になっています。

  1. ItemReader・・・アクティブテーブルを読む
  2. ItemProcessor・・・アクティブデータに登録されているパスのCSVを読む
  3. ItemWriter・・・CSVファイルの中身を登録する

1のアクティブテーブルは、他システムが登録しているもので、キー情報とCSVのファイルパスが登録されています。
ItemProcessorでそのファイルを読み込み、フォーマットを統一してListに詰めます。
ItemWriterでListを受取ってDBに登録します。

最初に調べた時に、StepBuilderFactoryにchunk(1000)など設定しておくと、1000件ずつコミットしてくれると理解しました。
が、実際に動かしてみて初めて、CSVファイルの中身の件数じゃなくて、Readerで取得されるデータの件数で制御されることに気づきました…。

どのようにしたら分割でコミットができるのでしょうか?

発生している問題・エラーメッセージ

org.springframework.dao.TransientDataAccessResourceException: 
batch.XXXMapper.insertBulk (batch index #1) failed. 
Cause: java.sql.tion: Packet for query is too large (5,636,232 > 4,194,304). You can change this value on the server by setting the 'max_allowed_packet' variable.


max_allowed_packetを変えたらいいよと言われてるのは分かるのですが、このファイルが最大という訳でもないので分割でコミットしたいと思ってます。

該当のソースコード

■Step

    @Bean
    public Step insertCsvStep(
            ItemReader<Activity> reader,
            ItemProcessor<Activity, List<XXXData>> processor,
            ItemWriter<List<XXXData>> writer) {
        return stepBuilderFactory.get("insertCsvStep")
                .<Activity, List<XXXData>> chunk(1000)
                .reader(reader)
                .processor(processor)
                .writer(writer)
                .build();
    }


■ItemReader
※単純にデータを取ってくるだけなので省略(多くて10件ぐらい)

■ItemProcessor
※ファイルによって項目数が違うのでsplitで分割しながら読んでます

    @Override
    public List<XXXData> process(Activity activity) throws Exception {
        BufferedReader br = null;
        // ItemWriterに渡すリスト
        List<XXXData> result = new ArrayList<XXXData>();
        try {
            File f = new File(activity.getPath());
            br = new BufferedReader(new FileReader(f));

            String sLine;
            while ((sLine = br.readLine()) != null) {
                csv = sLine.split(",", 0);

                XXXData data = new XXXData();
                :
                (諸々の加工処理)
                :
                result.add(data);
            }
        } catch (Exception e) {
            // 省略
        } finally {
            if(br != null) br.close();
        }
        return result;
    }


■ItemWriter

    @Bean
    public MyBatisBatchItemWriter<List<XXXData>> insertXXXData() {
        return new MyBatisBatchItemWriterBuilder<List<XXXData>>()
                    .sqlSessionFactory(sqlSessionFactory)
                    .statementId("batch.infra.mapper.XXXDataMapper.insertBulk")
                    .build();
    }

■Mapper(xml)

  <insert id="insertBulk" parameterType="java.util.List">
    INSERT INTO xxx_data (
      system_id,
      :
    ) 
    VALUES 
      <foreach item="record" collection="list" separator=",">
        (
          #{record.system_id,jdbcType=VARCHAR},
          :
        )
      </foreach>  
  </insert>

試したこと

application.ymlで下記のように設定を追加してみましたが、同じでした。

mybatis:
  executor-type: BATCH
  configuration:
    default-executor-type: BATCH

補足情報(FW/ツールのバージョンなど)

SpringBoot2.3.1(プロジェクト作成時にSpringBatchを選択)
Java 13

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

check解決した方法

0

Taskletで書いてDefaultTransactionDefinitionを使ったら自由にコミットできました。
最初に参考したサイトに「ItemReaderもWriterもいらない処理はTaskletで書けます」と書いてあるのを見て、DBアクセスが無い処理=Taskletのことだと曲解してしまっていました。

        int insertCounter = 0;

        BufferedReader br = null;
        File f = new File(path);
        String sLine = "";

        DefaultTransactionDefinition txDefinition = new DefaultTransactionDefinition();
        txDefinition.setPropagationBehavior(TransactionDefinition.PROPAGATION_REQUIRED);
        TransactionStatus txStatus =  null;
        try {
            String[] csv = null;
            br = new BufferedReader(new FileReader(f));
            while ((sLine = br.readLine()) != null) {
                csv = sLine.split(",", 0);
                // トランザクションの開始
                if (insertCounter % 1000 == 0) {
                    txStatus = txManager.getTransaction(txDefinition);
                }
                XXXData data = new XXXData();
                :
                (諸々の加工処理)
                :
                XXXDataMapper.insert(data);
                insertCounter++;

                // コミットサイズになったらコミット
                if(insertCounter % 1000 == 0) {
                    txManager.commit(txStatus);
                }
            }
        } catch(Exception e) {
            log.error("Exception:::" + sLine);
            if(txManager != null) {
                txManager.rollback(txStatus);
            }
            throw e;
        } finally {
            if(br != null) {
                br.close();
            }
            if (txStatus != null && !txStatus.isCompleted()) {
                // 最後のチャンクについて、トランザクションをコミットする
                txManager.commit(txStatus);
            }
        }

投稿

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.91%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る