質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

91.37%

  • AWS(Amazon Web Services)

    1300questions

    Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。

AWS Batch を使った定時ジョブ実行

受付中

回答 1

投稿 2017/11/30 12:44 ・編集 2017/12/04 11:09

  • 評価
  • クリップ 1
  • VIEW 49

th0167

score 0

AWS Batch を利用して、mysqldump の出力と S3 への配置を月次で実施したいと考えています。

コマンドを並べたシェルを作って cron に登録すれば良いのですが、このような事を AWS Batch で実現できないかとエンドより要望を受けて色々と調べているところです。

 AWS Batch とは何か 
https://qiita.com/pottava/items/d9886b2e8835c5c0d30f

↑ このページでは「サポートしていないこと」の項目に「cron のように事前指定した時間での起動など、定期タスク管理」と記載があり、本当に実現できるのか? …の疑問がどうしても払拭しきれない為、こちらに質問させてもらいました。

知りたい事

AWS Batch を使った、定期ジョブ実行処理は可能なのでしょうか?

AWS Batch 単体ではできないようですが、ECS(のECR)、CloudWatch ルールと連携させる事によって実現できないか調査しています。

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

+1

参考にされたサイトにざっと目を通しただけですが、「バッチ」という言葉で誤解されているだけで、全く用途が異なっていると思います。

①AWS Batch を使った、定期ジョブ実行処理は可能なのでしょうか?

不可能(というよりツールの目的から不要なので設定項目にない)だと思います。

エンドより要望を受けて色々と調べているところです

「AWS Batch のバッチは定時バッチのことではなく、バックグラウンドで大量に処理する昔の汎用機でいうところのバッチジョブのことでした。ですので、月次バッチの実行には使えません」とご報告されればよいかと思います。

参考:バッチ処理

ここのバッチ処理の利点に書いてある以下のようなことを実現できるのが AWS Batch だと思います。

  • 多くのユーザーがコンピュータのリソースを共有できる。
  • 処理をコンピュータのリソースがあまり忙しくない時間帯(多くは夜間、休日)にシフトできる。
  • 人間がついていなくてもコンピュータのリソースが暇にならないように最大限有効活用できる。
  • 高価なコンピュータをフルに活用することで費用対効果の効率向上に寄与する。

最近はコンピュータが安くなったので、バッチ処理の機会が減ってきてたのですが、AIの流行でバッチ処理がまた行われるようになってきたのではないかと。

AWS Batch を利用して、mysqldump の出力と S3 への配置を月次で実施したいと考えています。

このようなことをされたいのであれば、 lambda を利用されてはどうでしょうか?
参考:AWS LambdaでRDS(MySQL)のmysqldumpを取るようにしました

投稿 2017/12/01 18:02

編集 2017/12/04 13:00

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2017/12/04 11:05

    ありがとうございます。(返信遅くなり申し訳ありません)
    AWS Batch 単体では、仰る通り定期ジョブの処理はできないようですね。
    その旨をエンドに説明しましたが、エンド側では「ECS (と Cloudwatch イベントルール)と連携すれば実現できるのではないか」という考えがあり、それが本当に可能なのか調査を続ける事になっています。

    質問をやり直した方が良いかなと検討しつつ、回答を引き続き待ってみたいと思います。

    キャンセル

  • 2017/12/04 13:17 編集

    重ねてありがとうございます。

    >このようなことをされたいのであれば、 lambda を利用されてはどうでしょうか?
    >参考:AWS LambdaでRDS(MySQL)のmysqldumpを取るようにしました
    mit0223様の仰る通り、質問の内容を実現するには Lambda の方が適しているのですが、実は正にこの方法で既に mysqldump を取得しているのです。
    ↑ を参考に mysqldump 取得を月次で動かしていたのですが、DB の総データ量が増えてしまったせいか、処理に失敗するようになってしまったのです。最近 Lambda の設定可能メモリが 3GB に増えた為に処理は成功するようになりましたが、DB のデータ量は更に増える見込みの為、おそらく処理失敗は再発するであろう見解です。
    …と言った経緯があり、AWS Batch や ECS 等の連携を使ったしくみで musqldump を取得できないかと調査しています。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

ただいまの回答率

91.37%

関連した質問

  • 解決済

    AWSでのWordpress構築に関して

    前提・実現したいこと 用語があまりわからない全くの素人です。AWSの手順に従いBitnamiでWordpressを構築しました。 テーマの編集をしたいのですが、FTPというもの

  • 解決済

    AWSの学習には何がおすすめでしょうか?

    仕事でAWSを使用する機会が増えてきました。 ですが、私自身はAWSの詳細な機能や仕様をほとんど把握しておりません。 AWSを一から学びたいと思い、学習方法を検討中です。 そ

  • 解決済

    EIPの仕組みについて

    前提・実現したいこと EIP のように一定の範囲でIPを発行出来るような仕組みを実装したいのですが、皆目検討がつきません。 何か取っ掛かりとなるキーワードだけでも良いのでご教示

  • 解決済

    AWS S3に膨大なデータをアップロードするには?

    ローカルにある数百GBものデータをS3にアップロードしたいと考えています。 ブラウザからアップロードしようとしているのですが、途中で失敗したり時間がかかったりしています。

  • 解決済

    Amazon Glacierからアーカイブされたファイルをダウンロード出来ない

    前提・実現したいこと あやまって消してしまったファイルをAmazon Glacierにあるアーカイブから復旧させて欲しいという依頼です。 AWS CLIなどをインストールし

  • 解決済

    AWSの理解について

    AWSに詳しい方はどのような勉強、行動をしましたか?私は説明などを読んでもさっぱりわからないです... またオススメの本などありましたら教えてください

  • 解決済

    AWS batchのジョブがコンテナとして動作する意味が分からない。

    AWSbatch説明 こちらのページに バッチのJobは 「実際に流すバッチ処理の中身になります。書き方は単純なシェルスクリプトの他にもLinuxで実行可能なファイルで書けます。ま

  • 解決済

    EC2でSSHの接続が切れると設定がリセットされる

    SSHの接続が切れても環境変数などの状態を保ちたいです AWSのEC2でamazon linaxを使用しています 環境 rbenv nginx rails 現象 rai

同じタグがついた質問を見る

  • AWS(Amazon Web Services)

    1300questions

    Amazon Web Services (AWS)は、仮想空間を機軸とした、クラスター状のコンピュータ・ネットワーク・データベース・ストーレッジ・サポートツールをAWSというインフラから提供する商用サービスです。