Embulk

Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

RSS

  • 受付中

    回答
    2

    embulkを使って大量データをBigQueryへバルクインサート時に一部データがスキップされる

    • Java

      15055questions

      Javaは、1995年にサン・マイクロシステムズが開発したプログラミング言語です。表記法はC言語に似ていますが、既存のプログラミング言語の短所を踏まえていちから設計されており、最初からオブジェクト指向性を備えてデザインされています。セキュリティ面が強力であることや、ネットワーク環境での利用に向いていることが特徴です。Javaで作られたソフトウェアは基本的にいかなるプラットフォームでも作動します。

    • Embulk

      23questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      78questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • Google Cloud Platform

      205questions

      Google Cloud Platformは、Google社がクラウド上で提供しているサービス郡の総称です。エンドユーザー向けサービスと同様のインフラストラクチャーで運営されており、Webサイト開発から複雑なアプリ開発まで対応可能です。

    • Oracle Database

      115questions

      Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

    • -1評価
    • 0クリップ
    • 35PV
    hiroysato hiroysato 1日前に 回答

  • 解決済

    回答
    1

    BigQueryのテーブル動作について

    • Google

      721questions

      Googleは、アメリカ合衆国に位置する、インターネット関連のサービスや製品を提供している企業です。検索エンジンからアプリケーションの提供まで、多岐にわたるサービスを提供しています。

    • Embulk

      23questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      78questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • Google Cloud Platform

      205questions

      Google Cloud Platformは、Google社がクラウド上で提供しているサービス郡の総称です。エンドユーザー向けサービスと同様のインフラストラクチャーで運営されており、Webサイト開発から複雑なアプリ開発まで対応可能です。

    • Oracle Database

      115questions

      Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

    • 0評価
    • 0クリップ
    • 17PV
    raccoondog raccoondog 2日前に コメント

  • 解決済

    回答
    1

    embulk-output-bigqueryプラグインを使用したデータ連携時の暗号化有無

    • JSON

      1334questions

      JSON(JavaScript Object Notation）は軽量なデータ記述言語の1つである。構文はJavaScriptをベースとしていますが、JavaScriptに限定されたものではなく、様々なソフトウェアやプログラミング言語間におけるデータの受け渡しが行えるように設計されています。

    • Embulk

      23questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      78questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • 0評価
    • 0クリップ
    • 42PV
    raccoondog raccoondog 2日前に ベストアンサー

  • 解決済

    回答
    4

    embulkの増分バルクインサート処理の仕組みについて

    • Java

      15055questions

      Javaは、1995年にサン・マイクロシステムズが開発したプログラミング言語です。表記法はC言語に似ていますが、既存のプログラミング言語の短所を踏まえていちから設計されており、最初からオブジェクト指向性を備えてデザインされています。セキュリティ面が強力であることや、ネットワーク環境での利用に向いていることが特徴です。Javaで作られたソフトウェアは基本的にいかなるプラットフォームでも作動します。

    • SQL

      2756questions

      SQL(Structured Query Language)は、リレーショナルデータベース管理システム (RDBMS)のデータベース言語です。大きく分けて、データ定義言語(DDL)、データ操作言語(DML)、データ制御言語(DCL)の3つで構成されており、プログラム上でSQL文を生成して、RDBMSに命令を出し、RDBに必要なデータを格納できます。また、格納したデータを引き出すことも可能です。

    • Embulk

      23questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      78questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • Oracle Database

      115questions

      Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

    • 0評価
    • 0クリップ
    • 71PV
    raccoondog raccoondog 3日前に コメント

  • 受付中

    回答
    3

    embulk-input-bigqueryによるデータ連携

    • Embulk

      23questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      78questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • Google Cloud Platform

      205questions

      Google Cloud Platformは、Google社がクラウド上で提供しているサービス郡の総称です。エンドユーザー向けサービスと同様のインフラストラクチャーで運営されており、Webサイト開発から複雑なアプリ開発まで対応可能です。

    • Oracle Database

      115questions

      Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

    • 0評価
    • 0クリップ
    • 69PV
    hiroysato hiroysato 3日前に 回答

  • 解決済

    回答
    3

    ２つのテーブルから特定条件の基、対象レコードを抽出することは可能か

    • PL/SQL

      77questions

      PL/SQL (Procedural Language/Structured Query Language) はOracle CorporationによるSQL(非手続き型言語)を手続き型言語に拡張させるために開発されたプログラミング言語です。

    • Embulk

      23questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      78questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • Oracle Database

      115questions

      Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

    • 0評価
    • 0クリップ
    • 127PV
    raccoondog raccoondog 2ヶ月前に ベストアンサー

  • 解決済

    回答
    4

    use_raw_query_with_incrementalオプションについて

    • Embulk

      23questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      78questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • Oracle Database

      115questions

      Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

    • 0評価
    • 0クリップ
    • 160PV
    raccoondog raccoondog 2ヶ月前に ベストアンサー

  • 解決済

    回答
    1

    embulkの動作仕様(-Cオプション)について

    • Embulk

      23questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      78questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • Oracle Database

      115questions

      Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

    • 0評価
    • 0クリップ
    • 83PV
    hiroysato hiroysato 2ヶ月前に ベストアンサー

  • 解決済

    回答
    1

    Embulkの仕様として、並行で増分バルクインサート可能か？

    • Java

      15055questions

      Javaは、1995年にサン・マイクロシステムズが開発したプログラミング言語です。表記法はC言語に似ていますが、既存のプログラミング言語の短所を踏まえていちから設計されており、最初からオブジェクト指向性を備えてデザインされています。セキュリティ面が強力であることや、ネットワーク環境での利用に向いていることが特徴です。Javaで作られたソフトウェアは基本的にいかなるプラットフォームでも作動します。

    • Embulk

      23questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      78questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • Oracle Database

      115questions

      Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

    • 0評価
    • 0クリップ
    • 157PV
    hiroysato hiroysato 2ヶ月前に ベストアンサー

  • 解決済

    回答
    1

    リジューム機能を使ったバルクインサート失敗

    • Embulk

      23questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      78questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • Oracle Database

      115questions

      Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

    • 0評価
    • 0クリップ
    • 222PV
    raccoondog raccoondog 2ヶ月前に ベストアンサー

  • 解決済

    回答
    1

    複数ファイルデータをembulkでバルクインサート

    • Embulk

      23questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      78questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • 0評価
    • 0クリップ
    • 173PV
    hiroysato hiroysato 2ヶ月前に コメント

  • 解決済

    回答
    1

    csvファイルをOracleDBへインサート時にjavaエラー発生

    • Java

      15055questions

      Javaは、1995年にサン・マイクロシステムズが開発したプログラミング言語です。表記法はC言語に似ていますが、既存のプログラミング言語の短所を踏まえていちから設計されており、最初からオブジェクト指向性を備えてデザインされています。セキュリティ面が強力であることや、ネットワーク環境での利用に向いていることが特徴です。Javaで作られたソフトウェアは基本的にいかなるプラットフォームでも作動します。

    • SQL

      2756questions

      SQL(Structured Query Language)は、リレーショナルデータベース管理システム (RDBMS)のデータベース言語です。大きく分けて、データ定義言語(DDL)、データ操作言語(DML)、データ制御言語(DCL)の3つで構成されており、プログラム上でSQL文を生成して、RDBMSに命令を出し、RDBに必要なデータを格納できます。また、格納したデータを引き出すことも可能です。

    • Embulk

      23questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      78questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • Oracle Database

      115questions

      Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

    • 0評価
    • 0クリップ
    • 154PV
    raccoondog raccoondog 2ヶ月前に ベストアンサー

  • 解決済

    回答
    1

    OracleDB⇒BigQueryへの差分データバルクインサート時にエラー

    • Embulk

      23questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      78questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • Oracle Database

      115questions

      Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

    • 0評価
    • 0クリップ
    • 156PV
    raccoondog raccoondog 2ヶ月前に 回答

  • 解決済

    回答
    2

    bigqueryの仕様について

    • Embulk

      23questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      78questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • Oracle Database

      115questions

      Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

    • 0評価
    • 0クリップ
    • 172PV
    raccoondog raccoondog 2ヶ月前に ベストアンサー

  • 解決済

    回答
    1

    embulk for win7 において通信エラー

    • Windows 7

      394questions

      Microsoft Windows 7は過去にリリースされたMicrosoft WindowsのOSであり、Windows8の1代前です。2009年の7月にリリースされ販売されました。Windows7の前はWindowsVistaで、その更に3年前にリリースされました。

    • Embulk

      23questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • 0評価
    • 0クリップ
    • 149PV
    raccoondog raccoondog 3ヶ月前に ベストアンサー

  • 解決済

    回答
    2

    バルクインサート処理時にp12key file エラー発生

    • Embulk

      23questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      78questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • 0評価
    • 0クリップ
    • 139PV
    raccoondog raccoondog 3ヶ月前に コメント

  • 解決済

    回答
    1

    embulkでのpreview時にoracle jdbc driverエラー発生

    • Embulk

      23questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      78questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • 0評価
    • 0クリップ
    • 208PV
    raccoondog raccoondog 3ヶ月前に ベストアンサー

  • 解決済

    回答
    1

    csvファイルをOracleDBへロードしたいのですが例外エラー発生

    • Oracle

      644questions

      Oracleは、米オラクルが取り扱うリレーショナルデータベース管理システムです。メインフレームからPCまで、多様なプラットフォームに対応しています。

    • Embulk

      23questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • 0評価
    • 0クリップ
    • 296PV
    raccoondog raccoondog 3ヶ月前に ベストアンサー

  • 解決済

    回答
    1

    bigqueryにOracleDBのデータを同期したいです。

    • Embulk

      23questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      78questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • 0評価
    • 0クリップ
    • 168PV
    raccoondog raccoondog 3ヶ月前に ベストアンサー

  • 解決済

    回答
    1

    embulk or linuxコマンド or シェルでcsvに行番号と日付を追記したい

    • Linux

      4199questions

      Linuxは、Unixをベースにして開発されたオペレーティングシステムです。日本では「リナックス」と呼ばれています。 主にWebサーバやDNSサーバ、イントラネットなどのサーバ用OSとして利用されています。 上位500のスーパーコンピュータの90％以上はLinuxを使用しています。 携帯端末用のプラットフォームAndroidは、Linuxカーネル上に構築されています。

    • Embulk

      23questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • 0評価
    • 0クリップ
    • 238PV
    otn otn 6ヶ月前に コメント
1
  • 1
  • 2

次のページchevron_right

タグ情報

  • あなたの順位

    -位

  • タグ登録者数

    15人

  • 総質問数

    23件

  • 今週の質問数

    4件

関連するタグ

  • ActionScript 3

    51questions

    ActionScript 3 (AS3)はAdobe FrashとAIRプラットフォームによる、オープンソースかつオブジェクト指向のプログラミング言語です。AS3はRIA、モバイルアプリケーション、デスクトップアプリケーションなど広く使われます。

  • ChatWork

    24questions

    業務の効率化を目的としたコミュニケーションツール。 グループチャット、ビデオ・音声通話、ファイル共有、タスク管理などの機能を備えています。マルチデバイス対応で、ブラウザだけでなくタブレットやスマートフォンでも利用可能です。

  • Cacti

    8questions

    Cactiは、 Webベースのネットワーク監視及び RRDToolを使用してネットワークやサーバーの状態をグラフ化して表示する、 オープンソースソフトウェアです。

  • バッチファイル

    260questions

    バッチファイル(Batch File)は、Windowsのコマンドラインインタープリターによって複数のコマンドを実行させる事が出来るスクリプトファイルです。

  • Kibana

    21questions

    Kibanaとは、ElasticSearchをバックエンドとする、データを可視化するGUIツールです。

  • .NET Core

    5questions

  • Google

    721questions

    Googleは、アメリカ合衆国に位置する、インターネット関連のサービスや製品を提供している企業です。検索エンジンからアプリケーションの提供まで、多岐にわたるサービスを提供しています。

  • Echo(フレームワーク)

    6questions

  • DIY

    1questions

    自作コンピューター

  • F#

    7questions

    F#は、MicroSoftが開発した.NET Framework 向けのマルチパラダイムプログラミング言語です。 Visual Studio 2010 より標準搭載されました。

Embulkタグのよく見られている質問

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る