Embulk

Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

RSS

  • 解決済

    回答
    1

    embulkを利用し単一のファイルを取り込み出力する際に複数にファイルに分割されてしまう

    • Embulk

      40 questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • 0評価
    • 0クリップ
    • 40PV
    muratomi muratomi 3日前 に ベストアンサー

  • 解決済

    回答
    2

    embulk実行時にエラー「org.embulk.config.ConfigException: Couldn't delete local file」が出力される

    • Embulk

      40 questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • 0評価
    • 0クリップ
    • 86PV
    muratomi muratomi 3日前 に ベストアンサー

  • 解決済

    回答
    1

    embulkの差分実行ができない

    • Embulk

      40 questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • 0評価
    • 0クリップ
    • 41PV
    muratomi muratomi 1週間前 に ベストアンサー

  • 解決済

    回答
    1

    git pullでデプロイする際のcron embulkの扱いについて

    • cron

      224 questions

      cronは、Unix系OS上でデーモンプロセスとして動作する、スクリプトの自動実行が可能なジョブスケジューラです。

    • Git

      1727 questions

      Gitはオープンソースの分散バージョン管理システム(DVCS)です。

    • Embulk

      40 questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • 0評価
    • 1クリップ
    • 112PV
    DeepRoastBeans DeepRoastBeans 2週間前 に ベストアンサー

  • 解決済

    回答
    2

    embulkにおける、""(ダブルクォーテーション)つきのCSVファイルの取込みについて

    • Java

      16475 questions

      Javaは、1995年にサン・マイクロシステムズが開発したプログラミング言語です。表記法はC言語に似ていますが、既存のプログラミング言語の短所を踏まえていちから設計されており、最初からオブジェクト指向性を備えてデザインされています。セキュリティ面が強力であることや、ネットワーク環境での利用に向いていることが特徴です。Javaで作られたソフトウェアは基本的にいかなるプラットフォームでも作動します。

    • Ruby

      9912 questions

      Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

    • Oracle

      714 questions

      Oracleは、米オラクルが取り扱うリレーショナルデータベース管理システムです。メインフレームからPCまで、多様なプラットフォームに対応しています。

    • Embulk

      40 questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • 0評価
    • 0クリップ
    • 133PV
    raccoondog raccoondog 3ヶ月前 に 回答

  • 解決済

    回答
    1

    embulk定義について、csvファイルのデータをcolumnsオプションなしで定義可能か

    • Java

      16475 questions

      Javaは、1995年にサン・マイクロシステムズが開発したプログラミング言語です。表記法はC言語に似ていますが、既存のプログラミング言語の短所を踏まえていちから設計されており、最初からオブジェクト指向性を備えてデザインされています。セキュリティ面が強力であることや、ネットワーク環境での利用に向いていることが特徴です。Javaで作られたソフトウェアは基本的にいかなるプラットフォームでも作動します。

    • Oracle

      714 questions

      Oracleは、米オラクルが取り扱うリレーショナルデータベース管理システムです。メインフレームからPCまで、多様なプラットフォームに対応しています。

    • Embulk

      40 questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      111 questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • Google Cloud Platform

      257 questions

      Google Cloud Platformは、Google社がクラウド上で提供しているサービス郡の総称です。エンドユーザー向けサービスと同様のインフラストラクチャーで運営されており、Webサイト開発から複雑なアプリ開発まで対応可能です。

    • 0評価
    • 0クリップ
    • 144PV
    hiroysato hiroysato 3ヶ月前 に ベストアンサー

  • 受付中

    回答
    1

    bigqueryテーブルのデータ型変換につきまして

    • Oracle

      714 questions

      Oracleは、米オラクルが取り扱うリレーショナルデータベース管理システムです。メインフレームからPCまで、多様なプラットフォームに対応しています。

    • Embulk

      40 questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      111 questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • 0評価
    • 0クリップ
    • 255PV
    raccoondog raccoondog 3ヶ月前 に コメント

  • 解決済

    回答
    1

    embulkバルクインサート時に、google apis client error

    • Java

      16475 questions

      Javaは、1995年にサン・マイクロシステムズが開発したプログラミング言語です。表記法はC言語に似ていますが、既存のプログラミング言語の短所を踏まえていちから設計されており、最初からオブジェクト指向性を備えてデザインされています。セキュリティ面が強力であることや、ネットワーク環境での利用に向いていることが特徴です。Javaで作られたソフトウェアは基本的にいかなるプラットフォームでも作動します。

    • Ruby

      9912 questions

      Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

    • Oracle

      714 questions

      Oracleは、米オラクルが取り扱うリレーショナルデータベース管理システムです。メインフレームからPCまで、多様なプラットフォームに対応しています。

    • Embulk

      40 questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      111 questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • 0評価
    • 0クリップ
    • 175PV
    raccoondog raccoondog 3ヶ月前 に コメント

  • 解決済

    回答
    3

    embulkのqueryオプションにつきまして

    • Java

      16475 questions

      Javaは、1995年にサン・マイクロシステムズが開発したプログラミング言語です。表記法はC言語に似ていますが、既存のプログラミング言語の短所を踏まえていちから設計されており、最初からオブジェクト指向性を備えてデザインされています。セキュリティ面が強力であることや、ネットワーク環境での利用に向いていることが特徴です。Javaで作られたソフトウェアは基本的にいかなるプラットフォームでも作動します。

    • Oracle

      714 questions

      Oracleは、米オラクルが取り扱うリレーショナルデータベース管理システムです。メインフレームからPCまで、多様なプラットフォームに対応しています。

    • Embulk

      40 questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      111 questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • Oracle Database

      152 questions

      Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

    • 0評価
    • 0クリップ
    • 188PV
    Orlofsky Orlofsky 3ヶ月前 に コメント

  • 解決済

    回答
    2

    embulk実行時のJavaヒープサイズ

    • Java

      16475 questions

      Javaは、1995年にサン・マイクロシステムズが開発したプログラミング言語です。表記法はC言語に似ていますが、既存のプログラミング言語の短所を踏まえていちから設計されており、最初からオブジェクト指向性を備えてデザインされています。セキュリティ面が強力であることや、ネットワーク環境での利用に向いていることが特徴です。Javaで作られたソフトウェアは基本的にいかなるプラットフォームでも作動します。

    • Solaris

      18 questions

      Solarisは、SunSoft社が開発・販売を行っているUnix系のOSです。Sun Microsystems社製コンピュータで動作し、またPC/AT互換機で動作するバージョンもあります。旧名称は「SunOS」ですが、現在はSolarisのカーネル部分をSunOSと呼んでいます。

    • Embulk

      40 questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • Oracle Database

      152 questions

      Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

    • 0評価
    • 0クリップ
    • 231PV
    raccoondog raccoondog 3ヶ月前 に ベストアンサー

  • 解決済

    回答
    1

    embulk実行時のjavaプロセスについて

    • Java

      16475 questions

      Javaは、1995年にサン・マイクロシステムズが開発したプログラミング言語です。表記法はC言語に似ていますが、既存のプログラミング言語の短所を踏まえていちから設計されており、最初からオブジェクト指向性を備えてデザインされています。セキュリティ面が強力であることや、ネットワーク環境での利用に向いていることが特徴です。Javaで作られたソフトウェアは基本的にいかなるプラットフォームでも作動します。

    • Solaris

      18 questions

      Solarisは、SunSoft社が開発・販売を行っているUnix系のOSです。Sun Microsystems社製コンピュータで動作し、またPC/AT互換機で動作するバージョンもあります。旧名称は「SunOS」ですが、現在はSolarisのカーネル部分をSunOSと呼んでいます。

    • Embulk

      40 questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • 0評価
    • 0クリップ
    • 263PV
    raccoondog raccoondog 4ヶ月前 に コメント

  • 解決済

    回答
    2

    bigqueryのテーブルについて

    • SQL

      3152 questions

      SQL(Structured Query Language)は、リレーショナルデータベース管理システム (RDBMS)のデータベース言語です。大きく分けて、データ定義言語(DDL)、データ操作言語(DML)、データ制御言語(DCL)の3つで構成されており、プログラム上でSQL文を生成して、RDBMSに命令を出し、RDBに必要なデータを格納できます。また、格納したデータを引き出すことも可能です。

    • Embulk

      40 questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      111 questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • Oracle Database

      152 questions

      Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

    • 0評価
    • 0クリップ
    • 292PV
    raccoondog raccoondog 4ヶ月前 に ベストアンサー

  • 解決済

    回答
    1

    EmbulkでRubyのプラグインを作っているけどgemがLoadErrorになる

    • Ruby

      9912 questions

      Rubyはプログラミング言語のひとつで、オープンソース、オブジェクト指向のプログラミング開発に対応しています。

    • Embulk

      40 questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • 0評価
    • 1クリップ
    • 252PV
    yumiyumi220 yumiyumi220 4ヶ月前 に コメント

  • 解決済

    回答
    1

    OracleからBigQueryへデータをインサートする際の原理について

    • Java

      16475 questions

      Javaは、1995年にサン・マイクロシステムズが開発したプログラミング言語です。表記法はC言語に似ていますが、既存のプログラミング言語の短所を踏まえていちから設計されており、最初からオブジェクト指向性を備えてデザインされています。セキュリティ面が強力であることや、ネットワーク環境での利用に向いていることが特徴です。Javaで作られたソフトウェアは基本的にいかなるプラットフォームでも作動します。

    • Embulk

      40 questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      111 questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • Oracle Database

      152 questions

      Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

    • 0評価
    • 0クリップ
    • 167PV
    raccoondog raccoondog 4ヶ月前 に ベストアンサー

  • 解決済

    回答
    4

    cronでスケジュールしたシェルスクリプトが実行されない

    • bash

      840 questions

      bash(Bourne-again-Shell)は sh(Bourne Shell)のインプリメンテーションに様々な機能が追加されたシェルです。LinuxやMac OS XではBashはデフォルトで導入されています。

    • cron

      224 questions

      cronは、Unix系OS上でデーモンプロセスとして動作する、スクリプトの自動実行が可能なジョブスケジューラです。

    • Solaris

      18 questions

      Solarisは、SunSoft社が開発・販売を行っているUnix系のOSです。Sun Microsystems社製コンピュータで動作し、またPC/AT互換機で動作するバージョンもあります。旧名称は「SunOS」ですが、現在はSolarisのカーネル部分をSunOSと呼んでいます。

    • Embulk

      40 questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • 0評価
    • 0クリップ
    • 279PV
    fu7mu4 fu7mu4 4ヶ月前 に ベストアンサー

  • 解決済

    回答
    6

    embulkのincremental_columns定義とOracleの定義不一致によるエラー

    • Java

      16475 questions

      Javaは、1995年にサン・マイクロシステムズが開発したプログラミング言語です。表記法はC言語に似ていますが、既存のプログラミング言語の短所を踏まえていちから設計されており、最初からオブジェクト指向性を備えてデザインされています。セキュリティ面が強力であることや、ネットワーク環境での利用に向いていることが特徴です。Javaで作られたソフトウェアは基本的にいかなるプラットフォームでも作動します。

    • Windows 7

      420 questions

      Microsoft Windows 7は過去にリリースされたMicrosoft WindowsのOSであり、Windows8の1代前です。2009年の7月にリリースされ販売されました。Windows7の前はWindowsVistaで、その更に3年前にリリースされました。

    • Embulk

      40 questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      111 questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • Oracle Database

      152 questions

      Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

    • 0評価
    • 0クリップ
    • 402PV
    hiroysato hiroysato 4ヶ月前 に 回答を編集

  • 解決済

    回答
    7

    embulk-filter-timestamp_formatを使ったデータ連携について

    • Java

      16475 questions

      Javaは、1995年にサン・マイクロシステムズが開発したプログラミング言語です。表記法はC言語に似ていますが、既存のプログラミング言語の短所を踏まえていちから設計されており、最初からオブジェクト指向性を備えてデザインされています。セキュリティ面が強力であることや、ネットワーク環境での利用に向いていることが特徴です。Javaで作られたソフトウェアは基本的にいかなるプラットフォームでも作動します。

    • Embulk

      40 questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      111 questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • Oracle Database

      152 questions

      Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

    • 0評価
    • 0クリップ
    • 501PV
    hiroysato hiroysato 5ヶ月前 に ベストアンサー

  • 解決済

    回答
    4

    embulkを使って大量データをBigQueryへバルクインサート時に一部データがスキップされる

    • Java

      16475 questions

      Javaは、1995年にサン・マイクロシステムズが開発したプログラミング言語です。表記法はC言語に似ていますが、既存のプログラミング言語の短所を踏まえていちから設計されており、最初からオブジェクト指向性を備えてデザインされています。セキュリティ面が強力であることや、ネットワーク環境での利用に向いていることが特徴です。Javaで作られたソフトウェアは基本的にいかなるプラットフォームでも作動します。

    • Embulk

      40 questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      111 questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • Google Cloud Platform

      257 questions

      Google Cloud Platformは、Google社がクラウド上で提供しているサービス郡の総称です。エンドユーザー向けサービスと同様のインフラストラクチャーで運営されており、Webサイト開発から複雑なアプリ開発まで対応可能です。

    • Oracle Database

      152 questions

      Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

    • -1評価
    • 0クリップ
    • 270PV
    hiroysato hiroysato 5ヶ月前 に ベストアンサー

  • 解決済

    回答
    1

    BigQueryのテーブル動作について

    • Google

      892 questions

      Googleは、アメリカ合衆国に位置する、インターネット関連のサービスや製品を提供している企業です。検索エンジンからアプリケーションの提供まで、多岐にわたるサービスを提供しています。

    • Embulk

      40 questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      111 questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • Google Cloud Platform

      257 questions

      Google Cloud Platformは、Google社がクラウド上で提供しているサービス郡の総称です。エンドユーザー向けサービスと同様のインフラストラクチャーで運営されており、Webサイト開発から複雑なアプリ開発まで対応可能です。

    • Oracle Database

      152 questions

      Oracle Databaseは、米オラクルが開発・販売を行うリレーショナルデータベース管理システムです。

    • 0評価
    • 0クリップ
    • 180PV
    raccoondog raccoondog 5ヶ月前 に コメント

  • 解決済

    回答
    1

    embulk-output-bigqueryプラグインを使用したデータ連携時の暗号化有無

    • JSON

      1528 questions

      JSON(JavaScript Object Notation）は軽量なデータ記述言語の1つである。構文はJavaScriptをベースとしていますが、JavaScriptに限定されたものではなく、様々なソフトウェアやプログラミング言語間におけるデータの受け渡しが行えるように設計されています。

    • Embulk

      40 questions

      Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

    • BigQuery

      111 questions

      BigQueryは、Google Cloud Platformが提供しているビッグデータ解析サービス。数TB（テラバイト）またはPB（ペタバイト）の膨大なデータに対し、SQL風のクエリを実行し、高速で集計・分析を行うサービスです。

    • 0評価
    • 0クリップ
    • 195PV
    raccoondog raccoondog 5ヶ月前 に ベストアンサー
1
  • 1
  • 2

次のページchevron_right

terascout - エンジニア向けのスカウト型転職アプリ

タグ情報

  • あなたの順位

    -位

  • タグ登録者数

    16人

  • 総質問数

    40件

  • 今週の質問数

    1件

関連するタグ

  • selenium

    766 questions

    Selenium(セレニウム)は、ブラウザをプログラムで作動させるフレームワークです。この原理を使うことにより、ブラウザのユーザーテストなどを自動化にすることができます。

  • CORS

    42 questions

    CORSとはCross-Origin Resource Sharingの頭文字をとったもので、ブラウザがオリジン以外のサーバからデータを取得するシステムのことです。

  • ICC

    1 questions

    Intel C++ Compiler （インテル シープラスプラス コンパイラ。略称ICC）は インテルが開発・販売しているC++コンパイラです。

  • 情報処理技術者

    16 questions

    情報処理技術者とは、経済産業省が「情報処理の促進に関する法律」に基いて行っている国家試験、及びその資格保有者のことを指します。情報技術の原理・基礎に関する知識や技術があるという評価を受けることができます。

  • Instagram API

    48 questions

  • Erlang

    8 questions

    Erlangとは、多目的でありガーベッジコレクションを行うプログラミング言語および実行環境です。Erlangは並行処理・分散化された環境・フォルトトレランスを実装しています。

  • Google+

    4 questions

    Google+とは、Googleが提供するソーシャル・ネットワーキング・サービスです。情報を共有するユーザーの範囲を設定する「サークル」、Webカメラで複数名の相手と無料でビデオチャットできる「ハングアウト」などの機能があります。

  • Windowsサービス

    12 questions

    Windowsサービスは、Windows NTベースの管理システム上のService Control Managerによって走るバックグラウンドサービス処理で、daemonやUNIXサービスに類似しています。

  • GHC

    6 questions

    Glasgow Haskell Compiler(GHC) は Haskell コンパイラです 異なる複数のアーキテクチャのネイティブコードや、C言語へコンパイルする事ができます。

  • データベーススペシャリスト

    10 questions

    データベーススペシャリスト試験 (DB)は、IPA 独立行政法人 情報処理推進機構の実施している国家資格です。

Embulkタグのよく見られている質問

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る