回答率

87.77%

tag:

PHP, JavaScript, Java, Python, etc.
is:

accepted, not-accepted, answered, not-answered
sort:

created-asc, created-desc, updated-asc, updated-desc, smart
author:

username, me

JavaScriptを有効にしてください

Embulk

Embulkは、CSVデータやアクセスログなどの構造化データを高い信頼性で転送することができる、プラグインベースのバルクデータローダーです。

新着
アクティブ
未回答
未解決
注目
解決済

解決済

回答

1
embulkのafter_loadでupdateとinsertを実行したい

embulkのafter_loadでupdate文を実行後、insert文を実行したいのですが、下記コードだとsyntaxエラーになります。方法をご存知であれば、教えて頂きたいです。コード {% include 'input' %} table: tableA {% include 'output' %} table: tableA after_load: update X
- Embulk
- 0評価
- 0クリップ
- 81PV
koichi88 1ヶ月前に回答
解決済

回答

1
Embulkでバイナリのデータがコピーできない

前提・実現したいこと embulkでRDStoRDSでコピーをしたいのですが、バイナリデータがサポートされていていないようで、エラーになります。エラーメッセージの通り、columnA: {value_type: string}を追加しても解消されませんでした。何か回避方法をご存知であれば、教えて頂けると助かります。。発生している問題・エラーメッセージ Caused by: java.
- Embulk
- 0評価
- 0クリップ
- 253PV
koichi88 1ヶ月前にコメント
解決済

回答

2
embulk+digdagを使ってGCSからBigQueryへデータ取り込みを行いたい

概要 embulk+digdagを使ってGCSからBigQueryへデータ取り込みを行いたいのですが，実行時にgcs bucketにアクセスできないというエラーが発生します．このエラーの解決方法が権限周りということは分かりますが，セットアップした環境は問題ないように思います．何が問題でしょうか．詳細コマンド： embulk run XXXX.yaml XXXX.yam
- 0評価
- 0クリップ
- 890PV
karl 1年前に回答
解決済

回答

1
embulk 環境変数使用でエラー

前提・実現したいこと embulk の embulk-input-google_analytics で GAのデータを取り込みたい実行コマンド: ./.sh json_key_content にサービスアカウントの JSON をそのまま記載すると意図した通りに動きますが、環境変数を指定すると Error: org.jruby.proxy.org.embulk.config.ConfigExc
- 0評価
- 0クリップ
- 437PV
be_yaann 1年前にコメント
解決済

回答

3
embulkでGoogle AnalyticsのデータをBigqueryでlocationエラー

前提・実現したいこと embulk でGoogle Analytics データを Bigquieryに転送しようとしています。下記URLを参考に実装してみました。 https://qiita.com/godgarden/items/6309f842aeb0eb29a168 データの転送自体は出来ているようなのですが、エラーメッセージが表示されます。データ転送の確認はBigqueryで直接確
- Ruby
- Google Analytics
- Google
- Embulk
- BigQuery
- 0評価
- 0クリップ
- 1072PV
hiroysato 1年前にコメント
解決済

回答

1
embulk-output-bigqueryでundefined method `timeout_sec=' のエラーを解決したい

embulk-output-bigqueryでBigQueryにデータを取り込もうとしているときに、エラーが発生しました。 org.embulk.exec.PartialExecutionException: org.jruby.exceptions.RaiseException: (NoMethodError) undefined method `timeout_sec=' for #<Go
- Windows 10
- Embulk
- 0評価
- 0クリップ
- 744PV
imstudying 1年前にコメント
受付中

回答

1
embulkがsalesforceのテーブルを読み込んでくれない

前提・実現したいこと embulk-input-salesforce_bulkでsalesforceのデータを一括取得したいと考えています。そこでsalesforceのテーブルを叩くクエリを書いているのですが、うまく実行されません。発生している問題・エラーメッセージ embulk-input-salesforce_bulkのconfig.ymlでは以下のように設定しました。querySele
- Embulk
- Salesforce
- 0評価
- 0クリップ
- 1370PV
hiroysato 1年前にコメント
受付中

回答

1
embulk-output-google_spreadsheetsで「空白の行には書き込みができません。代わりに削除を使用します。」というエラーを解決したい

前提・実現したいこと embulk-output-google_spreadsheetsで「空白の行には書き込みができません。代わりに削除を使用します。」というエラーを解決したい現状 embulkでsalesforceからデータを取得し、スプレッドシートに結果を出力しようとしています。そこで、このようなymlファイルをembulkで実行しました。 in: type: sale
- 0評価
- 0クリップ
- 1005PV
hiroysato 1年前に回答を編集
解決済

回答

1
embulk-input-salesforce_bulkでLoginfaultとなってしまう

前提・実現したいこと embulk-input-salesforce_bulkとsalesforce_bulkでsalesforceにログインし、データを一括取得したいと考えています。そこで、 https://blog.adachin.me/archives/9802 こちらに沿って作業していたところ、SFにログインするところでエラーが発生しました。どこが原因なのか教えていただけますと幸いで
- Embulk
- Salesforce
- -1評価
- 0クリップ
- 1157PV
MMH 1年前にコメント
解決済

回答

1
embulkを利用し単一のファイルを取り込み出力する際に複数にファイルに分割されてしまう

前提・実現したいこと embulkを利用しFTPでファイルを取得し、取得したファイルをFTPで出力したいと考えております。 1つのファイルを取得し出力する際、2つのファイルに分割されてしまいます。 1つのファイルに出力したいのですが、設定方法等お気づきの点があればお教えいただけますと幸いです。ファイル取得には「embulk-input-ftp」、ファイル出力には「embulk-output-
- Embulk
- 0評価
- 0クリップ
- 2799PV
muratomi 2年前にベストアンサー
解決済

回答

2
embulk実行時にエラー「org.embulk.config.ConfigException: Couldn't delete local file」が出力される

前提・実現したいこと embulkを利用しFTPでファイルを取得し、取得したファイルをFTPで出力したいと考えております。ログの内容からファイル出力完了後のtmpファイル削除処理に失敗していると考えているのですが、改善の方法がわからず、お気づきの点があれば教えていただけ教えていただけますと幸いです。ファイル取得には「embulk-input-ftp」、ファイル出力には「embulk-out
- Embulk
- 0評価
- 0クリップ
- 1709PV
muratomi 2年前にベストアンサー
解決済

回答

1
embulkの差分実行ができない

前提・実現したいこと embulkを利用しftpでファイルを取得したいと考えております。 ftpで取得するファイルは前回からの差分のみにしたく、-c オプションを利用して実行しているのですが指定した差分管理ファイルに差分情報の書き込みができておらず、差分取り込みに失敗してしまう状態です。 embulk実行コマンドは以下になります。 embulk run -c embulk.diff.yam
- Embulk
- 0評価
- 0クリップ
- 1300PV
muratomi 2年前にベストアンサー
解決済

回答

1
git pullでデプロイする際のcron embulkの扱いについて

cronで数分おきにembulkを起動しているアプリケーションを運用しています。改修がありgit pullでデプロイする際に、cronおよびembulkは止めないといけないのでしょうか？それとも、embulkの処理中にgit pullしても、影響はないのでしょうか？
- cron
- Git
- Embulk
- 0評価
- 1クリップ
- 847PV
DeepRoastBeans 2年前にベストアンサー
解決済

回答

2
embulkにおける、""(ダブルクォーテーション)つきのCSVファイルの取込みについて

csvファイルに""つきの場合、embulkで処理をする際にレコードスキップされます。 quotaオプションで""は定義しているのですが、スキップされてしまいます。 ※環境：Oracle 12c、embulk 0.9.15 ※embulk定義 srdcs@SSVR0224:/home1/bigquery/conf$ cat config_T_RS_TRAN.yml in: type: f
- Java
- Ruby
- Oracle
- Embulk
- 0評価
- 0クリップ
- 998PV
raccoondog 2年前に回答
解決済

回答

1
embulk定義について、csvファイルのデータをcolumnsオプションなしで定義可能か

環境:oracle 12c、embulk 0.9.15 bigqueryのテーブルでnumericのカラムがあります。 oracleのデータをcsvにして、embulkでcsvのデータをとりこんで、bigqueryへバルクインサートする embulkの定義でcolumnsオプションをぬかして、csvのデータをそのままbigqueryへインサートさせたいです。理由は、embulkで
- Java
- Oracle
- Embulk
- BigQuery
- Google Cloud Platform
- 0評価
- 0クリップ
- 943PV
hiroysato 2年前にベストアンサー
受付中

回答

1
bigqueryテーブルのデータ型変換につきまして

Bigqueryのテーブルにデータ型がFLOATの列があります。 FLOATの列を、NUMERICの列にしたいです。特定列のみを指定してCAST関数で変換可能でしょうか？また、Oracle⇒embulk⇒bigquery　でデータ型が自動的に変換されるのは仕様でしょうか？ embulkで事前にデータ型を指定して（NUMMERICになるように）bigqueryへインサートさせれば想定通
- Oracle
- Embulk
- BigQuery
- 0評価
- 0クリップ
- 2092PV
raccoondog 2年前にコメント
解決済

回答

1
embulkバルクインサート時に、google apis client error

環境：oracle 12c、embulk 0.9.15、において、bigqueryへバルクインサート中に下記に示すエラーが発生致しました。 bigquery検証版（US環境）では出力されなかったエラーです。 bigquery本番（日本：豊洲）に切り替えて実装してからエラーが出力されました。 ※Oracle定義 SQL> desc T_RS_TRAN 名前
- Java
- Ruby
- Oracle
- Embulk
- BigQuery
- 0評価
- 0クリップ
- 1548PV
raccoondog 2年前にコメント
解決済

回答

3
embulkのqueryオプションにつきまして

■環境 Oracle 12.1.0、embulk 1.9.15、solaris 11 特定条件で、oracleのデータをbigqueryへインサートしたいです。 Oracleのsqlplusからは成功するのですが、em bulkからでは失敗します。 SQL> select * from T_RS_TRAN where IF_FLAG = '1' and TO_DATE(TRAN_DATE)
- Java
- Oracle
- Embulk
- BigQuery
- Oracle Database
- 0評価
- 0クリップ
- 892PV
Orlofsky 2年前にコメント
解決済

回答

2
embulk実行時のJavaヒープサイズ

embulkを使ってOracle12cのデータを転送する際に、embulkが使用するjavaヒープサイズの最大値を指定したいです。 embulk -J -Xmx100m run config.yml ※例では100MBにしています。 ※実業務で転送する場合の対象データについて転送時間：約10分間転送間隔：10分に1度転送回数：終日（業務時間帯3:30～翌日2:30） 1度に転送される
- Java
- Solaris
- Embulk
- Oracle Database
- 0評価
- 0クリップ
- 1970PV
raccoondog 2年前にベストアンサー
解決済

回答

1
embulk実行時のjavaプロセスについて

embulk実行時に以下のjavaプロセスが生成されます。 java -XX:+AggressiveOpts -XX:+UseConcMarkSweepGC -jar /embulk-0.9.15.jar ※-XX:+AggressiveOpts ：Javaヒープ最適化を有効 ※-XX:+UseConcMarkSweepGC ：Concurrent Mark-Sweep
- Java
- Solaris
- Embulk
- 0評価
- 0クリップ
- 2130PV
raccoondog 2年前にコメント

1
2
3

次のページ

タグ情報

あなたの順位

-位
タグ登録者数

15人
総質問数

49件
今週の質問数

0件

タグ別ランキング

1

hiroysato

score 311

Embulk

BigQuery

Oracle Database
2

Orlofsky

score 36

SQL

MySQL

Oracle
3

sazi

score 30

SQL

MySQL

PostgreSQL
4

raccoondog

score 18

Embulk

Oracle Database

BigQuery
5

youji

score 11

PHP

CentOS

Linux
6

n.t

score 9

PHP

VBA

Access
7

ronin

score 9

Java

SQL

ログイン
8

fu7mu4

score 9

MacOS(OSX)

Linux

C
9

asakuta

score 9

Java

SQL

PostgreSQL
10

akamas

score 9

Embulk

ランキングをもっと見る

タグ別ランキング

1

hiroysato

score 5

Embulk

BigQuery

Oracle Database

ランキングをもっと見る

関連するタグ

Embulkタグのよく見られている質問

思考するエンジニアのためのQ&Aサイト「teratail」について詳しく知る