質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.31%
Google Cloud Platform

Google Cloud Platformは、Google社がクラウド上で提供しているサービス郡の総称です。エンドユーザー向けサービスと同様のインフラストラクチャーで運営されており、Webサイト開発から複雑なアプリ開発まで対応可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

1回答

472閲覧

for文でテーブルにデータフレームをループで格納したい

monsi

総合スコア12

Google Cloud Platform

Google Cloud Platformは、Google社がクラウド上で提供しているサービス郡の総称です。エンドユーザー向けサービスと同様のインフラストラクチャーで運営されており、Webサイト開発から複雑なアプリ開発まで対応可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2023/02/07 22:57

実現したいこと

・リストのテーブル作成をループで行う

前提

GCPでpythonを用いて、データパイプラインを作成しています。
複数テーブルを作成する機能を実装したところ、エラーは出ていないのですが、テーブルの作成が出来ませんでした。
また、Colab上で試した際はデータフレームの作成までは行えていました。

発生している問題・エラーメッセージ

Function execution took 7668 ms, finished with status: 'ok'

該当のソースコード

def main(event,context): project_id = '◯◯' client = bigquery.Client(project=project_id) pytrends = TrendReq(hl='ja-JP' , tz=-540) keyword = ['野球','サッカー','バスケ'] lst = ['base ball','soccer','basket ball'] for w in keyword: pytrends.build_payload(kw_list = [w], timeframe='today 3-m', geo='JP') df = pytrends.interest_over_time() df = pd.DataFrame(df) break for t in lst: table = [t] table_name = f'google_trends.{table}' res_bq = make_bq(df, table_name) def make_bq(df, table_name): try: project_id = '◯◯' bq_client = bigquery.Client(project=project_id) dataset, new_table = table_name.split(".") dataset_ref = bq_client.dataset(dataset) table_ref = dataset_ref.table(f'{new_table}') job_config = bigquery.LoadJobConfig(write_disposition='WRITE_TRUNCATE') bq_client.load_table_from_dataframe(df.astype("str"), table_ref,job_config = job_config).result() return "success" except Exception as e: return str(e)

試したこと

関数をもう一つ作り、そちらでテーブル作成を行おうとしました。
しかし、その場合でも同様にエラーが起きず、テーブルの作成が行われませんでした。

for文のインデントの階層を合わせることなどは行ったのですが、なかなかうまく行きません。

このような処理でデータフレーム作成→テーブルに格納のループを行いたいです。

関数1
キーワードリスト = [A,B,C]
テーブルリスト = [a,b,c]
for データ取得
df = ◯◯
for テーブル作成
table_name = ◯◯
res_bq = 関数2(df,table_name)
関数2(df,table_name)

→Aのデータを取得し、そのデータフレームをaのテーブルに格納し、Bのデータフレームをbのテーブルに格納するという作業を行いたいです。
よろしくお願いします。

補足情報(FW/ツールのバージョンなど)

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

キーワードとテーブルが一対一で対応しているようなので、以下のようにzipでループを回すとよいと思います。

Python

1import pandas as pd 2 3def main(event,context): 4 keyword = ['野球','サッカー','バスケ'] 5 lst = ['base ball','soccer','basket ball'] 6 7 for k,t in zip(keyword,lst): 8 df = pd.DataFrame([k]) 9 table_name = f'google_trends.{t.replace(" ", "_")}' 10 res_bq = make_bq(df, table_name) 11 12def make_bq(df, table_name): 13 print(table_name) 14 print(df) 15 16main(1,2) 17""" 18google_trends.base_ball 19 0 200 野球 21google_trends.soccer 22 0 230 サッカー 24google_trends.basket_ball 25 0 260 バスケ 27"""

投稿2023/02/08 00:12

can110

総合スコア38352

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

monsi

2023/02/08 05:57

ご回答ありがとうございます!! 参考にしてみたところ、テーブルへの格納が出来ました。 for文の使い方勉強になりました。 ありがとうございますm(_ _) m
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

まだベストアンサーが選ばれていません

会員登録して回答してみよう

アカウントをお持ちの方は

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.31%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問