teratail header banner
teratail header banner
質問するログイン新規登録

質問編集履歴

5

追記

2018/06/29 05:12

投稿

trafalbad
trafalbad

スコア303

title CHANGED
File without changes
body CHANGED
@@ -22,5 +22,5 @@
22
22
  ```SQL
23
23
  SELECT original_keywords, time AS t
24
24
  from TABLE_DATE_RANGE(search_logs.search_log_, TIMESTAMP ('2012-6-10'), TIMESTAMP ('2017-6-10') )
25
- WHERE original_keywords_raw IS NOT NULL
25
+ WHERE original_keywords IS NOT NULL
26
26
  ```

4

タイトル変更

2018/06/29 05:11

投稿

trafalbad
trafalbad

スコア303

title CHANGED
@@ -1,1 +1,1 @@
1
- s3上大量画像tfrecordファイル保存する方法
1
+ Bigquery(SQL)5年間分検索単語数1日おき抽出する方法
body CHANGED
File without changes

3

追記

2018/06/29 05:11

投稿

trafalbad
trafalbad

スコア303

title CHANGED
File without changes
body CHANGED
@@ -10,6 +10,15 @@
10
10
  ご教授お願いします
11
11
 
12
12
  ちなみにまだ1日ごとの期間指定はしていませんが、5年分の単語抽出のSQLは以下の通りです
13
+ ```
14
+ original_keywords
15
+ ```は単語
16
+
17
+ ```
18
+ time
19
+ ```
20
+ は検索ワードが入力された時間です
21
+
13
22
  ```SQL
14
23
  SELECT original_keywords, time AS t
15
24
  from TABLE_DATE_RANGE(search_logs.search_log_, TIMESTAMP ('2012-6-10'), TIMESTAMP ('2017-6-10') )

2

修正

2018/06/29 05:10

投稿

trafalbad
trafalbad

スコア303

title CHANGED
File without changes
body CHANGED
@@ -12,6 +12,6 @@
12
12
  ちなみにまだ1日ごとの期間指定はしていませんが、5年分の単語抽出のSQLは以下の通りです
13
13
  ```SQL
14
14
  SELECT original_keywords, time AS t
15
- from TABLE_DATE_RANGE(search_logs.search_log_, TIMESTAMP ('2017-6-09'), TIMESTAMP ('2017-6-10') )
15
+ from TABLE_DATE_RANGE(search_logs.search_log_, TIMESTAMP ('2012-6-10'), TIMESTAMP ('2017-6-10') )
16
16
  WHERE original_keywords_raw IS NOT NULL
17
17
  ```

1

質問変更

2018/06/29 05:08

投稿

trafalbad
trafalbad

スコア303

title CHANGED
File without changes
body CHANGED
@@ -1,6 +1,17 @@
1
- 現在s3上にある画像のパスsql取得し、boto3s3から呼び出し、ec2 上でtfrecordに保存しています
1
+ google big query で検索ワードSQLたいのですが以下の条件出したいと考えています
2
- しかし、枚数が合計で50万枚くらいあり、一日にtfrecordに保存できる枚数が9万枚くらいです。
3
2
 
3
+ ・指定期間は5年間
4
- 画像をtfrecordに入れるだけでものすごい時間がかかってまい画像分類がきません。よく大量の画像を類している企業を見るs3上にすでにtfrecordが作成されています。
4
+ ・1時間ごとの単語数をcountし、1列1時間の単語数その時の時間の2行分
5
5
 
6
- s3上で大量の画像をtfrecordに保存して、手早く作成するはどうやっていのでしょか?どんなアドバイスでもいいので、ご教授お願いしま
6
+ 要は時系列データとしてshape=(365×5×24,)((batch,time_window,dim)=(365×5,3,21)る)
7
+ の形で抽出したいと考えています。
8
+
9
+ 期間指定はできるのですが、一時間おきにcountする方法として、何かいい方法はないでしょうか?
10
+ ご教授お願いします
11
+
12
+ ちなみにまだ1日ごとの期間指定はしていませんが、5年分の単語抽出のSQLは以下の通りです
13
+ ```SQL
14
+ SELECT original_keywords, time AS t
15
+ from TABLE_DATE_RANGE(search_logs.search_log_, TIMESTAMP ('2017-6-09'), TIMESTAMP ('2017-6-10') )
16
+ WHERE original_keywords_raw IS NOT NULL
17
+ ```