常連

手元のPCから踏み台サーバー→分析サーバー→RedShiftび順にアクセスしてデータを取得したいのですが、どのように行えば良いのか調べても中々見つからないため質問させて頂きます。

# サーバ構成
・EC2踏み台サーバー（IP:192.0.0.1, port:22）
・EC2分析サーバー(IP:192.0.0.2, port:3389)
・RedShift(port5439)

上記のサーバーを上から順に接続していきたいという内容になります。

途中まで書いてみたコードは下記のようになります。
知見のある方がいらっしゃいましたら、ご教授頂けますと幸いです。

(細部の情報は抜いています。)
```
import sqlalchemy
import pandas as pd
from sshtunnel import SSHTunnelForwarder
import psycopg2

SSH_HOST1 = '192.0.0.1'
SSH_PORT1 = 22
SSH_HOST_KEY1 = None
SSH_USERNAME1 = 'user'
SSH_PASSWORD1 = "user"
SSH_PKEY1 = None

SSH_HOST2 = '192.0.0.2'
SSH_PORT2 = 3389
SSH_HOST_KEY2 = None
SSH_USERNAME2 = 'user'
SSH_PASSWORD2 = "user"
SSH_PKEY2 = None

DB_HOST = '*********ap-northeast-1.redshift.amazonaws.com'
DB_PORT = "5439"
DB_USER = ''
DB_PASSWORD = ''
DB_NAME = ''

with SSHTunnelForwarder(SSH_HOST1, SSH_PORT1, 
        ssh_host_key=SSH_HOST_KEY1,
        ssh_username=SSH_USERNAME1,
        ssh_password=SSH_PASSWORD1,
        ssh_pkey=SSH_PKEY1,
        remote_bind_address=(SSH_HOST2, SSH_PORT2),
        local_bind_address=('0.0.0.0', 10022)) as server1:
        
    with SSHTunnelForwarder(SSH_HOST2, SSH_PORT2, 
        ssh_host_key=SSH_HOST_KEY2,
        ssh_username=SSH_USERNAME2,
        ssh_password=SSH_PASSWORD2,
        ssh_pkey=SSH_PKEY2,
        remote_bind_address=('127.0.0.1', 5439)) as server2:
        
        con = psycopg2.connect(
          host=DB_HOST,
          database=DB_NAME,
          port=DB_PORT,
          user=DB_USER,
          password=DB_PASSWORD
        );
    
        data = pd.read_sql(SQL, con)
        print(data)
        con.close()
```

Pythonでの多段SSH接続

### 実現したいこと

・LEAD関数を使用する際、ORDER BYで並び変えないで現状のテーブルそのままの形で値を取得したいです。


### 前提

Redshiftでクエリを書いていますが、あるカラムの一つ後ろの値を、別のカラムとして出力させたいです。


### 発生している問題・エラーメッセージ
現状のテーブルのレコードの順序は変更させたくないため、ORDER BYの設定が必須なLEAD関数は使用できないのではと考えています。
テーブルにインデックスを付けて、ORDER BYでインデックスを指定してLEAD関数を使用しようと考えていますが、他に方法はありませんでしょうか？
ご教授頂けたら幸いです。
```
エラーメッセージ
```

### 該当のソースコード

```ここに言語名を入力
ソースコード
```

### 試したこと

ここに問題に対して試したことを記載してください。

### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。


SQL LEAD関数のORDER BYに関する質問

### 前提・実現したいこと
現在下記のようなテーブルが存在しております。

テーブル・・・
ID ｜名前｜日付
01｜田中｜3/16
02｜田中｜3/15
03｜田中｜3/14
04｜山田｜3/17
05｜山田｜3/16
06｜鈴木｜3/15
07｜鈴木｜3/14
・・・

名前が田中かつ日付が3/15日以前で最新を1件
名前が鈴木かつ日付が3/14日以前で最新を1件

上記のような検索を実行し、下記の結果を得たいと考えております。

ID ｜名前｜日付
02｜田中｜3/15
07｜鈴木｜3/14



### 試したこと

SELECT ＊
FROM テーブル AS テーブルA
INNER JOIN （SELECT 名前,MAX(日付）AS 最新日付 FROM テーブル
WHERE （日付　<= ‘2021-03-15 00:00:00’  AND 名前 = ‘田中’)
GROUP BY 名前 AS テーブルB
ON テーブルA.名前 = テーブルB.名前
AND テーブルA.日付　＝　テーブルB.最新日付

ーーー
上記のような形で一応取ってくることはできましたが、
かなりスピードが遅く困っております・・・
SQLに関する理解不足で読みにくいSQLになってしまい大変失礼ですが、
この場合の正しいSQLの書き方についてご回答をお願いしてもよろしいでしょうか。

また、もし可能であれば１回のSQLで
名前が田中かつ日付が3/15日以前で最新を1件」「名前が鈴木かつ日付が3/14日以前で最新を1件」
を同時に抽出する方法などありますでしょうか。


すみませんがどうぞよろしくお願いします。

SQLにて指定日付以前、かつ最新のデータを1件取得したいです。

|name|date|
|:--|--:|
|aaa|2018/5/21|
|bbb|2018/5/21|
|ccc|2018/5/21|
|ddd|2018/5/21|
|eee|2018/5/21|
|fff|2018/5/22|
|ggg|2018/5/22|
|hhh|2018/5/22|
|iii|2018/5/22|
|jjj|2018/5/22|

上記のようなテーブルがあり、PSQLを用いてdateごとに2つずつ値を取得して結合し、下記のようなテーブルを作成したいと考えております。
(これはサンプルデータで、本来は日付ごとに10000行あり、そのデータの最初の100件を結合するというコードを描きたいのですが、今回は単純化しています。)

|name|date|
|:--|--:|
|aaa|2018/5/21|
|bbb|2018/5/21|
|fff|2018/5/22|
|ggg|2018/5/22|

このようなテーブルを作成するためのコードをSQLを用いて描きたいのですがどのように書けば良いのでしょうか？擬似コードとしては以下のようなものになるかと想定しています。

アドバイスよろしくお願いします。

```sql
dates = select DISTINCT date from table order by date ASC <- 存在する日付を取得
databases <- 空のテーブルを定義
//日付ごとにマッチするものを取ってきて最初の2個を空のテーブルに結合していく
for date in dates
	databases 
	union 
	select * from table where date = date limit 2

database ←それぞれの日付のデータが2こずつ

```

PSQLでのLOOP、変数、配列の使い方について。

### 実現したいこと

Redshift上での話です。
あるカラムに時刻がtime without time zone型で格納されています。
24時のデータは00時のように表現されていて、これを24:00～に変換したいです。


### 前提

修正依頼ありがとうございました。
下記のコードを見て頂きたいです。

### 発生している問題・エラーメッセージ

```

Case 
            When Extract(hour From depart_datetime) = 0
                Then date_add('hour', 24, depart_datetime)
             Else depart_datetime
        End As depart_datetime,

上記のコードを試しています。When Extract(hour From depart_datetime) = 0の抽出はコードの通りに作動することを確認済みです。
00時に24を足す処理ができません。エラーなどは発生していませんが、00から24への変更が実施されていないです。こちら何が問題なのでしょうか？
```

### 該当のソースコード

```ここに言語名を入力
ソースコード
```

### 試したこと

24を'24'に変更してみても結果は変わりませんでした。


### 補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。


SQL 00:00:00を24:00:00へ変更したい

RedShiftにてSELECTクエリの実行速度が遅く困っています。
SQLのチューニングの方法についてあまり詳しくなく、スピード改善の参考になる記事や
クエリ中の遅くなっていると予想される箇所などよろしければお伺いしたいです。

---

問題が出ているのは以下の入力フォームで複数の値を同時に検索することができるSELECTです。
複数のテーブルを結合して、指定のIDかつ最新のものを１件取得するSQLになります。
phpでWHERE　OR OR OR・・・で検索条件を繋いでおり。検索条件が百件を超えると遅くなってしまいます。


```SQL
SELECT stores.*,categories.category,cities.cityname
FROM(SELECT storecode,buildcode,lat.lng,date,rank() OVER (PARTITION BY storecode ORDER BY date DESC) AS rank
              FROM stores
　　　　　　　　 WHERE (storecode = 'A01' AND date <= '2021-04-19') 
              OR (storecode = 'B02' AND date <= '2021-04-20') 
　　　　　　　　 OR ・・・・. OR　・・・・
              AS stores
LEFT OUTER JOIN  categories ON stores.buildcode = categories.buildcode
LEFT OUTER JOIN  meshcode ON （計算の為省略) = cities.meshcode
WHERE rank = 1
```

上記SQLについては以前質問し、以下回答があったSQLになります。
[https://teratail.com/questions/334027](https://teratail.com/questions/334027)


実行計画は下記の通りになります。
見たことのないような桁になり検索が全く動きません。。。

``` XN Hash Left Join DS_DIST_OUTER  (cost=1000010817222.31..999999999999999967336168804116691273849533185806555472917961779471295845921727862608739868455469056.00 rows=2 width=285)
   Outer Dist Key: ((((((floor((("outer".lat * 60::double precision) / 40::double precision)))::text || (floor(("outer".lng - 100::double precision)))::text) || (floor(((("outer".lat * 60::double precisi)::text)
   Hash Cond: ("outer"."?column10?" = ("inner".meshcode)::text)
   ->  XN Hash Left Join DS_DIST_ALL_NONE  (cost=1000010812381.25..1000010812383.59 rows=1 width=245)
         Hash Cond: (("outer".buildcode)::text = ("inner".buildcode)::text)
         ->  XN Subquery Scan l  (cost=1000010812372.86..1000010812375.18 rows=1 width=207)
               Filter: (rank = 1)
               ->  XN Unique  (cost=1000010812372.86..1000010812374.78 rows=32 width=65)
                     ->  XN Window  (cost=1000010812372.86..1000010812373.94 rows=48 width=65)
                           Partition: storecode
                           Order: date
                           ->  XN Sort  (cost=1000010812372.86..1000010812372.98 rows=48 width=65)
                                 Sort Key: storecode, date
                                 ->  XN Seq Scan on stores  (cost=0.00..10812371.52 rows=48 width=65)
                                       Filter: (((storecode)::text = 'A01'::text) AND (date <= '2021-05-11'::date))
         ->  XN Hash  (cost=6.71..6.71 rows=671 width=59)
               ->  XN Seq Scan on categories  (cost=0.00..6.71 rows=671 width=59)
   ->  XN Hash  (cost=3872.85..3872.85 rows=387285 width=40)
         ->  XN Seq Scan on cities  (cost=0.00..3872.85 rows=387285 width=40)

```

SQL SELECTの実行速度が遅い場合の解決方法

# やりたい事
下記のテーブルから、当月を含める当月以降3ヶ月以内のvalueを集計し、出力したいです。
periodが201901の場合、201901~201903のvalueの合計値を求めて出力したいです。

value_table
|id|period|value|
|:--:|:--:|:--:|
|1|201901|1|
|1|201902|2|
|1|201903|2|
|1|201905|5|
|2|201901|2|
|2|201902|3|
|2|201904|1|



求める出力結果
|id|period|value|
|:--:|:--:|:--:|
|1|201901|5|
|1|201902|4|
|1|201903|7|
|1|201905|5|
|2|201901|5|
|2|201902|4|
|2|201904|1|


# テーブル
```ここに言語を入力
CREATE TABLE value_table 
(
    id VARCHAR(9999) ,
    period VARCHAR(9999) ,
    value VARCHAR(9999) 
);
```


求める出力結果が出せず苦戦しております。
アドバイス等ご教示頂けると幸いです。
お手数ですが、宜しくお願い致します。

3ヶ月以内の値を集計し、出力したい

【やりたいこと】
AWS　Lambdaでs3に到着したcsvファイル(cp932型式）をRedshiftにcopyしたい。

【エラー内容】
下記ロジックをpythonで記載し実行しますと下段のようなエラーが吐き出されます。

copy xxxx from 's3://yyy/zzz.csv' csv
iam_role 'arn:aws:iam::xxxxxxxxxx:role/xxxxxxxx'
region 'ap-northeast-1'
**ENCODING 'cp932'**
IGNOREHEADER 1;

（エラー内容）
ERROR: syntax error at or near "'cp932'" Position: 156 [ErrorId: xxxxx]

cp932のところを'shift-jis'に代えても同様なエラーです。

また、ENCODING行を省くと
ERROR:String contains invalid or unsupported UTF8 codepoints. Bad UTF8 hex sequence: 87 (error 3) [ErrorId:XX]
が表示されます。

上流の処理でUTF8形式に変換してcopy文を流せばよいのですが、
構文通りにパラメーターにENCODING指定してもエラーになる理由が不明のためteratailにアップさせていただきました。


Amazon Redshift