常連

S3に大きなcsvファイルがあり、これをathenaで効率よく読み込むためparquet化しようと考えています
csvファイルをparquet化する方法を調べたところ、pythonに読み込む方法が見つかりましたが、csvが大きすぎでメモリに乗りません

S3にあるcsvファイルをローカルPCのメモリに乗せずにparquet化する方法はありますでしょうか。
なお、csvファイルは1ファイルですが、parquetファイルは分割したいです。
・日付列で分割してフォルダを分けたい(athenaで読み込むときのpartitionにしたい。そのようなフォルダ構成になるとベスト)
。別のタイムスタンプ列でファイル分割して、athenaからの読み込み量や管理負荷を減らしたい(複数ファイルに分割するイメージ)

どうぞよろしくお願いいたします。

S3にある大きなcsvを分割parquet化する方法

ある取引先から連携されたCSVをAWSのAthenaで取り扱いたいのですが、タイトルにあるように

csv内のダブルクォーテーションで囲まれたフィールドの中の　『エスケープされていないダブルクォーテーション』が原因で
ただしく、フィールドが認識できず困っています。
(取引先ではCOBOLによってCSVを生成しているらしく、上記は仕様のため変更不可らしいので、こちらで変換するしかありません)

そこでpythonでCSVを処理して、望ましい形（”が\でエスケープされた）CSVに変換したいのですが、
うまく出来ず、ご教授いただけましたら幸いです。


実現したいこととしては、
　下記１．のような元データのCSVを
   下記４．のような望ましい形式のCSVに変換することです

**１．元データのCSVのイメージ'imput.csv'**


1,2,3,"問題箇所"",123,"E"


**２．試したスクリプト**
```ここに言語を入力
import csv
from csv import reader, writer

with open('input.csv', encoding="utf-8") as fin:
    with open('output.csv', "w", encoding="utf-8", newline='') as fout:
        wt = writer(
                fout,
                delimiter=',',  # 区切り文字をカンマで指定
                quotechar='"',  # 囲い文字をダブルクォーテーションで指定
                escapechar='\\', # escape文字を指定
                quoting=csv.QUOTE_MINIMAL # クオート
                )   
       
       
        for row in reader(
                            fin,
                            delimiter=',',  # 区切り文字をカンマで指定
                            quotechar='"',  # 囲い文字をダブルクォーテーションで指定
                            quoting=csv.QUOTE_MINIMAL # クオート
                            ):
            output_row = []
            for col in row:
                output_row.append(str(col))
            wt.writerow(output_row)
```

**３．上記スクリプトの処理結果（失敗）'output.csv'**

1,2,3,"問題箇所"",123,E"""

※問題箇所の後ろの”がエスケープされてしまい、Eの後ろの”もエスケープされて、『問題箇所",123,E"』という一つのフィールドとして
　認識されてしまっている。

**４．望ましいCSVのイメージ**

1,2,3,"問題箇所\\"",123,"E"



Python 　csv内のダブルクォーテーションで囲まれたフィールドの中の　『エスケープされていないダブルクォーテーション』をエスケープしたい

### 実現したいこと

AWS　S3上にアップロードされたCSVファイルに対し、Athena上でテーブルを作成したいですが、
エラーに阻まれています。このエラーの解消方法を知りたいです。
以下詳述します。

### 前提
AWSにはrootアカウントでログインしています。
S3バケット上にCSVファイルがアップロードされています。
名前は「test.csv」で、内容は以下の通りです。
```
Name,
John,25
Jane,30
Sam,35
```
次に、テーブル作成を試行した手順を述べます。
データベース「default」にテーブル名「test」として、上記CSVファイルをテーブル化しようと試みました。

Athenaのクエリエディタをブラウザから操作しました。
まず、クエリエディタ内の「テーブルとビュー」項目から「作成」「S3バケットデータ」を選択し、
「S3バケットデータからテーブルを作成」画面の指示に従い、必要事項を入力していきました。
結果得られたクエリは以下の通りです。

```
CREATE EXTERNAL TABLE IF NOT EXISTS `default`.`test` (`Name` string, `Age` int)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES ('field.delim' = ',')
STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION 's3://{バケット名}/'
TBLPROPERTIES ('classification' = 'csv');
```
### 発生している問題・エラーメッセージ

上のクエリを実行すると、次のエラーが発生します。
```
line 1:48: mismatched input 'EXTERNAL'. Expecting: 'MATERIALIZED', 'OR', 'ROLE', 'SCHEMA', 'TABLE', 'VIEW'
このクエリは、クエリで修飾されていない限り、「default」データベースに対して実行されました。エラーメッセージを フォーラム  に投稿するか、クエリ ID: b73e12b2-e127-443a-8b2e-d658317e5a18 とともに カスタマーサポート  にお問い合わせください。
```



AWS　S3上のCSVデータから、Athena上でテーブルを作成したいが、あるエラーが解消できない

### 前提・実現したいこと

AWS Lambdaでcsvファイルを作成しs3のパケットにアップロード。AWS athenaで作成したパケットを基にテーブルを作成し、Quicksightを用いてデータの可視化を行うシステムを作成しています。

### 発生している問題・エラーメッセージ
AWS athenaでクエリを実行しようとすると、結果が表示されません。
![イメージ説明](ee0b7f896beddac5137336523476600e.png)
### 該当のソースコード

csvファイル作成、s3にアップロードするプログラム。
```python
        
        # データ
        header = ["id","day","air_temp","humidity","co2"]
        date_value = pd.to_datetime(PLC_Time)
        datas = [int(sensor_id),date_value,Decimal(air_temp),Decimal(humidity),Decimal(co2)]
        bucket.download_file(savepath,filepath) 
        # 書き込み
        with open(filepath, 'a', newline='', encoding='utf-16') as f:
            writer = csv.writer(f,dialect='excel')
            writer.writerow(datas) 
        bucket.upload_file(filepath,savepath)
     
```
s3に保存されたcsvファイル　保存先はs3/バケット名/sensordata.csv
```
id,day,air_temp,humidity,co2
14,2022-01-06 11:11:11,22.2,33.3,111
15,2022-01-06 11:11:11,22.2,33.3,111
16,2022-01-06 11:11:11,22.2,33.3,111
17,2022-01-06 11:11:11,22.2,33.3,111
```
athenaでテーブルを作成した際に用いたsql記述。
クエリは成功し、テーブルも作成される。
```sql
CREATE EXTERNAL TABLE IF NOT EXISTS default.sensordata(
  id int,
  day timestamp,
  air_temp decimal,
  humidity decimal,
  co2 decimal
)
ROW FORMAT SerDe 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' 
WITH SerDeProperties ("field.delim" = ",", "escapeChar"="\",  "quoteChar"="\"")
STORED AS TEXTFILE
LOCATION 's3://バケット名/' 
TBLPROPERTIES ('has_encrypted_data'='false',  'skip.header.line.count'='1')
```
athenaで実行したselect文。
実行すると上記したように、何も表示されない
```sql
SELECT *
FROM default.sensordata
LIMIT 100;
```
### 試したこと
dataの書式がエクセルに対応してないのが原因と予想し、pythonのプログラムのdialectを'excel-tab'に変更したが、結果は表示されなかった。
athenaのテーブル作成の時に用いる型が文字列型(string)の時に限って、値が表示された。



### 補足情報

pythonのバージョンは3.8です。
リージョンはオハイオ、課題発生日は2022/1/9です。
プログラミング初心者で、コードも拙いところが多々あるとは思いますが、ご教授いただけると嬉しいです。よろしくお願いします。

AWS athenaの結果が表示されない。

### 実現したいこと

AWS QuickSightで、QSのフィルターまたはパラメーターの値をAthenaで実行するSQLに動的に埋め込みたい

### 前提

QuickSightでダッシュボードを作っているが、そこで表示するデータをAthenaから取得している。
しかし、データ量が膨大なため、出来る限りpartitionの効いたSQLを実行したいと同時に、partitionに使うKeyを動的に切り替えたい。

### 発生している問題

QuickSightからAthenaのSQLを実行する場合、固定のSQL文しか発行出来ないように思うので、もしSQLにパラメーターを埋め込めるならその方法を知りたい


### 該当のソースコード

```sql
SELECT
  * 
FROM BigDataTable
WHERE 
  partition_key = 'aaa' # <= このPartitionKeyを動的に切り替えたい
```


```sql
SELECT
  * 
FROM BigDataTable
WHERE 
  partition_key = '${DashboardParameter}' # <= こんな感じにすると、SQL実行時にダッシュボードのパラメーターが渡されたりしないかな？
```


### 試したこと

とりあえずググったが見つからず
最悪、対象のPartitionKeyの種類分だけデータセットとダッシュボードを量産する方法があるが、2,30個作らないと行けないのでやりたくない




AWS QuickSightで、QSのフィルターまたはパラメーターの値をAthenaで実行するSQLに動的に埋め込みたい

AWS　Athenaについての質問です。

やりたい事：
・AthenaでELBアクセスログの時間をUTC時間から日本時間に変更したい
・変更した日本時間をYYYY-MM-DD hh:mm表示で別カラムに表示したい
・ドメイン名がhoge.comのアクセスログだけに絞りたい
・更にそこから重複する時間をクエリし、重複した総数を多い順に並べたい

テーブル名はhoge_logで時間のカラム名はtime、日本時間に変更した別カラム名はtime_j、ドメイン名のカラム名はdomain_nameです。

SELECT time,
この辺りでたぶん時間を変換する関数を入れる…？
AS time_j
FROM hoge_log
HAVING domain_name = 'hoge.com'
COUNT(time_j) > 1 , ASC;

色々調べて何となくこんな感じになるのかなとやってみたのですが、エラーが出て上手くいきませんでした。
期待する結果を出力するSQLについてご教授願います。

AthenaでUTF時間を日本時間に変換して表示したい

[ 実現したいこと ]
クエリストリングから、指定の識別子のパラメータセットだけをSQLの正規表現で抽出したい

以下のような、URLのクエリストリングが入っているカラムがあるとします。
```
例）　'?a=123&bcd=345&ef=567&gh=789&abc=123'
```

ここから、指定した識別子（例えば、abc と bcd）だけを残して後は削除したいとします。

▼欲しい結果
```
'bcd=345&abc=123'
```

[ 実現したい環境 ]
・AWS Athena

[ 試したクエリ ]
①否定を使った置換
```AthenaSQL
SELECT regexp_replace('?a=123&bcd=345&ef=567&gh=789&abc=123','((^|?|&)?!(abc|bcd)=.*?(&|$))')
```
*abc=xxx でも bcd=xxx でもないものを置換して削除する

▼結果
```
'?a=123&bcd=345&ef=567&gh=789&abc=123'　（何も置換されない）
```

"?!"の部分がどうもうまく聞いていないようです。


（参考）逆に"?!"を抜いて、対象だけを置換してみるとうまく抜けるようです。つまり、否定の部分だけが効いていないと思われます。

▼結果
```
?a=123ef=567&gh=789
```

②extract してjoin
```AthenaSQL
select array_join(regexp_extract_all('?a=123&bcd=345&ef=567&gh=789&abc=123','(?|&)((a|abc|bcd|gh)=.*?)(&|$)',2),'&')
```

▼結果
```
a=123&gh=789  (&~&が切り取られ、連続したパラメータを指定すると後ろのものが取れない)
```

後ろの "(&|$)"のものは最短マッチの判定だけに使いたいのですが、"[&$]"などとしても結果は同じです。
こちら、どのような指定方法があるか、わかる方ご教示いただけないでしょうか？

-> その他②で試してみたパターン
　- select array_join(regexp_extract_all('?a=123&bcd=345&ef=567&gh=789&abc=123','(?|&)((a|abc|bcd|gh)=.*?)[&|$]',2),'&')
　　　-> ②と同じ結果
  - select array_join(regexp_extract_all('?a=123&bcd=345&ef=567&gh=789&abc=123','(?|&)((a|abc|bcd|gh)=.*?)',2),'&')
　　 -> 最短マッチ部分が識別子だけになる　(a=&bcd=&gh=&abc=)
  - select array_join(regexp_extract_all('?a=123&bcd=345&ef=567&gh=789&abc=123','(?|&)(a=.*?|abc=.*?|bcd=.*?|gh=.*?)',2),'&')  ※同上

SQLの正規表現で、URLクエリストリングから、指定したパラメータだけ残したい

### 前提

Athenaでデータソースコネクタを使ってdocumentDBのデータを取得した際に、
入れ子構造になっているデータ(下記)がJSONが崩れた状態(:ではなく=)で表示されてしまう。
また、本来大文字を含むフィールドの名前が小文字で表示されてしまう。

Athenaでクエリした時の表示
     _id 　　　　|　　　　　　　　data　　　　　　　　　　| time
＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿___________________________
xxxxxxxxxxx  ｜　[{name=akira,age=24,gender=man,,,},,,]｜xxxxxxxxxxxx

### 実現したいこと
・小文字に変換されずにデータ取得ができるようにしたい。
・入れ子構造になっているデータでもJSON形式を崩さずに取得できるようにしたい。
(BIツールで分析する際に支障をきたすため)

イメージ
     _id 　　　　|　　　　　　　　**Data**　　　　　　　　　　| **Time**
＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿___________________________
xxxxxxxxxxx  ｜　[{**name:akira,age:24,gender:man**,,,},,,]｜xxxxxxxxxxxx

### 発生している問題・エラーメッセージ
データ取得自体はできているためエラーは無し。
```
エラーメッセージ
```無し。

### 該当のソースコード

Athena DocumentDBデータソースコネクタ
https://catalog.us-east-1.prod.workshops.aws/workshops/464d6c17-9faa-4fef-ac9f-dd49610174d3/en-US/change-streams/querydocdbwithathena
上記URLの手順に沿ってlambdaアプリケーションを作成。

```

### 試したこと
手段が見つからず、何もしていない。


### 補足情報（FW/ツールのバージョンなど）
もしこれらが実現不可能である場合、それらがよくわかるサイト等を貼ってもらえると助かります。
自分の知識不足のため色々情報が足りていないことがあると思いますが、何卒よろしくお願いします。


Amazon Athena