常連

ある取引先から連携されたCSVをAWSのAthenaで取り扱いたいのですが、タイトルにあるように

csv内のダブルクォーテーションで囲まれたフィールドの中の　『エスケープされていないダブルクォーテーション』が原因で
ただしく、フィールドが認識できず困っています。
(取引先ではCOBOLによってCSVを生成しているらしく、上記は仕様のため変更不可らしいので、こちらで変換するしかありません)

そこでpythonでCSVを処理して、望ましい形（”が\でエスケープされた）CSVに変換したいのですが、
うまく出来ず、ご教授いただけましたら幸いです。


実現したいこととしては、
　下記１．のような元データのCSVを
   下記４．のような望ましい形式のCSVに変換することです

**１．元データのCSVのイメージ'imput.csv'**


1,2,3,"問題箇所"",123,"E"


**２．試したスクリプト**
```ここに言語を入力
import csv
from csv import reader, writer

with open('input.csv', encoding="utf-8") as fin:
    with open('output.csv', "w", encoding="utf-8", newline='') as fout:
        wt = writer(
                fout,
                delimiter=',',  # 区切り文字をカンマで指定
                quotechar='"',  # 囲い文字をダブルクォーテーションで指定
                escapechar='\\', # escape文字を指定
                quoting=csv.QUOTE_MINIMAL # クオート
                )   
       
       
        for row in reader(
                            fin,
                            delimiter=',',  # 区切り文字をカンマで指定
                            quotechar='"',  # 囲い文字をダブルクォーテーションで指定
                            quoting=csv.QUOTE_MINIMAL # クオート
                            ):
            output_row = []
            for col in row:
                output_row.append(str(col))
            wt.writerow(output_row)
```

**３．上記スクリプトの処理結果（失敗）'output.csv'**

1,2,3,"問題箇所"",123,E"""

※問題箇所の後ろの”がエスケープされてしまい、Eの後ろの”もエスケープされて、『問題箇所",123,E"』という一つのフィールドとして
　認識されてしまっている。

**４．望ましいCSVのイメージ**

1,2,3,"問題箇所\\"",123,"E"



Python 　csv内のダブルクォーテーションで囲まれたフィールドの中の　『エスケープされていないダブルクォーテーション』をエスケープしたい

### 実現したいこと

AWS　S3上にアップロードされたCSVファイルに対し、Athena上でテーブルを作成したいですが、
エラーに阻まれています。このエラーの解消方法を知りたいです。
以下詳述します。

### 前提
AWSにはrootアカウントでログインしています。
S3バケット上にCSVファイルがアップロードされています。
名前は「test.csv」で、内容は以下の通りです。
```
Name,
John,25
Jane,30
Sam,35
```
次に、テーブル作成を試行した手順を述べます。
データベース「default」にテーブル名「test」として、上記CSVファイルをテーブル化しようと試みました。

Athenaのクエリエディタをブラウザから操作しました。
まず、クエリエディタ内の「テーブルとビュー」項目から「作成」「S3バケットデータ」を選択し、
「S3バケットデータからテーブルを作成」画面の指示に従い、必要事項を入力していきました。
結果得られたクエリは以下の通りです。

```
CREATE EXTERNAL TABLE IF NOT EXISTS `default`.`test` (`Name` string, `Age` int)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES ('field.delim' = ',')
STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION 's3://{バケット名}/'
TBLPROPERTIES ('classification' = 'csv');
```
### 発生している問題・エラーメッセージ

上のクエリを実行すると、次のエラーが発生します。
```
line 1:48: mismatched input 'EXTERNAL'. Expecting: 'MATERIALIZED', 'OR', 'ROLE', 'SCHEMA', 'TABLE', 'VIEW'
このクエリは、クエリで修飾されていない限り、「default」データベースに対して実行されました。エラーメッセージを フォーラム  に投稿するか、クエリ ID: b73e12b2-e127-443a-8b2e-d658317e5a18 とともに カスタマーサポート  にお問い合わせください。
```



AWS　S3上のCSVデータから、Athena上でテーブルを作成したいが、あるエラーが解消できない

### 前提・実現したいこと

AWS Lambdaでcsvファイルを作成しs3のパケットにアップロード。AWS athenaで作成したパケットを基にテーブルを作成し、Quicksightを用いてデータの可視化を行うシステムを作成しています。

### 発生している問題・エラーメッセージ
AWS athenaでクエリを実行しようとすると、結果が表示されません。
![イメージ説明](ee0b7f896beddac5137336523476600e.png)
### 該当のソースコード

csvファイル作成、s3にアップロードするプログラム。
```python
        
        # データ
        header = ["id","day","air_temp","humidity","co2"]
        date_value = pd.to_datetime(PLC_Time)
        datas = [int(sensor_id),date_value,Decimal(air_temp),Decimal(humidity),Decimal(co2)]
        bucket.download_file(savepath,filepath) 
        # 書き込み
        with open(filepath, 'a', newline='', encoding='utf-16') as f:
            writer = csv.writer(f,dialect='excel')
            writer.writerow(datas) 
        bucket.upload_file(filepath,savepath)
     
```
s3に保存されたcsvファイル　保存先はs3/バケット名/sensordata.csv
```
id,day,air_temp,humidity,co2
14,2022-01-06 11:11:11,22.2,33.3,111
15,2022-01-06 11:11:11,22.2,33.3,111
16,2022-01-06 11:11:11,22.2,33.3,111
17,2022-01-06 11:11:11,22.2,33.3,111
```
athenaでテーブルを作成した際に用いたsql記述。
クエリは成功し、テーブルも作成される。
```sql
CREATE EXTERNAL TABLE IF NOT EXISTS default.sensordata(
  id int,
  day timestamp,
  air_temp decimal,
  humidity decimal,
  co2 decimal
)
ROW FORMAT SerDe 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' 
WITH SerDeProperties ("field.delim" = ",", "escapeChar"="\",  "quoteChar"="\"")
STORED AS TEXTFILE
LOCATION 's3://バケット名/' 
TBLPROPERTIES ('has_encrypted_data'='false',  'skip.header.line.count'='1')
```
athenaで実行したselect文。
実行すると上記したように、何も表示されない
```sql
SELECT *
FROM default.sensordata
LIMIT 100;
```
### 試したこと
dataの書式がエクセルに対応してないのが原因と予想し、pythonのプログラムのdialectを'excel-tab'に変更したが、結果は表示されなかった。
athenaのテーブル作成の時に用いる型が文字列型(string)の時に限って、値が表示された。



### 補足情報

pythonのバージョンは3.8です。
リージョンはオハイオ、課題発生日は2022/1/9です。
プログラミング初心者で、コードも拙いところが多々あるとは思いますが、ご教授いただけると嬉しいです。よろしくお願いします。

AWS athenaの結果が表示されない。

AWS　Athenaについての質問です。

やりたい事：
・AthenaでELBアクセスログの時間をUTC時間から日本時間に変更したい
・変更した日本時間をYYYY-MM-DD hh:mm表示で別カラムに表示したい
・ドメイン名がhoge.comのアクセスログだけに絞りたい
・更にそこから重複する時間をクエリし、重複した総数を多い順に並べたい

テーブル名はhoge_logで時間のカラム名はtime、日本時間に変更した別カラム名はtime_j、ドメイン名のカラム名はdomain_nameです。

SELECT time,
この辺りでたぶん時間を変換する関数を入れる…？
AS time_j
FROM hoge_log
HAVING domain_name = 'hoge.com'
COUNT(time_j) > 1 , ASC;

色々調べて何となくこんな感じになるのかなとやってみたのですが、エラーが出て上手くいきませんでした。
期待する結果を出力するSQLについてご教授願います。

AthenaでUTF時間を日本時間に変換して表示したい

S3に大きなcsvファイルがあり、これをathenaで効率よく読み込むためparquet化しようと考えています
csvファイルをparquet化する方法を調べたところ、pythonに読み込む方法が見つかりましたが、csvが大きすぎでメモリに乗りません

S3にあるcsvファイルをローカルPCのメモリに乗せずにparquet化する方法はありますでしょうか。
なお、csvファイルは1ファイルですが、parquetファイルは分割したいです。
・日付列で分割してフォルダを分けたい(athenaで読み込むときのpartitionにしたい。そのようなフォルダ構成になるとベスト)
。別のタイムスタンプ列でファイル分割して、athenaからの読み込み量や管理負荷を減らしたい(複数ファイルに分割するイメージ)

どうぞよろしくお願いいたします。

S3にある大きなcsvを分割parquet化する方法

[ 実現したいこと ]
クエリストリングから、指定の識別子のパラメータセットだけをSQLの正規表現で抽出したい

以下のような、URLのクエリストリングが入っているカラムがあるとします。
```
例）　'?a=123&bcd=345&ef=567&gh=789&abc=123'
```

ここから、指定した識別子（例えば、abc と bcd）だけを残して後は削除したいとします。

▼欲しい結果
```
'bcd=345&abc=123'
```

[ 実現したい環境 ]
・AWS Athena

[ 試したクエリ ]
①否定を使った置換
```AthenaSQL
SELECT regexp_replace('?a=123&bcd=345&ef=567&gh=789&abc=123','((^|?|&)?!(abc|bcd)=.*?(&|$))')
```
*abc=xxx でも bcd=xxx でもないものを置換して削除する

▼結果
```
'?a=123&bcd=345&ef=567&gh=789&abc=123'　（何も置換されない）
```

"?!"の部分がどうもうまく聞いていないようです。


（参考）逆に"?!"を抜いて、対象だけを置換してみるとうまく抜けるようです。つまり、否定の部分だけが効いていないと思われます。

▼結果
```
?a=123ef=567&gh=789
```

②extract してjoin
```AthenaSQL
select array_join(regexp_extract_all('?a=123&bcd=345&ef=567&gh=789&abc=123','(?|&)((a|abc|bcd|gh)=.*?)(&|$)',2),'&')
```

▼結果
```
a=123&gh=789  (&~&が切り取られ、連続したパラメータを指定すると後ろのものが取れない)
```

後ろの "(&|$)"のものは最短マッチの判定だけに使いたいのですが、"[&$]"などとしても結果は同じです。
こちら、どのような指定方法があるか、わかる方ご教示いただけないでしょうか？

-> その他②で試してみたパターン
　- select array_join(regexp_extract_all('?a=123&bcd=345&ef=567&gh=789&abc=123','(?|&)((a|abc|bcd|gh)=.*?)[&|$]',2),'&')
　　　-> ②と同じ結果
  - select array_join(regexp_extract_all('?a=123&bcd=345&ef=567&gh=789&abc=123','(?|&)((a|abc|bcd|gh)=.*?)',2),'&')
　　 -> 最短マッチ部分が識別子だけになる　(a=&bcd=&gh=&abc=)
  - select array_join(regexp_extract_all('?a=123&bcd=345&ef=567&gh=789&abc=123','(?|&)(a=.*?|abc=.*?|bcd=.*?|gh=.*?)',2),'&')  ※同上

SQLの正規表現で、URLクエリストリングから、指定したパラメータだけ残したい

SELECT test1.id
FROM "test1"."test1" as test1
  join "test2"."test2" as test2
  on  test1.id = test2.id

上記のクエリを行った際に10分たってもクエリが終了しませんでした

一方で以下のようにした時に2秒程で完了しました
limitをつけなければ完了しないものなのでしょうか？

SELECT test1.id
FROM "test1"."test1" as test1
  join "test2"."test2" as test2
  on  test1.id = test2.id
limit 10

athenaのクエリのlimitに関して

### 前提・実現したいこと

AWS Athena初心者です。
以下のことをやりたいのですが、調べたり色々実戦してみても上手く行きません。
方法をご教示ください。

・S3に格納したcsvデータを使って、AthenaでPARTITION付きのテーブルを作りたい

### 発生している問題・エラーメッセージ
テーブルは作成できるのですが、csvの中身が反映されません。
作業手順は以下の通りです。
```
S3にver = 2020-07-28 という名前のフォルダを作成し、
その配下に1カラムのデータが入ったcsvを格納
↓
AthenaでCreate Table。
その際にcsvデータに合わせてカラムは1カラム、PARTITIONはverという名称のものをひとつ設置。
データ参照元は、S3のcsvが格納されている場所を指定
↓
テーブルは作成できるが、SELECT *　をしても、中身が入っていない
```

### 該当のソースコード

```SQL
CREATE EXTERNAL TABLE IF NOT EXISTS hogedb.test_20200728 (
  `acid` string 
) PARTITIONED BY (
  ver string 
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES (
  'serialization.format' = ',',
  'field.delim' = ','
) LOCATION 's3://hogehoge/user/test/ver=2020-07-28/'--この配下にcsvが入っています
TBLPROPERTIES ('has_encrypted_data'='false');
```

### 試したこと

・csvにそもそもデータが入っているかどうか確認済み(1カラムのデータ)

・CREATE TABLEにおけるLOCATIONの指定を、/test/で止めてみた
　→結果変わらず

・CREATE TABLEにおけるLOCATIONの指定を.csvまで指定してみた
　→テーブル作成ダイアログにてエラーが出ました

### 補足情報（FW/ツールのバージョンなど）

特になし

Amazon Athena