PostgreSQLに保管しているデータから、期間を指定してデータフレーム化したい

Question

表題の件がうまくいかず、知見をお持ちの方にご協力いただきたく投稿しました。

PostgreSQL内データを、期間を指定してデータフレーム化したいのですが
以下のようなエラーが発生しています。

「＞」が問題のようなのですが、調べた限り他の記載の方法が不明でした。
できれば、「今日から数えて３０日間」のように期間指定したいです。
抽出条件について、ご享受お願いします。

前提要件

・DBのテーブル名は「TEST」
・日付のカラム名は「date」で、まだデータタイプはは'date'になっています。
・DBへの接続は問題ありません。

エラー内容

import psycopg2
import pandas as pd
from sqlalchemy import create_engine

df = pd.read_sql(sql='SELECT * FROM TEST WHERE "date" > 2022/04/01; ', con=engine)
df

なお、上記コード内の「WHERE "date" > 2022/04/01」を抜くと、問題なくデータフレームの表示ができました。

ProgrammingError: (psycopg2.errors.UndefinedFunction) 演算子が存在しません: date > integer
LINE 1: ...ELECT * FROM TEST WHERE "date" > 2022/04/...
                                                                                   ^
HINT:  指定した名称と引数の型に合う演算子がありません。明示的な型キャストが必要かもしれません。

[SQL: SELECT * FROM TEST WHERE "date" > 2022/04/01; ]
(Background on this error at: https://sqlalche.me/e/14/f405)

データフレーム化したあとに日付で指定するしかないんですかね。。。。

以上、よろしくお願いします。

Comments

[melian]

SQL は全く分からないのですが、
df = pd.read_sql(sql="SELECT * FROM TEST WHERE `date` > '2022/04/01'; ", con=engine)
とするとよいかもしれません。

[karakarakarappo]

コメントありがとうございます。
その場合も試したのですが、「2022/04/01という列は存在しません」みたいなErrorが返ってきたため、この記載方法は誤っているのだと考え、質問には記載しておりませんでした。

現状他の書き方も試しているのですが、まだ解決には至っておりません。

[melian]

先のコメントで書きました以下をそのままコピペして試してみて下さい。

df = pd.read_sql(sql="SELECT * FROM TEST WHERE `date` > '2022/04/01'; ", con=engine)

[karakarakarappo]

コメントありがとうございます。はい、コピペで試しました。
以下のような構文エラーとなりました。

ProgrammingError: (psycopg2.errors.SyntaxError) ">"またはその近辺で構文エラー
LINE 1: ...ELECT * FROM TEST WHERE `date` > '2022-04...
^

[SQL: SELECT * FROM TEST WHERE `date` > '2022-04-01'; ]
(Background on this error at: https://sqlalche.me/e/14/f405)

そもそも「＞」というのを認識しないようです。
追加でコメントいただけることがありましたら、引き続きよろしくお願い致します。

Answer 1

PostgreSQLは2022/04/01という部分を数値と解釈し(2022÷4÷1)、数値と日付型を比較しようとしてエラーになっています。

したがって、2022/04/01という部分をPostgreSQLが日付として解釈できるような値に変えてやる必要があります。たとえば以下のようにすればよいでしょう。

SELECT * FROM TEST WHERE date > '2022-04-01'

参考: https://www.postgresql.org/docs/current/datatype-datetime.html

---

できれば、「今日から数えて３０日間」のように期間指定したいです。

やりかたはいろいろあると思いますが、たとえば以下のようにするのはどうでしょうか?

SELECT * FROM test WHERE date > CURRENT_DATE - INTERVAL '30 DAY'

Comments

[karakarakarappo]

コメント頂きありがとうございます。
頂いた内容がすごいそれっぽかったのですが、以下のようにエラーが吐き出されました。

"""
ProgrammingError: (psycopg2.errors.UndefinedColumn) 列"2022-04-01"は存在しません
LINE 1: ...ELECT * FROM test WHERE date > "2022-04-0...
^

[SQL: SELECT * FROM test WHERE date > "2022-04-01"]
(Background on this error at: https://sqlalche.me/e/14/f405)
"""

記載いただいたものは、pythonを通していない、SQL文ということでよろしいでしょうか。

また、SQLからデータフレームに変換するタイミングで読み取りがバグっているのかと思いデータ型の確認をしてみたのですが、なんでかタイプがobjectになっていて、これも原因の１つになっているのではと感じております。。。

#print(df.dtypes)
#date object

なにか追加でご教示いただけることがありましたら、再度コメントよろしくお願い致します。

[neko_the_shadow]

2022-04-01をダブルクオーテーション(")ではなくて、シングルクォーテーション(')で囲む必要があります。

参考: https://www.postgresql.jp/document/11/html/sql-syntax-lexical.html#SQL-SYNTAX-IDENTIFIERS

[karakarakarappo]

再度コメントありがとうございました。
また、正しい書き方についてご教示頂きありがとうございます。

しかし、シングルクォーテーション(')で囲んだ場合だと、構文エラーが発生していたため、ダブルクオーテーション(")で試したものを記載しておりました。

df = pd.read_sql(sql= 'SELECT * FROM ttest WHERE date > '2022-04-01';' , con=engine)
^
SyntaxError: invalid syntax

恐れ入りますが、他に考えられるエラーの原因はご存じないでしょうか。
よろしくお願い致します。

[neko_the_shadow]

Python文字列の囲み文字をダブルクォーテーションにするか、エスケープシーケンスを利用するとよいかと思います。
"SELECT * FROM ttest WHERE date > '2022-04-01';"
'SELECT * FROM ttest WHERE date > \'2022-04-01\';'

[karakarakarappo]

再度のコメントありがとうございます。

以下のコードに変換することで対応できました。
非常に助かりました、誠にありがとうございます。

"SELECT * FROM ttest WHERE date > '2022-04-01';"