Python sqlite3.OperationalError について

Question

質問失礼します。現在私はRosetta-beta3というPythonで書かれたプログラムを使うことを検討しています。
モデルはANN_Module.py, DB_Module.py, Rpredict.pyから構成されており、作成者様はRpredict.pyを回すだけでターゲットを導出できるとされています。
しかし、プログラムを回してみると以下のようなエラーが表示されました。

Traceback (most recent call last)
　File "Rpredict.py", line86, in <module>
　　ptf_model=PTF_MODEL(2, db)
 File "ANN_Module.py", line 717, in_init_
    self.ann_models.append(ANN_MODEL(self.model_id[i],db))
 File "ANN_Module.py", line 602, in_int_
    cursor.execute(self.ann_query_clause % (model_id))
sqlite3.OperationalError: Could not decode to UTF-8 column 'ann_bin' with text' d1a552(以下文字化け）

このエラーについて調べたところ、UTF-8へのデコードが文字化けしてできないことが原因ということで、
その前にtext_factoryをstrに定義するとよい、と書いてありました。

そこでimportもとであるDB_Module.pyを確認してみたのですが,すでに self.conn.text_factory = str
と定義されていました。このためどこを訂正すればよいのか分からない状態にあります。
まだまだPythonに不慣れで必要な情報を載せることが出来ているか分かりませんが、
何卒よろしくお願いいたします。

（追記）
OSはwindouws7, PythonはPython 3.6 -64bitです。現在テストとしてコマンドプロンプトからテストデータを指定し、
Rpredict.pyを回しています。
ダウンロードURL（論文です。ページ下部、Supplementary resource Rosetta3 codeからダウンロード、ファイルを解凍し、コード、
テストデータを得ました。）
https://www.researchgate.net/publication/312491306_Weighted_Recalibration_of_the_Rosetta_Pedotransfer_Model_with_Improved_Estimates_of_Hydraulic_Parameter_Distributions_and_Summary_Statistics_Rosetta3

Comments

[quickquip]

実行してるOSがなにか、 Pythonのバージョンとどうやってインストールしたのか、なにをどうやって実行しているのかを質問に書きましょう。

[kokono]

ありがとうございます。OSとPythonのバージョンを追記させていただきました。申し訳ありません、インストールについて正確に答えられているか分からないのですが、Pythonのオフィシャルサイトからのダウンロードで、使用しているのはIDLEです。Rosettaについては研究機関のHPからPythonファイル形式でダウンロードしました。

[hope_mucci]

プログラムの入手方法、テストデータを用意する方法の詳細な説明を追記してください。
（件のプログラムを知らない回答者がテストできるようにするためです）
現状の文章ではRosettaが何なのかすらわかりません。研究機関とやらも何ぞや？です。

[kokono]

ありがとうございます。Rosettaのプログラム入手方ですが、以下のアドレス(論文です）のページ下部、
Supplementary resource　Rosetta3 code　というところからダウンロードしました。ファイルを解凍し、プログラム、テストデータを得ました。
URL
https://www.researchgate.net/publication/312491306_Weighted_Recalibration_of_the_Rosetta_Pedotransfer_Model_with_Improved_Estimates_of_Hydraulic_Parameter_Distributions_and_Summary_Statistics_Rosetta3

[quickquip]

質問に書きましょう

Answer 1

追記

Rpredict.pyに#tested on python 2.7と記載されおり、文字通りpython2系でしかうまく動作できません。
python3.xでは後述のsqlite型変換がうまくいかずエラーとなるようです。

※このプログラム自体は2001年に作成されたもののようです。python3.xで動かないのも納得。

python2系をインストールし、そちらの環境で実行してみてください。何も修正せずエラーなく実行できることを確認しました（python 2.7.17）

python 3.x で実行できない原因の推測

• バイナリデータ（=文字列としてエンコードできるデータではない）が入っているblob型のann-binが変にTEXTとして推定されてしまいfetch時にエラーが発生する

ann-binは先頭数十バイト分がascii文字なので、これが原因でライブラリ側にTEXT型と推定されてしまっているのかもしれませんが、全く同じデータを別テーブルに入れてSELECTするとbytes扱いになったりするので条件がよくわかりません。

また、sqlite版のデータはMySQL版のDDLを雑に変換して投入しているようで、本来sqliteが持っている型情報と一致しません。このような部分もSELECT時の型の扱いを邪魔している可能性があります。
私もtext_factoryや処理中の型変換をいろいろいじってみましたが、解決策として紹介できるような有用な対策はありませんでした。
text_factory = bytesにして他のTEXT型の変数をひたすらbytesで動くように変更すれば統計の表示までは出るようになりましたが最終結果の出力まではできませんでした。

消極的な解決策ではありますがsqlite版はあきらめて同梱のMySQL版のデータを使用したほうがよろしいかと思います。

Comments

[teamikl]

コメントに str なのに # needed to get the binary data from sqlite と書かれてたので、python2.7 用のコードっぽいですね

[hope_mucci]

コメントありがとうございます。Rpredict.pyに#tested on python 2.7 って書いてありました。Readme的なドキュメントに書いてくれればいいのに・・・

[hope_mucci]

回答を改訂しました。python2.xで動かしてみてください。

[kokono]

ありがとうございます、2.x環境で動かそうと思います。この度はありがとうございました。

Answer 2

エラーから察するにann_binという列の値を読み出す際にbytes型をUTF-8にデコードできないことが原因に思います。文字コードは分かりますでしょうか?分かるのであれば、str関数の代わりにその文字コードに変換する関数を与えれば良い気がします。例えば文字コードがcp932の場合

self.conn.text_factory = lambda b: b.decode('cp932')

でしょうか。入力がbytes型なのでいっそのこと

self.conn.text_factory = bytes

とすれば動くような気がいたしますが、弊害は大きいかも知れません。

Comments

[kokono]

ありがとうございます。こちらで実行してみます。