Python+Flask+PandasでAS400のデータを抜き出す際の文字化けについて
Python+Flask+PandasでDBMSからデータ抽出する簡易的なシステムを構築し、Dockerコンテナ化して稼働させる取り組みをしています。
Dockerホスト機としてはQNAPのNASを、クライアント機としてはWin10のChromeブラウザを使用しています。
複数のDBMSからデータを抜き出す必要があるのですが、その内でAS400(IBMi)からデータを抜き出し、HTML表示すると一部の文字だけが化けてしまう事象に嵌っています。
文字のエンコードとしてはUTF-8に統一していると思っています。
【化ける文字の一部】
勝、線、ミ、高、川、竜、寛、軟…(気になるのは全て3バイト目が”9〇”の文字になります)
(↑ブラウザ表示の例です。”高木”と出力しています。)
コンテナ内からisqlでAS400に接続し、データを抜き出した場合は文字化けしませんでした。
何か妙案等をご存じの方がいらっしゃいましたら、ご教示を宜しくお願い致します。
以下、ソースコードになります。
app.py
from flask import Flask, render_template, request, make_response from flask_bootstrap import Bootstrap from AS400 import * import pandas as pd app = Flask(__name__) bootstrap = Bootstrap(app) # ホームページ @app.route('/') def index(): return render_template('index.html') # PSQL用 # ここは上手く行くので割愛 # AS400用 @app.route('/AS400') def AS400(): return render_template('AS400.html') # 結果の表示ページ @app.route('/result', methods=['GET', 'POST']) def result(): # データフレームを生成 df = AS400_df() if request.method == 'POST': if 'generate' in request.form: # データフレームをhtmlに変換 classes = 'table table-striped table-bordered table-hover table-sm thead-dark' df_result = df.to_html(index=True, classes=classes) return render_template('result.html', \ dataframe = df_result) else: return render_template('index.html') def get_key_from_values(dict, val): return [k for k, v in dict.items() if v == val] if __name__=='__main__': app.run(host='0.0.0.0', port=ポート番号, debug=True)
AS400.py
from sqlalchemy import create_engine import urllib import pandas as pd quoted = urllib.parse.quote_plus("DSN=AS400DSN;uid=UID;pwd=PWD?charset=utf8") engine = create_engine('ibm_db_sa+pyodbc:///?odbc_connect={}'.format(quoted)) def AS400_df(): # SQLを生成 sqlstring = "適当なSQL" # フレームを生成 df = pd.read_sql(sql=sqlstring, con=engine) return df
index.html
{% extends 'base.html' %} {% block title %}INDEX{% endblock %} {% block content %} <div class="container"> <form action="/result" method="POST"> <h2>index</h2> </div> {% endblock %}
AS400.html
{% extends 'base.html' %} {% block title %}AS400{% endblock %} {% block content %} <div class="container"> <h1><u>AS400</u></h1> <form action="/result" method="POST"> <input type="submit" class="btn btn-primary btn-lg" name="generate" value="表示"> </form> </div> {% endblock %}
base.html
{% extends 'bootstrap/base.html' %} <!DOCTYPE html> <html lang="ja"> <head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <link rel="stylesheet" href="../static/css/style.css"> <title>{% block title %}{% endblock %}</title> </head> {% block body %} <script src="https://code.jquery.com/jquery-3.3.1.slim.min.js"></script> <script src="https://cdnjs.cloudflare.com/ajax/libs/popper.js/1.14.7/umd/popper.min.js"></script> <script src="https://stackpath.bootstrapcdn.com/bootstrap/4.3.1/js/bootstrap.min.js"></script> {% block navbar %} <div class="navbar navbar-inverse" role="navigation"> <div class="container"> <div class="navbar-header"> <button type="button" class="navbar-toggle" data-toggle="collapse" data-target=".navbar-collapse"> <span class="sr-only">Toggle navigation</span> <span class="icon-bar"></span> <span class="icon-bar"></span> <span class="icon-bar"></span> </button> <a class="navbar-brand" href="/">TEST</a> </div> <div class="navbar-collapse collapse"> <ul class="nav navbar-nav"> <li><a href="/">Home</a></li> <li class="nav-item dropdown"> <a class="nav-link text-secondary dropdown-toggle my-2 ml-3" href="#" data-toggle="dropdown" id="navbarDropdownMenuLink" aria-haspopup="true" aria-expanded="false">Tools</a> <ul class="dropdown-menu" aria-labelledby="navbarDropdownMenuLink"> <li><a class="dropdown-item" href="PSQL">PSQL</a></li> <li><a class="dropdown-item" href="AS400">AS400</a></li> </ul> </li> </ul> </div> </div> </div> {% endblock %} {% block content %} {% endblock %} {% endblock %} </html>
result.html
{% extends 'base.html' %} {% block title %}RESULT{% endblock %} {% block content %} <div class="container"> <button type="button" onclick="history.back()">戻る</button> {{ dataframe | safe }} <button type="button" onclick="history.back()">戻る</button> </div>> {% endblock %}
Dokerfile
FROM python:3.8.11-slim-buster RUN pip install --upgrade pip RUN pip install flask RUN pip install flask-bootstrap RUN pip install pandas RUN pip install openpyxl RUN pip install xlsxwriter RUN pip install sqlalchemy # IBMからDLしたAS400(IBMi)のクライアントアクセス # このファイルにODBCが含まれている COPY ./ibm-iaccess-1.1.0.15-1.0.amd64.deb /usr/local/install/ RUN apt-get update && apt-get install -y \ /usr/local/install/ibm-iaccess-1.1.0.15-1.0.amd64.deb \ libpq-dev \ gcc \ g++ \ python-pyodbc \ unixodbc-dev \ unixodbc RUN pip install pyodbc RUN pip install ibm_db RUN pip install ibm_db_sa WORKDIR /App COPY ./App/ /App COPY odbc.ini /etc/ CMD python app.py
Dockerコンテナを生成し、稼働したコンテナ内のODBC情報は以下の通りです。
odbcinst.ini
[IBM i Access ODBC Driver] Description=IBM i Access for Linux ODBC Driver Driver=/opt/ibm/iaccess/lib/libcwbodbc.so Setup=/opt/ibm/iaccess/lib/libcwbodbcs.so Driver64=/opt/ibm/iaccess/lib64/libcwbodbc.so Setup64=/opt/ibm/iaccess/lib64/libcwbodbcs.so Threading=0 DontDLClose=1 UsageCount=1 [IBM i Access ODBC Driver 64-bit] Description=IBM i Access for Linux 64-bit ODBC Driver Driver=/opt/ibm/iaccess/lib64/libcwbodbc.so Setup=/opt/ibm/iaccess/lib64/libcwbodbcs.so Threading=0 DontDLClose=1 UsageCount=1
odbc.ini
[AS400DSN] Description = iSeries Access ODBC Driver Driver = IBM i Access ODBC Driver System = XXX.XXX.XXX.XXX Name = XXX.XXX.XXX.XXX UserID = ユーザID Password = パスワード CCSID = 01208
まだ回答がついていません
会員登録して回答してみよう