質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
87.20%
Flask

FlaskはPython用のマイクロフレームワークであり、Werkzeug・Jinja 2・good intentionsをベースにしています。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Docker

Dockerは、Docker社が開発したオープンソースのコンテナー管理ソフトウェアの1つです

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

解決済

Python+Flask+PandasでAS400のデータを抜き出す際の文字化けについて

horio
horio

総合スコア13

Flask

FlaskはPython用のマイクロフレームワークであり、Werkzeug・Jinja 2・good intentionsをベースにしています。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Docker

Dockerは、Docker社が開発したオープンソースのコンテナー管理ソフトウェアの1つです

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

2回答

0評価

0クリップ

217閲覧

投稿2022/05/10 07:12

編集2022/05/26 10:47

Python+Flask+PandasでAS400のデータを抜き出す際の文字化けについて

Python+Flask+PandasでDBMSからデータ抽出する簡易的なシステムを構築し、Dockerコンテナ化して稼働させる取り組みをしています。
Dockerホスト機としてはQNAPのNASを、クライアント機としてはWin10のChromeブラウザを使用しています。

複数のDBMSからデータを抜き出す必要があるのですが、その内でAS400(IBMi)からデータを抜き出し、HTML表示すると一部の文字だけが化けてしまう事象に嵌っています。
文字のエンコードとしてはUTF-8に統一していると思っています。

【化ける文字の一部】
勝、線、ミ、高、川、竜、寛、軟…(気になるのは全て3バイト目が”9〇”の文字になります)
ブラウザで確認するとこうなる(↑ブラウザ表示の例です。”高木”と出力しています。)

コンテナ内からisqlでAS400に接続し、データを抜き出した場合は文字化けしませんでした。
何か妙案等をご存じの方がいらっしゃいましたら、ご教示を宜しくお願い致します。

以下、ソースコードになります。

app.py

from flask import Flask, render_template, request, make_response from flask_bootstrap import Bootstrap from AS400 import * import pandas as pd app = Flask(__name__) bootstrap = Bootstrap(app) # ホームページ @app.route('/') def index(): return render_template('index.html') # PSQL用 # ここは上手く行くので割愛 # AS400用 @app.route('/AS400') def AS400(): return render_template('AS400.html') # 結果の表示ページ @app.route('/result', methods=['GET', 'POST']) def result(): # データフレームを生成 df = AS400_df() if request.method == 'POST': if 'generate' in request.form: # データフレームをhtmlに変換 classes = 'table table-striped table-bordered table-hover table-sm thead-dark' df_result = df.to_html(index=True, classes=classes) return render_template('result.html', \ dataframe = df_result) else: return render_template('index.html') def get_key_from_values(dict, val): return [k for k, v in dict.items() if v == val] if __name__=='__main__': app.run(host='0.0.0.0', port=ポート番号, debug=True)

AS400.py

from sqlalchemy import create_engine import urllib import pandas as pd quoted = urllib.parse.quote_plus("DSN=AS400DSN;uid=UID;pwd=PWD?charset=utf8") engine = create_engine('ibm_db_sa+pyodbc:///?odbc_connect={}'.format(quoted)) def AS400_df(): # SQLを生成 sqlstring = "適当なSQL" # フレームを生成 df = pd.read_sql(sql=sqlstring, con=engine) return df

index.html

{% extends 'base.html' %} {% block title %}INDEX{% endblock %} {% block content %} <div class="container"> <form action="/result" method="POST"> <h2>index</h2> </div> {% endblock %}

AS400.html

{% extends 'base.html' %} {% block title %}AS400{% endblock %} {% block content %} <div class="container"> <h1><u>AS400</u></h1> <form action="/result" method="POST"> <input type="submit" class="btn btn-primary btn-lg" name="generate" value="表示"> </form> </div> {% endblock %}

base.html

{% extends 'bootstrap/base.html' %} <!DOCTYPE html> <html lang="ja"> <head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <link rel="stylesheet" href="../static/css/style.css"> <title>{% block title %}{% endblock %}</title> </head> {% block body %} <script src="https://code.jquery.com/jquery-3.3.1.slim.min.js"></script> <script src="https://cdnjs.cloudflare.com/ajax/libs/popper.js/1.14.7/umd/popper.min.js"></script> <script src="https://stackpath.bootstrapcdn.com/bootstrap/4.3.1/js/bootstrap.min.js"></script> {% block navbar %} <div class="navbar navbar-inverse" role="navigation"> <div class="container"> <div class="navbar-header"> <button type="button" class="navbar-toggle" data-toggle="collapse" data-target=".navbar-collapse"> <span class="sr-only">Toggle navigation</span> <span class="icon-bar"></span> <span class="icon-bar"></span> <span class="icon-bar"></span> </button> <a class="navbar-brand" href="/">TEST</a> </div> <div class="navbar-collapse collapse"> <ul class="nav navbar-nav"> <li><a href="/">Home</a></li> <li class="nav-item dropdown"> <a class="nav-link text-secondary dropdown-toggle my-2 ml-3" href="#" data-toggle="dropdown" id="navbarDropdownMenuLink" aria-haspopup="true" aria-expanded="false">Tools</a> <ul class="dropdown-menu" aria-labelledby="navbarDropdownMenuLink"> <li><a class="dropdown-item" href="PSQL">PSQL</a></li> <li><a class="dropdown-item" href="AS400">AS400</a></li> </ul> </li> </ul> </div> </div> </div> {% endblock %} {% block content %} {% endblock %} {% endblock %} </html>

result.html

{% extends 'base.html' %} {% block title %}RESULT{% endblock %} {% block content %} <div class="container"> <button type="button" onclick="history.back()">戻る</button> {{ dataframe | safe }} <button type="button" onclick="history.back()">戻る</button> </div>> {% endblock %}

Dokerfile

FROM python:3.8.11-slim-buster RUN pip install --upgrade pip RUN pip install flask RUN pip install flask-bootstrap RUN pip install pandas RUN pip install openpyxl RUN pip install xlsxwriter RUN pip install sqlalchemy # IBMからDLしたAS400(IBMi)のクライアントアクセス # このファイルにODBCが含まれている COPY ./ibm-iaccess-1.1.0.15-1.0.amd64.deb /usr/local/install/ RUN apt-get update && apt-get install -y \ /usr/local/install/ibm-iaccess-1.1.0.15-1.0.amd64.deb \ libpq-dev \ gcc \ g++ \ python-pyodbc \ unixodbc-dev \ unixodbc RUN pip install pyodbc RUN pip install ibm_db RUN pip install ibm_db_sa WORKDIR /App COPY ./App/ /App COPY odbc.ini /etc/ CMD python app.py

Dockerコンテナを生成し、稼働したコンテナ内のODBC情報は以下の通りです。

odbcinst.ini

[IBM i Access ODBC Driver] Description=IBM i Access for Linux ODBC Driver Driver=/opt/ibm/iaccess/lib/libcwbodbc.so Setup=/opt/ibm/iaccess/lib/libcwbodbcs.so Driver64=/opt/ibm/iaccess/lib64/libcwbodbc.so Setup64=/opt/ibm/iaccess/lib64/libcwbodbcs.so Threading=0 DontDLClose=1 UsageCount=1 [IBM i Access ODBC Driver 64-bit] Description=IBM i Access for Linux 64-bit ODBC Driver Driver=/opt/ibm/iaccess/lib64/libcwbodbc.so Setup=/opt/ibm/iaccess/lib64/libcwbodbcs.so Threading=0 DontDLClose=1 UsageCount=1

odbc.ini

[AS400DSN] Description = iSeries Access ODBC Driver Driver = IBM i Access ODBC Driver System = XXX.XXX.XXX.XXX Name = XXX.XXX.XXX.XXX UserID = ユーザID Password = パスワード CCSID = 01208

良い質問の評価を上げる

以下のような質問は評価を上げましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

  • プログラミングに関係のない質問
  • やってほしいことだけを記載した丸投げの質問
  • 問題・課題が含まれていない質問
  • 意図的に内容が抹消された質問
  • 過去に投稿した質問と同じ内容の質問
  • 広告と受け取られるような投稿

評価を下げると、トップページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

まだ回答がついていません

会員登録して回答してみよう

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
87.20%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

Flask

FlaskはPython用のマイクロフレームワークであり、Werkzeug・Jinja 2・good intentionsをベースにしています。

Python 3.x

Python 3はPythonプログラミング言語の最新バージョンであり、2008年12月3日にリリースされました。

Docker

Dockerは、Docker社が開発したオープンソースのコンテナー管理ソフトウェアの1つです

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。