OSCobol：画面の切り替わりをきっかけに日本語を使うと"▒~A~B"文字化けします

Question

OpenSourceCobol、Cなどに詳しい方ご教授いただければ幸いです。
###前提・実現したいこと　期待する結果と実際の結果とコード
出力位置を制御するDISPLAY LINE COLが日本語の場合文字化けしてしまいます。
DISPLAY LINE COL
ACCEPT LINE COL
で日本語を文字化けせず使いたいです。

コンパイル
cobc -x main.cbl

下のような簡単なコードが文字化けしてしまいます。

//       IDENTIFICATION DIVISION.
//       PROGRAM-ID.             TEST01.
//       ENVIRONMENT DIVISION.
//       DATA DIVISION.
//       WORKING-STORAGE SECTION.
            01  ABC   PIC N(1).
            01  KAKUNIN   PIC X(3).
//       PROCEDURE DIVISION.
//       MAIN-START.
           DISPLAY "あ" LINE 5 COL 5.
           DISPLAY "い" LINE 6 COL 5 .
           DISPLAY "う" LINE 7 COL 5 .

           DISPLAY "か" LINE 5 COL 10 .

           DISPLAY "く" LINE 7 COL 10 .

           DISPLAY "さ" LINE 5 COL 15 .
           DISPLAY "し" LINE 6 COL 15 .
           DISPLAY "す" LINE 7 COL 15 .

           ACCEPT ABC  LINE 6 COL 10.
           DISPLAY ABC LINE 8 COL 10.
           ACCEPT KAKUNIN LINE 9 COL 10.
//       MAIN-END.
//           STOP RUN.
```
期待する結果
```結果
//アンダーバーのところにACCEPTで文字を入力して
あ　　か　　さ
い　　＿　　し
う　　く　　す　　　
//こんな感じになるようにしてみたい
あ　　か　　さ
い　　き　　し
う　　く　　す
　　　き

//出力の結果が以下のように文字化けします
    ▒~A~B▒~A~K▒~A~U
    ▒~A~D▒~ ~M▒~A~W
    ▒~A~F▒~A~O▒~A~Y
         ▒~A~M
```
###対処法、ヒントになること小さなことでもご教授いただきたいです
1. COBOLの書き方でDISPLAY LINE COL以外で対処できる方法
2. OSCobolのコードを拡張してLINE COLを日本語でも文字化けしないよう修正する方法
3. 他の言語で同じような現象など
###試したこと・調べたこと：文字化けするきっかけを探りました
LINE COL を使うとACCEPTの入力待機時に画面が切り変わるのが文字化けのきっかけと予想しています。英数字を入力すると文字化けせず期待どおりに表示されます。
・ACCEPTで入力時に画面が切り替わると文字化け
・LINE COLを使わない状態だとACCEPTで入力時に画面が切り替わらない場合は文字化けしない
```COBOL
//変数は01 ABC PIC N(10).と宣言しました。
//01 ABC PIC X(10).も試した結果同様でした。
//文字化けしない
           DISPLAY "a" 
           ACCEPT ABC.
           DISPLAY ABC.
```
```COBOL
//文字化けしない
           DISPLAY "あ" LINE 1 COL 1. 
```
```COBOL
//文字化けしない
           DISPLAY "あ". 
           ACCEPT ABC.
```

```COBOL
           DISPLAY "a" LINE 1 COL 1. //〇　aと正しく表示されます
           ACCEPT ABC.//×　文字化け　▒~A~B　こんな風になります
           DISPLAY ABC.//〇　一瞬だけ"あ"と表示されて終了
```
```COBOL
           DISPLAY "あ" LINE 1 COL 1.//文字化け　▒~A~B　こんな風になります 
           ACCEPT ABC.
```
```COBOL
           DISPLAY "a" LINE 1 COL 1.
           ACCEPT ABC. //文字化け　▒~A~B　こんな風になります
           DISPLAY ABC.//"あ"と正しく表示されます
           ACCEPT ABC.//文字化け　▒~A~B　こんな風になりENTERで終了されます
```

```COBOL
//一瞬画面が切り替わり文字が見えないまま終了される
           DISPLAY "a" LINE 1 COL 1.
```
```COBOL
//画面の切り替わりはなくaと正しく表示される
           DISPLAY "a".　
```

###試したこと・調べたこと：Cに変換されたソース
[OSCobol のUtf8=https://www.osscons.jp/osscobol/download/v1_5j/](https://www.osscons.jp/osscobol/download/v1_5j/)

下記の3つのコードが深く関係していると考えて調べているところです。
cobc.c→cobc.h→libcob.h→codegen.h→codegen.c→Cに変換したコードを生成
cobc.c→cobc.h→libcob.h→termio.h→DISPLAY、ACCEPTの動きに重要そうな関数発見
cobc.c→cobc.h→libcob.h→common.h→common.c
・opensource-cobol-1.5.1J\libcob\codegen.c
```
cobc -C main.cbl 
をするとcodegen.cでCに変換されます
main.cbl→main.c
COBOLのDISPLAY、ACCEPT文はcob_display,cob_acceptに変換されているようでした。
```
cob_display,cob_acceptはtermio.hで定義されています。
・opensource-cobol-1.5.1J\libcob\termio.h

```C
47 static void display_numeric (cob_field *f, FILE *fp) {
82 static void pretty_display_numeric (cob_field *f, FILE *fp){
149 static void display_alnum (cob_field *f, FILE *fp){
159 static void display (cob_field *f, FILE *fp) {
207 void cob_display (const int outorerr, const int newline, const int varcnt, ...){
```

・opensource-cobol-1.5.1J\libcob\common.h
```C
頻繁に出てくるcob_field,cob_field_attrは型宣言struct
320 /* Field attribute structure */
typedef struct {
	unsigned char	type;		/* Field type */
	unsigned char	digits;		/* Digit count */
	signed char	scale;		/* Field scale */
	unsigned char	flags;		/* Field flags */
	const char	*pic;		/* Pointer to picture string */
} cob_field_attr;

/* Field structure */
typedef struct {
	size_t			size;		/* Field size */
	unsigned char		*data;		/* Pointer to field data */
	const cob_field_attr	*attr;		/* Pointer to attribute */
} cob_field;
```

###試したこと・調べたこと：localeをja_JP.UTF-8
```ここに言語を入力
$ vi /etc/sysconfig/i18n
#LANG="en_US.UTF-8" //コメントアウト
LANG="ja_JP.UTF-8" //追加

$ locale
LANG=ja_JP.UTF-8
LC_CTYPE="ja_JP.UTF-8"
LC_NUMERIC="ja_JP.UTF-8"
LC_TIME="ja_JP.UTF-8"
LC_COLLATE="ja_JP.UTF-8"
LC_MONETARY="ja_JP.UTF-8"
LC_MESSAGES="ja_JP.UTF-8"
LC_PAPER="ja_JP.UTF-8"
LC_NAME="ja_JP.UTF-8"
LC_ADDRESS="ja_JP.UTF-8"
LC_TELEPHONE="ja_JP.UTF-8"
LC_MEASUREMENT="ja_JP.UTF-8"
LC_IDENTIFICATION="ja_JP.UTF-8"
LC_ALL=
```

###何かヒントとなることでも頂けると助かります
OSCobolを使っている方、他の言語で似たようなことになったことがある方、引き続き調べて、必要な情報など追記できればと思っていますのでコメントいただきたくよろしくお願いいたします。
###OpensourceCobol utf8のインストール
```ここに言語を入力
sudo yum groupinstall "Development Tools"
sudo yum install gmp-devel db4 db4-devel ncurses-devel
cd /home/vagrant
wget opensource-cobol-1.5.1J "https://www.osscons.jp/osscobol/files/?action=cabinet_action_main_download&block_id=414&room_id=21&cabinet_id=11&file_id=382&upload_id=761"
./configure --enable-utf8
make
make install
```

###環境
ユーザー /home/vagrant
Vagrant VertualBOX
CentOS release 6.7
```ここに言語を入力
vagrant box add centos6-7 https://github.com/CommanderK5/packer-centos-template/releases/download/0.6.7/vagrant-centos-6.7.box

```gcc
OpenSourceCobol 1.5.1.0 utf8
TeraTerm
win10コマンドプロンプト chcp 65001

###Cobolコンパイルと実行
```ここに言語を入力
cobc -x main.cbl
./main
```

###環境export -p
```ここに言語を入力
[vagrant@localhost ~]$ export -p
declare -x G_BROKEN_FILENAMES="1"
declare -x HISTCONTROL="ignoredups"
declare -x HISTSIZE="1000"
declare -x HOME="/home/vagrant"
declare -x HOSTNAME="localhost.localdomain"
declare -x LANG="ja_JP.UTF-8"
declare -x LESSOPEN="||/usr/bin/lesspipe.sh %s"
declare -x LOGNAME="vagrant"
declare -x LS_COLORS="省略"
declare -x MAIL="/var/spool/mail/vagrant"
declare -x OLDPWD
declare -x PATH="/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/vagrant/bin"
declare -x PWD="/home/vagrant"
declare -x SHELL="/bin/bash"
declare -x SHLVL="1"
declare -x SSH_CLIENT="省略"
declare -x SSH_CONNECTION="省略"
declare -x SSH_TTY="/dev/pts/0"
declare -x TERM="cygwin"
declare -x USER="vagrant"
```

###cobolソースの文字コードとCに変換したソースの文字コード
nkfをインストールして使いました。

win10コマンドプロンプトで実行
```ここに言語を入力
yum install nkf
[vagrant@localhost ~]$ cobc -x main.cbl
[vagrant@localhost ~]$ nkf -g main.cbl
UTF-8 (LF)
[vagrant@localhost ~]$ cobc -C main.cbl
[vagrant@localhost ~]$ nkf -g main.c
[vagrant@localhost ~]$ ls
main  main.c  main.c.h  main.c.l.h  main.cbl
```
Teratermで実行
```ここに言語を入力
[vagrant@localhost ~]$ cobc -x main.cbl
[vagrant@localhost ~]$ nkf -g main.cbl
UTF-8 (LF)
[vagrant@localhost ~]$ cobc -C main.cbl
[vagrant@localhost ~]$ nkf -g main.c
UTF-8 (LF)
[vagrant@localhost ~]$ ls
main    main.c.h    main.cbl
main.c  main.c.l.h
```

```Cobol
       IDENTIFICATION DIVISION.
       PROGRAM-ID.             TEST01.
       ENVIRONMENT DIVISION.
       DATA DIVISION.
       WORKING-STORAGE SECTION.
            01  ABC   PIC N(5).
            01  KAKUNIN   PIC X(3).
       PROCEDURE DIVISION.
       MAIN-START.

           DISPLAY "あ" LINE 2 COL 1.
           ACCEPT ABC.

       MAIN-END.
           STOP RUN.
```
結果はこうなりました
Teratermで実行
```ここに言語を入力
筐A~D　→い、と入力
筐A~B　→DISPALY "あ"表示
```
win10コマンドプロンプトで実行
```ここに言語を入力
▒~A~D　→い、と入力
▒~A~B　→DISPALY "あ"表示
```
###Cソースをgcc -gを試してみました。
あとの検証に役立つかもと思い追記します。
Cでincludeがうまくいってないと思っています
```ここに言語を入力
[vagrant@localhost ~]$ gcc -g main.c
/usr/lib/gcc/x86_64-redhat-linux/4.4.7/../../../../lib64/crt1.o: In function `_start':
(.text+0x20): undefined reference to `main'
/tmp/ccr0Fl4n.o: In function `TEST01_':
/home/vagrant/main.c:61: undefined reference to `cob_current_module'
/home/vagrant/main.c:62: undefined reference to `cob_current_module'
/home/vagrant/main.c:63: undefined reference to `cob_push_call_stack_list'
/home/vagrant/main.c:68: undefined reference to `cob_initialized'
/home/vagrant/main.c:69: undefined reference to `cob_fatal_error'
/home/vagrant/main.c:71: undefined reference to `cob_check_version'
/home/vagrant/main.c:73: undefined reference to `cob_set_cancel'
～cob_displayなどが未定義ということで途中記載省略～
/home/vagrant/main.c:198: undefined reference to `cob_stop_run'
collect2: ld はステータス 1 で終了しました
```

Comments

[hotta]

CentOS にログインするのに使っている端末ソフトの名前や、環境変数 LANG の値なども【質問欄に】追記願います。あと、フォルダ区切りが "\" になっていますが、Cobol は Linux 側でビルド＆実行しているんですよね？

[ogohyo]

修正のご依頼ありがとうございます。CobolはLinux側のVagrantユーザーディレクトリでビルド＆実行しています。OScobolの中身を調べるためにWin10に置いたデータのパスを載せました。環境変数LANG、Locale、端末を追記しました。

[hotta]

Locale と declare ... を表示したコマンド行も（プロンプトと）合わせて記載してください。なお、コンパイル後のバイナリの実行も Linux 側で行っているんですよね？

[hotta]

LANG="en_GB.UTF-8" ってどこから来たんでしょうね。バイナリを実行しているユーザーのホームディレクトリ上で、grep -r en_GB.UTF-8 . した結果を貼ってください。

[ogohyo]

"en_GB.UTF-8"で調べていますが試しに"ja_JP.UTF-8"で試したことをお伝えしたく追記しました。説明不足で失礼いたしました。結果は同じでしたので"en_GB.UTF-8"でその後も実行しています。

[hotta]

LANG=ja_JP.UTF-8 と LANG=en_GB.UTF-8 のどちらが現在の設定なんですか？

[ogohyo]

$ cd→$ pwd→$ /home/vagrant でgrep -r en_GB.UTF-8を実行した結果何も出てきませんでした。rootで実行するとかなり長い結果が出てきたのですが貼った方がよろしいでしょうか？

[hotta]

en_GB.UTF-8 にせよという情報はどこから持ってきたんでしょうか？

[ogohyo]

早速のご返信ありがとうございます。vi /etc/sysconfig/i18nで"en_GB.UTF-8" にしています。

[hotta]

いや設定箇所じゃなくて、そうしなさいという指示の情報です。マニュアルかなにかに書いてあるなら、その URL を教えてください。

[ogohyo]

特にどこかの情報を参考にしたわけではないのですが、CentOSのデフォルトのまま実行しました。

[hotta]

CentOSのデフォルト？日本語を扱うプログラムを開発するのに、英国英語（en_GB.UTF-8）でインストールしたんですか？

[ogohyo]

https://qiita.com/TakashiOshikawa/items/d2fb48d59e9e316af9a2

[ogohyo]

vagrant box add centos6-7 https://github.com/CommanderK5/packer-centos-template/releases/download/0.6.7/vagrant-centos-6.7.box

[ogohyo]

CentOSのインストールはこちらの記事を参考させていただきました。

[hotta]

わかりました。en_GB.UTF-8 はおそらく忘れてもらっていいので、すべて ja_JP.UTF-8 に統一してください。その後、bash のコマンドライン上で echo 日本語 とやって、日本語が正しく表示されることを確認してください。

[ogohyo]

ありがとうございました。ja_JP.UTF-8にしてecho 日本語正しく”日本語”と表示されました。en_GB.UTF-8でも同様に”日本語”と表示されました。質問文をja_JP.UTF-8での結果に変更いたします。

[hotta]

次は、COBOL ソース（ただし日本語リテラルを含むもの）とそれから生成された C のソースのエンコーディングが、いずれも UTF-8 になっていることを確認してください。

[hotta]

再現性はありそうですね。念のため TeraTerm で実行した際の、プロンプトと起動コマンドも合わせて記載してください。Win10 のコマンドプロンプトは問題を複雑にするので、とりあえず後回しです。あとは、こちらで同じ環境を作って再現してみたいですが、私も COBOL は初めてなので、ちょっと時間がかかりそうです。

[ogohyo]

至らぬ質問にお付き合いいただき感謝します。LinuxもCもCobolも未熟ですが問題にぶつかるほど知識がつくので乗り越えたいと思っています。

Answer 1

ちょっとopensource-cobolのソースを見てましたが、DISPLAY LINE COLでの表示は、ncursesライブラリを用いて行われているようです。

opensource-cobolのmake時には、普通のncursesがリンクされているようで、この状態では日本語の表示は不可能です。

無理やりMakefileをいじって、ワイド文字対応のncurseswをリンクしてみたら、日本語の表示ができるようになりました。

opensource-cobolの開発元に、ncursesの代わりにncurseswをリンクするように直してくれとお願いするしかないと思います。

Comments

[ogohyo]

Harahira様
DISPLAY LINE COLは./configureで-lncurseswにリンクするようにしたらおっしゃるとおり日本語表示できました。
ACCEPT LINE COLはscreeniio.cのcob_field_acceptが問題のようで、まだ文字化けしてしまいます。hotta様に環境変数などOS設定の確認事項を教えていただいたので、これはそもそもマルチバイトに対応していないのではと思い書き換えにトライしています。
長引きそうなのでこの質問は閉じたいと思います。
ありがとうございました。またよろしくお願いいたします。