googlecolabでの文字化けに苦しんでいます、、

Question

前提

google colabで日本語が格納されているタプルを出力しようとすると，意味不明な文字列が出力されます．

実現したいこと

• 日本語を出力する．

発生している問題・エラーメッセージ

以下のように，意味不明な文字列が出力されます．また，数字はこのままで正しいです．

('æ\x98\x94', 0.030993257390992755),
 ('ã\x82«ã\x83\x83ã\x83\x97ã\x83«', 0.020161578764507974),
 ('ã\x82·ã\x83¥ã\x83¼ã\x83«', 0.020161578764507974),
 ('ç\x94º', 0.020161578764507974),
 ('¨ä½\x93', 0.020161578764507974),
 ('å\x89£å¿\x83', 0.020161578764507974),

該当のソースコード

!pip install plsa

!pip install nltk

import nltk
from nltk.corpus import wordnet

# 必要なパッケージ、データ、ドキュメントのダウンロード (時間がかかる)
nltk.download('all')
wordnet.synsets('car')

import sys
import matplotlib.pyplot as plt
%matplotlib notebook

sys.path.append('..')

from plsa import Corpus, Pipeline, Visualize
from plsa.pipeline import DEFAULT_PIPELINE
from plsa.algorithms import PLSA
from plsa.preprocessors import remove_non_ascii, to_lower ,remove_numbers ,tokenize ,LemmatizeWords ,RemoveStopwords 


csv_file = '/content/testdata__1.csv'


pipeline = Pipeline(to_lower, remove_numbers, tokenize)
pipeline

corpus = Corpus.from_csv(csv_file, pipeline)
corpus

n_topics = 5

plsa = PLSA(corpus, n_topics, True)
plsa

result = plsa.fit()

result = plsa.best_of(5)

result.topic

result.word_given_topic[0][:10] 

resultの中身は日本語が入っています．

また，word_given_topicはPLSAというPYPIで公開されている外部ライブラリのサブモジュールになります．

補足

GW 昼過ぎ 時間 せい 駐車 探し 0 分 場所 ため 時間 ロス 町並み 水路 ところ 人 べた 観光 地 朝一 実感 ところ
期待 通り 歴史 町並み 大原 美術 施設 巡り 船 食事 買い物 間 時間 一日
桃太郎 博物 最初 館 0 番 場所 ちくわ 笛 演奏 シュール
町 全体 美観 地区 昔 建物 店舗 開店 前 多く 人だかり 景色
ゴールデン ウィーク 混雑 想像 以上 コンパクト 感じ 街 散策 次 時期 散策
雨 分 土産 地区 トイレ 整備
白壁 建物 おしゃれ 店 川 そば 日 照明 家屋 証券 会社 表 黒板 チョーク 情報 文字 びっくり
川船 本当 昔 タイム スリップ 感じ 映画 ドラマ 撮影 場所 納得 結婚 写真 カップル 何 組
倉敷 仕事 滞在 仕事前 一 時間 美観 地区 雰囲気 店
イムズ 平日 以外 市営 駐車 買い得
幼児 店 こと 雰囲気 写真 所 川沿い 桜 蕾 満開 想像 子ども
街並み 日常 空間 こと 街 川 雰囲気 舟 マッチ ジーンズ 街 ジーンズ ショップ 点在 ジーンズ 小物 魅力
0 月 中旬 当り 梅 花 桜 木 桜 時期 訪問 所 写真 散策
毎年 0 度 家族 雰囲気 街 建物 情緒 店
ろう 剣心 撮影 場所 閑静 街並み バウムクーヘン 店 菓子 一緒 マスカット アイス 所
街並み 駐車 食べ歩き 店 だんご 岡山 デニム 店
何 写真 絵 感じ 白鳥 店
倉敷 駅 前 ホテル 途中 商店 こと 店 通り 何 こと 食べ歩き 店 川 景観
コロナ 禍 中 人込み 天候 少々 目当て 土産 帰り 雨
街中 美観 地区 方 皆 親切 街中 人 食べ物
コロナ 人 店 以前 前 ほう たき

Comments

[meg_]

現象の再現確認ができるコードを提示いただけないでしょうか？

[maro]

コードを公開しました．どうぞよろしくお願いいたします．

[Demerara]

csv ファイルの文字コードは何ですか？UTF-8 ですか？Shift-JIS ですか？
あと、csv となっていますがコンマが見当たりません。各行の値の数がバラバラです。正確な csv ファイルを提示していただけませんか？

Answer 1

from_csvにも記載のとおりencodingを指定していないとlatin-1として読み込まれ、日本語を含むutf-8などは文字化けします。encodingを指定してください。

s = '昔'.encode('utf-8')
s = s.decode('latin-1')
print((s,)) # ('æ\x98\x94',)

s = s.encode('latin-1')
s = s.decode('utf-8')
print((s,)) # ('昔',)

Comments

[maro]

返信が遅くなり，申し訳ありません．
訂正したところ，期待通りの結果が得られました．