質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.50%
深層学習

深層学習は、多数のレイヤのニューラルネットワークによる機械学習手法。人工知能研究の一つでディープラーニングとも呼ばれています。コンピューター自体がデータの潜在的な特徴を汲み取り、効率的で的確な判断を実現することができます。

Unicode

Unicodeはエンコーディングの標準規格です。1つの文字コード体系で多国語の表現を可能にすることを目指して作られています。

UTF-8

UTF-8は8ビット符号単位の文字符号化形式及び文字符号化スキームです。データ交換方式、ファイル形式としては、一般的にUTF-8が使われる傾向があります。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

1回答

2511閲覧

tensorflowのtensorflow_datasetsからデータを読み込めない.

masaosa

総合スコア18

深層学習

深層学習は、多数のレイヤのニューラルネットワークによる機械学習手法。人工知能研究の一つでディープラーニングとも呼ばれています。コンピューター自体がデータの潜在的な特徴を汲み取り、効率的で的確な判断を実現することができます。

Unicode

Unicodeはエンコーディングの標準規格です。1つの文字コード体系で多国語の表現を可能にすることを目指して作られています。

UTF-8

UTF-8は8ビット符号単位の文字符号化形式及び文字符号化スキームです。データ交換方式、ファイル形式としては、一般的にUTF-8が使われる傾向があります。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

0グッド

0クリップ

投稿2020/12/18 04:42

tensorflowのチュートリアルを今勉強しています.
UnicodeDecodeErrorがでて,imdbデータをロードできません.

pythonimport

1import numpy as np 2 3import tensorflow as tf 4import tensorflow_hub as hub 5import tensorflow_datasets as tfds 6 7# Load compressed models from tensorflow_hub 8os.environ["TFHUB_MODEL_LOAD_FORMAT"] = "COMPRESSED" 9 10print("Version: ", tf.__version__) 11print("Eager mode: ", tf.executing_eagerly()) 12print("Hub version: ", hub.__version__) 13print("GPU is", "available" if tf.config.experimental.list_physical_devices("GPU") else "NOT AVAILABLE") 14# Split the training set into 60% and 40%, so we'll end up with 15,000 examples 15# for training, 10,000 examples for validation and 25,000 examples for testing. 16train_data, validation_data, test_data = tfds.load( 17 name="imdb_reviews", 18 split=('train[:60%]', 'train[60%:]', 'test'), 19 as_supervised=True)

上記はサンプルコードそのままです.実行をすると,

python

1UnicodeDecodeError Traceback (most recent call last) 2<ipython-input-2-e1ef7979aab3> in <module> 3 18 name="imdb_reviews", 4 19 split=('train[:60%]', 'train[60%:]', 'test'), 5---> 20 as_supervised=True) 6 7~\anaconda3\envs\DEEEP\lib\site-packages\tensorflow_datasets\core\api_utils.py in disallow_positional_args_dec(fn, instance, args, kwargs) 8 50 _check_no_positional(fn, args, ismethod, allowed=allowed) 9 51 _check_required(fn, kwargs) 10---> 52 return fn(*args, **kwargs) 11 53 12 54 return disallow_positional_args_dec(wrapped) # pylint: disable=no-value-for-parameter 13 14~\anaconda3\envs\DEEEP\lib\site-packages\tensorflow_datasets\core\registered.py in load(name, split, data_dir, batch_size, in_memory, shuffle_files, download, as_supervised, decoders, with_info, builder_kwargs, download_and_prepare_kwargs, as_dataset_kwargs, try_gcs) 15 298 if download: 16 299 download_and_prepare_kwargs = download_and_prepare_kwargs or {} 17--> 300 dbuilder.download_and_prepare(**download_and_prepare_kwargs) 18 301 19 302 if as_dataset_kwargs is None: 20 21~\anaconda3\envs\DEEEP\lib\site-packages\tensorflow_datasets\core\api_utils.py in disallow_positional_args_dec(fn, instance, args, kwargs) 22 50 _check_no_positional(fn, args, ismethod, allowed=allowed) 23 51 _check_required(fn, kwargs) 24---> 52 return fn(*args, **kwargs) 25 53 26 54 return disallow_positional_args_dec(wrapped) # pylint: disable=no-value-for-parameter 27 28~\anaconda3\envs\DEEEP\lib\site-packages\tensorflow_datasets\core\dataset_builder.py in download_and_prepare(self, download_dir, download_config) 29 305 self.info.size_in_bytes = dl_manager.downloaded_size 30 306 # Write DatasetInfo to disk, even if we haven't computed the statistics. 31--> 307 self.info.write_to_directory(self._data_dir) 32 308 self._log_download_done() 33 309 34 35~\anaconda3\envs\DEEEP\lib\contextlib.py in __exit__(self, type, value, traceback) 36 117 if type is None: 37 118 try: 38--> 119 next(self.gen) 39 120 except StopIteration: 40 121 return False 41 42~\anaconda3\envs\DEEEP\lib\site-packages\tensorflow_datasets\core\file_format_adapter.py in incomplete_dir(dirname) 43 198 try: 44 199 yield tmp_dir 45--> 200 tf.io.gfile.rename(tmp_dir, dirname) 46 201 finally: 47 202 if tf.io.gfile.exists(tmp_dir): 48 49~\anaconda3\envs\DEEEP\lib\site-packages\tensorflow\python\lib\io\file_io.py in rename_v2(src, dst, overwrite) 50 544 """ 51 545 _pywrap_file_io.RenameFile( 52--> 546 compat.as_bytes(src), compat.as_bytes(dst), overwrite) 53 547 54 548 55 56UnicodeDecodeError: 'utf-8' codec can't decode byte 0x83 in position 175: invalid start byte 57

なぜUnicodeDecodeErrorが出るのかが分かりません.
ディレクトリ名が悪いのか,tensorflowのverが悪いのかわかりませんでした.
調べても同様のエラーが出ているという情報は内容でした.

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

jbpb0

2020/12/18 05:56

OSは何ですか?
masaosa

2020/12/18 08:12

windows10です.
masaosa

2020/12/19 01:42

そうです。初めて質問させていただくので、使い方がわからずためしに投稿して、削除していませんでした。 申し訳ありません。
jbpb0

2020/12/19 09:52

import os を追加して、それ以外はそのままで動かしても、エラー出ません Windows 10 Python 3.7.9 tensorflow 1.15.3 tensorflow-hub 0.10.0 tensorflow-datasets 3.2.1
jbpb0

2020/12/19 09:56

Windowsのpythonで文字コードがらみのエラーがでるときは、たいてい UnicodeDecodeError: 'cp932' codec can't decode byte 0x83 in position 1823: illegal multibyte sequence となりますが、質問者さんの環境では > UnicodeDecodeError: 'utf-8' codec can't decode byte 0x83 in position 175: invalid start byte となってます cp932 ではなく utf-8 となっていますが、何か文字コードに関する設定を触ってませんか?
masaosa

2020/12/20 05:10

ありがとうございます、明日試してみます。 最近GPU搭載のPC買ったばかりで、大きく設定はいじってないです。 やったことといえば、最初はUS配列のキーボードを使っていて、今は、JIS配列のキーボードを使っていたことぐらいしか、、、
jbpb0

2020/12/20 06:37

tfds.load()の行をコメント化して無効にしたら、そのエラーは出ないのですよね?
jbpb0

2020/12/20 10:45 編集

ユーザー名に日本語等の半角英数字以外の何かを使ってませんか?
jbpb0

2020/12/20 10:43

tfds.load()のdata_dir=に、PC内のどこか(フォルダ名に日本語を含まない場所)のパスを指定してみてください https://www.tensorflow.org/datasets/overview ただし、パス中の「\」を二つ並べるか、最初に「r」を付けるか、どちらかをします たとえば、Cドライブ直下の「tfds」フォルダを指定する場合、以下のどちらかにします train_data, validation_data, test_data = tfds.load(data_dir="C:\\tfds", ...(他いろいろ) train_data, validation_data, test_data = tfds.load(data_dir=r"C:\tfds", ...(他いろいろ)
masaosa

2020/12/21 09:14

返信遅くなりました.今日いろいろ試させていただきました.たくさんの助言ありがとうございました. >tfds.load()の行をコメント化して無効にしたら、そのエラーは出ないのですよね? でませんでした. >tfds.load()のdata_dir=に、PC内のどこか(フォルダ名に日本語を含まない場所)のパスを指定してみてください Cドライブ直下のフォルダにおいて試しましたが,だめでした・・・ パス中の「\」を二つ並べるか、最初に「r」を付けるかもしましたが駄目でした... いろいろ試しているうちに,GPUを認識しなくなっておりまして(この質問をさせていただいたときは認識していたのですが),CUDA10.1とcudnn7.6.5,tensorflow-gpu2.3.0を再インストールしました. そうしましたら,imdb_reviewsをロードすることができました.
masaosa

2020/12/21 09:19

jbpb0様非常に詳しく答えていただきありがとうございました.
guest

回答1

0

自己解決

CUDA10.1とcudnn7.6.5,tensorflow-gpu2.3.0を再インストールしたら動きました.

投稿2020/12/21 09:21

masaosa

総合スコア18

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.50%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問