英日翻訳したいが日本語データセットが作成できない(keras)

Question

英日翻訳の機械学習アプリを作成したく、以下kerasのサンプルコードを使用しています。
https://keras.io/examples/nlp/neural_machine_translation_with_transformer/

サンプルコードでは英語→スペイン語ですが以下ページにて英日のデータセットを使い英日に適用したいです。
https://www.manythings.org/anki/
(jpn-eng/jpn.txt)

以下コードです。

import pathlib
import random
import string
import re
import numpy as np
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras.layers import TextVectorization

text_file = 'jpn-eng/jpn.txt'  # 英日データセットを読み込む

# データセットを開き、改行コードごとにデータを分割
# 分割したデータを1行ずつ取得しタブコードでeng、jpa、else_textに分割
with open(text_file) as f:
    lines = f.read().split("\n")[:-1]
text_pairs = []
for line in lines:
    # 公式ではここがeng,spaのみになる。jpn.txtには余計なテキストが含まれているので一旦それをelse_textと定義。
    eng, jpa, else_text = line.split("\t")
    jpa = "[start] " + jpa + " [end]"
    text_pairs.append((eng, jpa))

for _ in range(5):
    print(random.choice(text_pairs))

random.shuffle(text_pairs)
num_val_samples = int(0.15 * len(text_pairs))
num_train_samples = len(text_pairs) - 2 * num_val_samples
train_pairs = text_pairs[:num_train_samples]
val_pairs = text_pairs[num_train_samples: num_train_samples + num_val_samples]
test_pairs = text_pairs[num_train_samples + num_val_samples:]

print(f"{len(text_pairs)} total pairs")
print(f"{len(train_pairs)} training pairs")
print(f"{len(val_pairs)} validation pairs")
print(f"{len(test_pairs)} test pairs")

strip_chars = string.punctuation + "¿"
strip_chars = strip_chars.replace("[", "")
strip_chars = strip_chars.replace("]", "")

vocab_size = 15000
sequence_length = 20
batch_size = 64


def custom_standardization(input_string):
    lowercase = tf.strings.lower(input_string)
    return tf.strings.regex_replace(lowercase, "[%s]" % re.escape(strip_chars), "")


eng_vectorization = TextVectorization(
    max_tokens=vocab_size, output_mode="int", output_sequence_length=sequence_length,
)
jpa_vectorization = TextVectorization(
    max_tokens=vocab_size,
    output_mode="int",
    output_sequence_length=sequence_length + 1,
    standardize=custom_standardization,
)

train_eng_texts = [pair[0] for pair in train_pairs]
train_jpa_texts = [pair[1] for pair in train_pairs]
eng_vectorization.adapt(train_eng_texts)
jpa_vectorization.adapt(train_jpa_texts)


def format_dataset(eng, jpa):
    eng = eng_vectorization(eng)
    jpa = jpa_vectorization(jpa)
    return ({"encoder_inputs": eng, "decoder_inputs": jpa[:, :-1], }, jpa[:, 1:])


def make_dataset(pairs):
    eng_texts, jpa_texts = zip(*pairs)
    eng_texts = list(eng_texts)
    jpa_texts = list(jpa_texts)
    dataset = tf.data.Dataset.from_tensor_slices((eng_texts, jpa_texts))
    for ele in dataset:
        print(ele)　# ←★★この日本語部分がおかしい
    dataset = dataset.batch(batch_size)
    dataset = dataset.map(format_dataset)
    return dataset.shuffle(2048).prefetch(16).cache()


train_ds = make_dataset(train_pairs)
val_ds = make_dataset(val_pairs)

for inputs, targets in train_ds.take(1):
    print(f'inputs["encoder_inputs"].shape: {inputs["encoder_inputs"].shape}')
    print(f'inputs["decoder_inputs"].shape: {inputs["decoder_inputs"].shape}')
    print(f"targets.shape: {targets.shape}")

これで実行をすると、

データセット作成箇所にて、英語の方は「Tom doesn't know~」のように読み込まれているのに、[start]と[end]に間に入ってくるはずの日本語は「x88」など英数字の羅列が表示されており、学習後もoutputが空白で表示されてしまいます。

ちなみにスペイン語やイタリア語の場合は以下のようにきちんと表示されています。

Mecabを使用して単語と単語の間にスペースを作ったtxtファイルを作成して実行しても同じ結果になりどのように解決したらよいか手詰まり状態です。
おそれいりますが、解決策についてご教示いただければ幸いです。