python base64 pdf化 日本語 表示されない

Question

下記サイトを参考にpythonにてchromeヘッドレスブラウザで表示したWEBページをバイナリデータ（base64）として取得し、
pdfに変換しようとしました。
https://qiita.com/mochi_yu2/items/a845e52b8aa677f132bf
しかし、どのサイトでも日本語がpdfに変換されず、pdf上では日本語の部分が空白になってしまいます。
pdfに日本語も問題なく表示させるにはどのようにしたらよろしいのでしょうか。

英語のサイトであったり、同じサイトでも日本語バージョンと英語バージョンがある場合、英語バージョンでは問題なくWEBページをpdf化することができております。

実行環境は以下です。
google colab
python 3.7.14
windows10 (ローカル環境)

以下にサンプルコードを記載いたします。

# 参考サイト
# https://qiita.com/mochi_yu2/items/a845e52b8aa677f132bf

! pip install selenium
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import base64
import chardet
import time

!apt-get update
!apt install chromium-chromedriver
!cp /usr/lib/chromium-browser/chromedriver /usr/bin
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-gpu')
browser = webdriver.Chrome('chromedriver', options = options)

def save_to_pdf(driver, file_path):
    parameters = {
        "printBackground": True, # 背景画像を印刷
        "paperWidth": 8.27, # A4用紙の横 210mmをインチで指定
        "paperHeight": 11.69, # A4用紙の縦 297mmをインチで指定
        # "displayHeaderFooter": True, # 印刷時のヘッダー、フッターを表示
    }
    # Chrome Devtools Protocolコマンドを実行し、取得できるBase64形式のデータをpdfへデコードして保存。
    pdf_base64 = driver.execute_cdp_cmd("Page.printToPDF", parameters)
    pdf = base64.b64decode(pdf_base64["data"])
    print(chardet.detect(pdf))
    with open(file_path, 'wb') as f:
       f.write(pdf)

browser.get('https://www.mofa.go.jp/mofaj/index.html')
time.sleep(10)
save_to_pdf(browser, 'sample.pdf')

browser.close()
browser.quit()

pdf化したいwebページは日本語ページと英語ページが両方あるサイトとして外務省のサイトが浮かんだため、
ひとまずサンプルとして選択しました。
実際に私では英語バージョンの外務省のページは英字がちゃんとpdfにも書かれております。
対して日本語バージョンのページは日本語の部分が空白になっており、英数字と画像のみが表示されています。

初心者であり、上級者の方から見れば見当違いなことをしているかもしれませんが、
本コードで初めてbase64を知り、webページのバイナリデータについても調べてみました。
つまり参考にしたサイトではwebページをbase64として取得し、
デコードしていますが本当にbase64を取得できているのかということや
取得したbase64データの文字コードの判別を確認してみました。
まずwebページをbase64で取得できているかどうかというこですが、

execute_cdp_cmd

の使い方を参照してみましたところ、以下のサイトを参考にしましてbase64は返ってくるようです。
https://www.selenium.dev/selenium/docs/api/py/webdriver_chromium/selenium.webdriver.chromium.webdriver.html#selenium.webdriver.chromium.webdriver.ChromiumDriver.execute_cdp_cmd

次に上記のサンプルコードで言うところの「pdf」という変数にbase64でのデータが入っておりますが、
このpdfの文字コードをchardetで確認してみましたところ、以下のようなものが返ってきてしまいました。

print(chardet.detect(pdf))
# -> {'encoding': None, 'confidence': 0.0, 'language': None}

普通であれば encoding には何かしらの文字コードが判定されると思うのですが、
やはりbase64のデータに不具合があり、変数pdfをデコード（base64のデータをデコード）した時に日本語が表示されないという現象が起きてしまうのでしょうか。

分かりにくい部分も多々あったかとは思うのですが、
解決策をご存じでしたら教えて頂けますと幸いです。

Answer 1

!apt install chromium-chromedriver

のところで

!apt install chromium-chromedriver fonts-noto

などとして日本語フォントもインストールしてください。ここでは noto fonts を入れました。

Comments

[tttkkk]

ありがとうございます！
無事に日本語が記載されたPDFファイルにすることができました。

5‐6時間かけてどうしても分からず、藁にも縋る思いで質問させていただきました。
日本語のフォントをダウンロードするという簡単なところだったんですね。
これで次に進めそうです。