No such file or directoryのエラーをなくす

Question

前提

No such file or directoryのエラーをなくしたいです。

実現したいこと

https://qiita.com/jovyan/items/d646c74b14a1feaf5acd
上記のサイトに載っているBERTのプログラムを実行したいです。
GoogleColabを用いています。

発生している問題・エラーメッセージ

FileNotFoundError                         Traceback (most recent call last)
<ipython-input-40-2d5a6b7aa059> in <module>
      2 for i in range(12):
      3   emb1 = extract_bert_embeddings('./bert_embeddings1.jsonl', 
----> 4                                  target_layer=i, target_token=target_words[0])
      5   emb2 = extract_bert_embeddings('./bert_embeddings2.jsonl', 
      6                                  target_layer=i, target_token=target_words[1])

<ipython-input-36-e043170bcc6c> in extract_bert_embeddings(input_path, target_token, target_layer)
      1 def extract_bert_embeddings(input_path, target_token, target_layer=10):
----> 2   with open(input_path, 'r') as f:
      3       output_jsons = f.readlines()
      4 
      5   embs = []

FileNotFoundError: [Errno 2] No such file or directory: './bert_embeddings1.jsonl'

該当のソースコード

import json
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# matplotlibで日本語を使うためのライブラリ
!pip install japanize_matplotlib
import japanize_matplotlib

# Google Driveをマウント
from google.colab import drive
drive.mount('/content/drive')

# MeCabインストール
!apt install aptitude swig
!aptitude install mecab libmecab-dev mecab-ipadic-utf8 git make curl xz-utils file -y

# NEologd辞書インストール
%cd /content
!git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git
%cd mecab-ipadic-neologd
!echo yes | ./bin/install-mecab-ipadic-neologd -n

# pythonでMeCabを呼び出すためのライブラリをインストール
!pip install mecab-python3
!pip install unidic-lite  # これがないとmecab-python3実行時にエラーが出る
import MeCab

!apt install aptitude
!aptitude install mecab libmecab-dev mecab-ipadic-utf8 git make curl xz-utils file -y
!pip install mecab-python3

!git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git
!echo yes | mecab-ipadic-neologd/bin/install-mecab-ipadic-neologd -n

!ln -s /etc/mecabrc /usr/local/etc/mecabrc

target_words = ["結構", "失敬", "無心", "首"]

texts1 = ["初めてクッキーを作ったけど、難しくなかったし、結構おいしく作れたと思う。", 
          "彼は口には出さないけど、背が小さいことをを結構気にしています。", 
          "あそこのレストランは、安いのに結構おいしいんですよ。", 
          "トイレのあとで、手を洗わない人は結構たくさんいます。", 
          "もう十分いただきました。これ以上は結構です。", 
          "そんなことまでしていただかなくても結構です。", 
          "この際には土地はいただかないことにして、金でお願いができますれば結構だと存じていたのでございますが。", 
          "それでも、先生はほかの人と違って、遊びながらお仕事が出来るので結構でございます。"]

texts2 = ["昨晩はお見苦しいところをお見せして失敬しました。", 
          "全体あなたがたはこんな失敬なことを言っていて、自分では気がつかんのですか。", 
          "失敬な発言ばかりが口をついて出てしまう彼は、案の定職場で上手くいかず、すぐに辞めてしまった。", 
          "何を言うんだ。失敬な事を言うな。ここは、お前たちの来るところでは無い。帰れ！", 
          "兄の本棚からちょっと失敬してきた。", 
          "このボールペンを失敬させてもらいますね。", 
          "一人の学生が巡査の帽子を失敬して一目散に走り出した。", 
          "さて退出するときに、彼はテーブルから自分のものでない手紙を失敬して行ったのですよ。"]

texts3 = ["月の輝きを無心に眺めているうちに、天吾の中に古代から受け継がれてきた記憶のようなものが呼び起こされていった。", 
          "波の音は、無心に、終日岸の岩角にぶつかって、砕けて、しぶきをあげていました。。", 
          "そして、この努力を無心に続ければいつかはなにか突破口につながると思いたかった。", 
          "すすきの花の向い火や、きらめく赤褐の樹立のなかに、鹿が無心に遊んでいます。", 
          "これを訪ね身の振り方を相談した途端に、姉の亭主に、三百円の無心をされた。", 
          "そのとき、ちょうど門口へ乳飲子をおぶった女こじきが立って、無心をねがったのでした。", 
          "逮捕された男の母親が取材に対し、容疑者から前日に金を無心され暴行されていたことを明らかにしました。", 
          "その結果はちょいちょい耕太郎が無心の手紙を持たされて、一里の道を老父の処へ使いにやらされた。", ]

texts4 = ["首をかたむけた時に邪魔になるので、髪の毛はいつもしばっています。", 
          "首を後ろに反らせながら、引きつったような声で笑う。", 
          "長めな首の美しさを引き立てるためか、洋服の襟に白い飾りがあった。", 
          "従業員は眉を少ししかめ、考えを巡らせ、それから丁寧に首を横に振った。", 
          "労働災害による休業中の労働者を、首にすることはできません。", 
          "このプロジェクトには、このチーム一人一人の首がかかっている。", 
          "首になりたくなければ、ちゃんと成果を上げろ！", 
          "会社を首にされたが、家族には言い出せず、毎日会社に行くふりをして公園で過ごしている。"]

with open('texts1.txt', mode='w') as f:
  f.write('\n'.join(texts1))
with open('texts2.txt', mode='w') as f:
  f.write('\n'.join(texts2))
with open('texts3.txt', mode='w') as f:
  f.write('\n'.join(texts3))
with open('texts4.txt', mode='w') as f:
  f.write('\n'.join(texts4))

def mecab_tokenizer(texts, 
                    dict_path="/usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd"):
  mecab = MeCab.Tagger("-Owakati -d " + dict_path)
  token_list = []
  for s in texts:
      parsed = mecab.parse(s).replace('\n', '')
      token_list += [parsed.split()]
  return token_list

%tensorflow_version 2.x
import tensorflow as tf

!git clone https://github.com/google-research/bert.git

def convert_tokens_to_ids(vocab, tokens):
  # modify so that it returns id=1 which means [UNK] when a token is not in vocab
  output = []
  for t in tokens:
    if t in vocab.keys():
      i = vocab[t]
    else:   # if t is [UNK]
      i = 1
    output.append(i)
  return output

class FullTokenizer(object):
  """Runs end-to-end tokenziation."""

  def __init__(self, vocab_file, do_lower_case=True):
    self.vocab = load_vocab(vocab_file)
    self.inv_vocab = {v: k for k, v in self.vocab.items()}
    #self.basic_tokenizer = BasicTokenizer(do_lower_case=do_lower_case)
    #self.wordpiece_tokenizer = WordpieceTokenizer(vocab=self.vocab)
    # use Mecab
    self.mecab_tokenizer = MecabTokenizer()

  def tokenize(self, text):
    split_tokens = []
    # for token in self.basic_tokenizer.tokenize(text):
    # use Mecab
    for token in self.mecab_tokenizer.tokenize(text):
        split_tokens.append(token)

    return split_tokens

  def convert_tokens_to_ids(self, tokens):
    #return convert_by_vocab(self.vocab, tokens)
    return convert_tokens_to_ids(self.vocab, tokens)

  def convert_ids_to_tokens(self, ids):
    return convert_by_vocab(self.inv_vocab, ids)

# BERT実行
for i in range(1, 5):
  input_file = 'texts' + str(i) + '.txt'
  output_file = 'bert_embeddings' + str(i) + '.jsonl'

  !python ./bert/extract_features_mecab_neologd.py \
    --input_file=$input_file \
    --output_file=$output_file \
    --vocab_file=./BERT_base_stockmark/vocab.txt \
    --bert_config_file=./BERT_base_stockmark/bert_config.json \
    --init_checkpoint=./BERT_base_stockmark/output_model.ckpt \
    --layers 0,1,2,3,4,5,6,7,8,9,10,11

def extract_bert_embeddings(input_path, target_token, target_layer=10): 
  with open(input_path, 'r') as f:
      output_jsons = f.readlines()

  embs = []
  for output_json in output_jsons:
      output = json.loads(output_json)
      for feature in output['features']:
          if feature['token'] != target_token: continue
          for layer in feature['layers']:
              if layer['index'] != target_layer: continue
              embs.append(layer['values'])
  return np.array(embs)

bert_embeddings = []
for i in range(12):
  emb1 = extract_bert_embeddings('./bert_embeddings1.jsonl', 
                                 target_layer=i, target_token=target_words[0])
  emb2 = extract_bert_embeddings('./bert_embeddings2.jsonl', 
                                 target_layer=i, target_token=target_words[1])
  emb3 = extract_bert_embeddings('./bert_embeddings3.jsonl', 
                                 target_layer=i, target_token=target_words[2])
  emb4 = extract_bert_embeddings('./bert_embeddings4.jsonl', 
                                 target_layer=i, target_token=target_words[3])
  embeddings = np.vstack([emb1, emb2, emb3, emb4])
  bert_embeddings.append(embeddings)
bert_embeddings = np.array(bert_embeddings)

試したこと

MyDriveのBERT_base_stockmarkの中にbert_embeddings*.jsonlというファイルを作成しましたがエラーがなくなりませんでした

補足情報（FW/ツールのバージョンなど）

ここにより詳細な情報を記載してください。

Answer 1

ご存知だろうとは思いますが、みつからないと言われているファイルは以下のブロック(このあとも続いています)で作成されるものです。

# BERT実行
for i in range(1, 5):
  input_file = 'texts' + str(i) + '.txt'
  output_file = 'bert_embeddings' + str(i) + '.jsonl'

この部分を実行していないか、実行時にエラーになっているのではないでしょうか。

Comments

[gamdam]

t open file './bert/extract_features_mecab_neologd.py': [Errno 2] No such file or directory
python3: can't open file './bert/extract_features_mecab_neologd.py': [Errno 2] No such file or directory
python3: can't open file './bert/extract_features_mecab_neologd.py': [Errno 2] No such file or directory
python3: can't open file './bert/extract_features_mecab_neologd.py': [Errno 2] No such file or directory

というエラーが出てしまいました

[TakaiY]

そこに書いてあるファイルが無いということです。
手順のなかのどこかで作られるか、ほかのところから持ってくるのでしょう。