BERTでテキスト埋め込みの勉強をサイトを見ながらやっていたら一部意味が分からず詰まってしまった

前提

初心者なので場違いな質問をしていたら申し訳ございません。
今PythonでBERTの勉強をしており、こちらのサイトを利用しています。

https://dev.classmethod.jp/articles/bert-text-embedding/

こちらのサイトをなぞりながらやっていたのですが文章を埋め込むという小題で何をすればいいのかわからなくて困っています。
新しくpyファイルを作成し、実行すればいいのか…

また、このサイトと同じようにcsvファイルの1列目の文章の表現ベクトルを取得し、近しい意味の文章を取得することができますか？

実現したいこと

このサイト通りの結果が得られること

該当のソースコード

cat << EOS > /tmp/input.txt
こんにちは
おはよう
こんばんは
お腹すいた
ご飯食べたい
明日晴れてると良いな
明日の天気はどうだろうか
雨降ったら嫌やな
EOS

export BERT_BASE_DIR="/Users/osawa.yuto/git/ml_pr/sandbox/bert/models/Japanese_L-12_H-768_A-12_E-30_BPE"

python ./bert/extract_features.py \
  --input_file=/tmp/input.txt \
  --output_file=/tmp/output.jsonl \
  --vocab_file=$BERT_BASE_DIR/vocab.txt \
  --bert_config_file=$BERT_BASE_DIR/bert_config.json \
  --init_checkpoint=$BERT_BASE_DIR/bert_model.ckpt \
  --do_lower_case False \
  --layers -2

試したこと

同じテキストファイルを作成しpythonで実行してみたが出来なかった。

補足情報（FW/ツールのバージョンなど）

ターミナルに直接打ち込むとこうなってしまう。

発生場所 行:1 文字:6
+ cat << EOS > /tmp/input.txt
+      ~
リダイレクト演算子の後にファイルが指定されていません。
発生場所 行:1 文字:5
+ cat << EOS > /tmp/input.txt
+     ~
演算子 '<' は、今後の使用のために予約されています。
発生場所 行:1 文字:6
+ cat << EOS > /tmp/input.txt
+      ~
演算子 '<' は、今後の使用のために予約されています。
発生場所 行:15 文字:5
+   --input_file=/tmp/input.txt \
+     ~
単項演算子 '--' の後に式が存在しません。
発生場所 行:15 文字:5
+   --input_file=/tmp/input.txt \
+     ~~~~~~~~~~~~~~~~~~~~~~~~~
式またはステートメントのトークン 'input_file=/tmp/input.txt' を使用できません。
発生場所 行:16 文字:5
+   --output_file=/tmp/output.jsonl \
+     ~
単項演算子 '--' の後に式が存在しません。
発生場所 行:16 文字:5
+   --output_file=/tmp/output.jsonl \
+     ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
式またはステートメントのトークン 'output_file=/tmp/output.jsonl' を使用できません。
発生場所 行:17 文字:5
+   --vocab_file=$BERT_BASE_DIR/vocab.txt \
+     ~
単項演算子 '--' の後に式が存在しません。
発生場所 行:17 文字:5
+   --vocab_file=$BERT_BASE_DIR/vocab.txt \
+     ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
式またはステートメントのトークン 'vocab_file=$BERT_BASE_DIR/vocab.txt' を使用できません。
発生場所 行:18 文字:5
+   --bert_config_file=$BERT_BASE_DIR/bert_config.json \
+     ~
報告されていない解析エラーもあります。報告されたエラーを修正して再試行してください。
    + CategoryInfo          : ParserError: (:) [], ParentContainsErrorRecordException
    + FullyQualifiedErrorId : MissingFileSpecification

環境

エディション Windows 10 Home
バージョン 21H2

Visual Studio Code

バージョン: 1.68.1 (user setup)

rattyo1208

2022/08/07 04:39

該当のソースコードのexportのところは自分のに変えている

quickquip

2022/08/07 06:06

> pythonで実行してみたが出来なかった何を見て「出来なかった」と判断したのでしょうか? "出来なかった"というのはあなたの判断であって、質問にあたっては不要です。必要なのは、"このようなエラーが発生した"とか、"/tmp/output.jsonl が0バイトだった"とか、"/tmp/output.jsonl の中身がこうなっていた"とかいった、あなたが観測した事象の情報です。その情報があった上で"このように考えた"という判断の道筋はあってもよいかもしれませんが。

jbpb0

2022/08/07 07:45

> 何をすればいいのかわからなくて困っています。 > 同じテキストファイルを作成しpythonで実行してみたが出来なかった。質問の「該当のソースコード」に書かれてる「cat」で始まる内容は、pythonのコードではなく、ターミナルで実行するコマンドです質問者さんがpythonを動かしてるOSがmacやlinuxならば、ターミナルを起動して(そこでpythonを起動してない状態で)「該当のソースコード」の内容をターミナルに入力すれば、基本的には実行できるはずです (細部は変更要るかも) もしOSがwindowsなら、いろいろ変えないとダメなので、質問に「windows使ってる」と追記してください (ここに書くのではなく、質問を編集して追記する)

rattyo1208

2022/08/07 08:02

ありがとうございます。 catはターミナルで実行するんですね。 windowsだと色々パスを通したりしないといけないのでしょうか？このソースコードはそのままターミナルに打ち込みましたがエラーが出てしまいました。 catのみをターミナルで打ち込むとこうなってしまいます。　コマンドパイプライン位置 1 のコマンドレット Get-Content 次のパラメーターに値を指定してください: Path[0]: 質問を追記しておきます。アドバイスありがとうございます。

jbpb0

2022/08/07 08:16 編集

windowsだと、かなり変えないとダメです cat << EOS > /tmp/input.txt (中略) EOS は、コマンド実行はしないで、「メモ帳」で代用しましょう「メモ帳」で、下記の内容のテキストファイルを作って保存してくださいこんにちはおはようこんばんはお腹すいたご飯食べたい明日晴れてると良いな明日の天気はどうだろうか雨降ったら嫌やな

jbpb0

2022/08/07 08:50 編集

「export...」の行は無視して、コマンド実行しません「python...」の行は、 https://tadaoyamaoka.hatenablog.com/entry/2019/07/28/170937 の「文と単語の埋め込みベクトルを得る」のコマンド例を参考にして、全体を1行でコマンドプロンプトに入力してくださいただし、上記Webページからそのままコピペしてもダメですいろんなファイルのパスを指定してますが、全てを質問者さんのパソコンの環境に合わせて正しく指定する必要があります長くて間違いやすいので、メモ帳でテキストファイルにコマンドを全部書いて、間違いが無いか確認してから、コマンドプロンプトにコピペするのがいいと思います

rattyo1208

2022/08/07 13:34

丁寧にありがとうございます。無事にできました！かなり丁寧でとても分かりやすかったです。

行動規範の内容に同意します

回答1件

ベストアンサー

何をすればいいのかわからなくて困っています。

同じテキストファイルを作成しpythonで実行してみたが出来なかった。

質問の「該当のソースコード」に書かれてる「cat」で始まる内容は、pythonのコードではなく、ターミナル(windowsならコマンドプロンプト)で実行するコマンドです

質問者さんがpythonを動かしてるOSがmacやlinuxならば、ターミナルを起動して(そこでpythonを起動してない状態で)「該当のソースコード」の内容をターミナルに入力すれば、基本的には実行できるはずですが、windowsを使ってるとのことなので、いろいろ変えないとダメです

cmd
1cat << EOS > /tmp/input.txt
2(中略)
3EOS

は、コマンド実行はしないで、「メモ帳」で代用しましょう
「メモ帳」で、下記の内容のテキストファイルを作って保存してください

txt
1こんにちは
2おはよう
3こんばんは
4お腹すいた
5ご飯食べたい
6明日晴れてると良いな
7明日の天気はどうだろうか
8雨降ったら嫌やな

cmd
1export BERT_BASE_DIR="/Users/osawa.yuto/git/ml_pr/sandbox/bert/models/Japanese_L-12_H-768_A-12_E-30_BPE"

は無視して、コマンド実行しません

cmd
1python ./bert/extract_features.py \
2  --input_file=/tmp/input.txt \
3  --output_file=/tmp/output.jsonl \
4  --vocab_file=$BERT_BASE_DIR/vocab.txt \
5  --bert_config_file=$BERT_BASE_DIR/bert_config.json \
6  --init_checkpoint=$BERT_BASE_DIR/bert_model.ckpt \
7  --do_lower_case False \
8  --layers -2