githubに公開されているライブラリをインストールしたい

Question

実現したいこと

プログラミング初心者です。
githubに公開されているMMBTという機械学習モデルを使いたいのですが、mmbt.pyというパイソンファイルの最初にあるコード「from mmbt.models.image import ImageEncoder」の「mmbt」というライブラリがいくら探しても見つかりません。一般にライブラリをインストールするときはpipを使っているのですが、それだと見つかりません。
どのような操作を行えば、このライブラリを使用できるのか、教えていただけないでしょうか？
本当に初歩的な質問ですみません。
ご回答よろしくお願いします。

該当のソースコード

import torch
import torch.nn as nn
from pytorch_pretrained_bert.modeling import BertModel

from mmbt.models.image import ImageEncoder　#この部分をインストールしたいです。

試したこと

ターミナルからpip install mmbtで試したが、見つからなかった。

補足情報（FW/ツールのバージョンなど）

該当のgithubのページです。
https://github.com/facebookresearch/mmbt/blob/master/mmbt/models/mmbt.py

Answer 1

MultiModal BiTransformers (MMBT)
から一式を、自分のパソコンのどこかにダウンロードします

ダウンロードした(「README.md」とかがある)場所で、上記Webページの「Model Training」の「Example command:」に書かれてるようにすれば実行できるはずです

　

「from mmbt.models.image import ImageEncoder」の「mmbt」

は、ダウンロードした場所にある「mmbt」という名前のディレクトリのことです

「mmbt」に「models」というディレクトリがあり、そこに「image.py」というファイルがありますよね
それが「mmbt.models.image」です

　
【追記】
ダウンロードした(「README.md」とかがある)場所を、モジュール検索パスに追加してください

参考
Pythonでimportの対象ディレクトリのパスを確認・追加（sys.pathなど）

Comments

[sasuraibito]

本当に申し訳ありません。私の理解力不足により、何度読み返しても回答者様がおっしゃている内容の通りに実行できませんでした。
まず、ご指摘の通りMultiModal BiTransformers (MMBT)を自分のパソコンにクローンしたのですが、その後に「Example command:」を実行するというところがよく分かりませんでした。
以下のコードはどこでどのような処理をすることによって完了できるのか、もしよければ教えていただけないでしょうか？
本当に初歩的なことがわからなくて申し訳ございません。

python mmbt/train.py --batch_sz 4 --gradient_accumulation_steps 40 \
--savedir /path/to/savedir/ --name mmbt_model_run \
--data_path /path/to/datasets/ \
--task food101 --task_type classification \
--model mmbt --num_image_embeds 3 --freeze_txt 5 --freeze_img 3 \
--patience 5 --dropout 0.1 --lr 5e-05 --warmup 0.1 --max_epochs 100 --seed 1

[jbpb0]

githubからダウンロードした(「README.md」とかがある)場所に、内容が下記だけの「mmbttest.py」というファイルを作って置いてください

import mmbt

次に、ターミナル(windowsならコマンドプロンプト)を起動して、githubからダウンロードした(「README.md」とかがある)場所に「cd」してから、下記を実行してください

python mmbttest.py

上記を実行した後に、何も起きずにターミナル(またはコマンドプロンプト)のプロンプトが再び表示されたら、エラーが出ずに「import mmbt」が実行できた、ということです
「import mmbt」が実行できるのなら、他のこともいろいろできますよね

なお、もしpythonを実行するコマンドが「python」ではなく「python3」なら、下記を実行してください

python3 mmbttest.py

[jbpb0]

python mmbt/train.py ...

も同様に、ターミナル(またはコマンドプロンプト)でgithubからダウンロードした場所に「cd」したら、実行できるはずです

ただし、「Example command:」に書いてあるそのままではなく、「/path/to/datasets/」をデータセットが実際に置いてある場所に変える、とかは必要です
https://github.com/facebookresearch/mmbt
の「Getting Started」の「Model Training」に書いてあることを参照してください

[jbpb0]

ちなみに、「mmbttest.py」の内容を、この質問のコードの

from mmbt.models.image import ImageEncoder

に変えて、当方のmacのターミナルで

python mmbttest.py

を実行したら、

ModuleNotFoundError: No module named 'pytorch_pretrained_bert'

というエラーになりました

当方のmacのpythonには「pytorch_pretrained_bert」を入れてないので上記のエラーになりましたが、質問者さんのpython環境には入れてあるようなので、たぶんエラー出ずに実行できると思います

[sasuraibito]

一から丁寧にご解説いただき、誠にありがとうございます。
ご指摘の手順通りに操作を進めたところ、ターミナル上でエラーが発生しなかったため、無事「import mmbt」が実行できたのかと思われます。
また、私の方ではpytorch_pretrained_bertを事前にインストールしていたので、うまくいきました。
基礎的なファイルの操作方法を含めてとても勉強になりました。
本当にありがとうございました。

[sasuraibito]

夜分遅くにすみません。
先ほどこの件を解決したつもりだったのですが、その後にこのmmbtを使ったシェルスクリプトファイルを実行しようとしたら、ModuleNotFoundError: No module named 'mmbt.models'; 'mmbt' is not a packageと表示されてしまいました。
確かに、ご指摘いただいた通り「mmbttest.py」にimport mmbtと記述し、それをクローン先のディレクトリに置いてからターミナルでpython mmbttest.pyを実行したところ、何もエラーは出ずにプロンプトが表示されました。
この時点で、mmbtというモジュールがローカルの方にインストールされているという解釈になりますよね？…

ですが、https://github.com/vkeswani/IITK_Memotion_Analysis/tree/master/Bimodal/mmbt
にあるmmbt.sh
を実行しようとすると、、、結果としてModuleNotFoundError: No module named 'mmbt.models'; 'mmbt' is not a packageとなってしまいます。
このエラー文が指す意味は、「mmbtがない」ってことですよね…
単にgitからクローンしてくるだけではダメだということなのでしょうか？
本題からずれたことをお尋ねしてしまい、誠に申し訳ありません。

もしよければこの問題の解決策に関してお手隙の際にご指摘いただければ幸いです。

[jbpb0]

https://github.com/facebookresearch/mmbt
からダウンロードした場所に「mmbt.sh」を置いて、ターミナルでそこに「cd」して、「mmbt.sh」を実行したら、どうなりますでしょうか？

あと、質問者さんがコメントに書いたエラーとは直接は関係ありませんが、「mmbt.sh」の「/path/to/savedir/」とか「/path/to/datasets/」とかは、そのままではダメですよ

[sasuraibito]

ご返信ありがとうございます。
ただいまご指摘の内容の通り実行しようと試みているのですが、”https://github.com/facebookresearch/mmbt
からダウンロードした場所に「mmbt.sh」を置いて”というのは、githubから先ほどクローンした（「README.md」とかがある）ところに、「mmbt.sh」をおけば良いということでしょうか？
先ほど私は、mmbtディレクトリの中のmodelディレクトリに置いてしまっていました…

また、シェルスクリプトのpathの指定も初心者すぎて本当によくわかってないのですが、
「--savedir /path/to/savedir/ --name mmbt_model_run \」の部分はmmbt.pyまでのディレクトリのパスを、「--data_path /path/to/datasets/ \」の部分はmmbtディレクトリの中のdataディレクトリまでのパスを/Users/ユーザーネーム　から指定すれば良いという解釈であってますでしょうか？

[sasuraibito]

書き換えたシェルスクリプトなのですが、クローンしたディレクトリをclone1として、このように書いて実行しました。

#!/bin/bash
python mmbt/train.py --batch_sz 4 --gradient_accumulation_steps 40 \
--savedir /Users/maedasusumuju/clone1/mmbt/models/to/savedir/ --name mmbt_model_run \
--data_path /Users/maedasusumuju/clone1/mmbt/data/to/datasets/ \
--task mmimdb --task_type classification \
--model mmbt --num_image_embeds 1 --freeze_txt 0.1 --freeze_img 0.3 \
--patience 10 --dropout 0.2 --lr 5e-05 --warmup 0.1 --max_epochs 100 --seed 1

ターミナルのエラー文がこちらです…
(base) maedasusumuju@maedasuukinoAir ~ % cd /Users/maedasusumuju/clone1
(base) maedasusumuju@maedasuukinoAir clone1 % sudo sh /Users/maedasusumuju/clone1/mmbt.sh
Password:
Traceback (most recent call last):
File "mmbt/train.py", line 20, in <module>
from mmbt.data.helpers import get_data_loaders
ModuleNotFoundError: No module named 'mmbt'

やはりmmbt がないと言われてしまいます、、
何かどこかで手順が間違っているのでしょうか？…

[jbpb0]

> githubから先ほどクローンした（「README.md」とかがある）ところに、「mmbt.sh」をおけば良いということでしょうか？

そうです
そして、そこに「cd」してから、実行してみてください

実は、「mmbt.sh」を置く場所は、別の場所でも大丈夫です
でも、「cd」する場所は、githubからダウンロードした(「README.md」とかがある)場所じゃないとダメです
「mmbt.sh」が違う場所にある場合は、実行時に相対パスか絶対パスで場所を指定してください

[jbpb0]

内容が

python mmbttest.py

の「mmbttest.sh」という名前のファイルを、「mmbttest.py」と同じ場所に置いてください

次に、ターミナルを起動して、その場所に「cd」してから、「mmbttest.sh」を実行してみてください
エラー出ますか？

[sasuraibito]

はい、ただいま実行して参りました。
結果は
Last login: Mon Oct 17 01:17:24 on ttys000
(base) maedasusumuju@maedasuukinoAir ~ % cd /Users/maedasusumuju/clone1
(base) maedasusumuju@maedasuukinoAir clone1 % sudo sh /Users/maedasusumuju/clone1/mmbttest.sh
Password:
(base) maedasusumuju@maedasuukinoAir clone1 %

となり、エラーは出ませんでした。

[sasuraibito]

今行ったことは、おそらく、mmbttest.shファイルを実行することによって、その中身のpython mmbttest.pyが実行され、つまりはimport mmbt が実行できるかどうかの動作確認をしていたということですよね？
ここでエラーが出ないということは、mmbt自体はしっかり存在しているということなのですよね…

ではなぜ「 No module named 'mmbt'」と表示されてしまうのか、本当に疑問です。
.sh の実行の仕方が違うとかなのでしょうか

[jbpb0]

「mmbt/train.py」の先頭に下記を追加してから、「mmbt.sh」を実行してみてください

import sys
import pprint
pprint.pprint(sys.path)

実行したらたくさんパスが表示されますが、その中に
/Users/maedasusumuju/clone1
が入ってますでしょうか？

【追記】
入ってない場合は、「mmbt/train.py」の先頭に下記を追加してから実行してみてください

import sys
sys.path.append('/Users/maedasusumuju/clone1')

【追記2】
当方のmacのpythonで確認したら、カレントディレクトリがモジュール検索パスに入ってませんでした
おそらく質問者さんの環境も同様なため、「/Users/maedasusumuju/clone1」以外に「*.py」ファイルが置かれてる場合はインポートできないのだと思います
回答に対策を追記しました
(上記【追記】に書いた「sys.path.append(...」も、その対策の一つ)

[sasuraibito]

改めてご返信いただき、本当にありがとうございます。

まず、「mmbt/train.py」の先頭に追加してから「mmbt.sh」を実行するという操作に関してですが、実行したところ、以下のように表示され、/Users/maedasusumuju/clone1は入っている模様でした。

['/Users/maedasusumuju/clone1/mmbt',
'/Users/maedasusumuju/opt/anaconda3/lib/python38.zip',
'/Users/maedasusumuju/opt/anaconda3/lib/python3.8',
'/Users/maedasusumuju/opt/anaconda3/lib/python3.8/lib-dynload',
'/Users/maedasusumuju/opt/anaconda3/lib/python3.8/site-packages',
'/Users/maedasusumuju/opt/anaconda3/lib/python3.8/site-packages/aeosa',
'/Users/maedasusumuju/opt/anaconda3/lib/python3.8/site-packages/locket-0.2.1-py3.8.egg']
Traceback (most recent call last):
File "mmbt/train.py", line 24, in <module>
from mmbt.data.helpers import get_data_loaders
ModuleNotFoundError: No module named 'mmbt'

しかし、この操作とならびに【追記2】で書かれていた操作が何をやっているものなのか、先ほどから個人的に調べているのですがよくわからず、また、「ダウンロードした(「README.md」とかがある)場所を、モジュール検索パスに追加」という指示もよくわからず手が止まっている現状です。

現在のところは、【追記】のところで書かれていた指示を実行したいと思います。

[jbpb0]

> /Users/maedasusumuju/clone1は入っている模様でした。

入ってないです

> ['/Users/maedasusumuju/clone1/mmbt',

は「mmbt」が付いてるので、ダメなんです
正確に「/Users/maedasusumuju/clone1」と一致しないと
(余計なのが付いてたらダメ)

[jbpb0]

> この操作とならびに【追記2】で書かれていた操作が何をやっているものなのか、先ほどから個人的に調べているのですがよくわからず、

pprint.pprint(sys.path)

を実行したら表示された下記が「モジュール検索パス」です

> ['/Users/maedasusumuju/clone1/mmbt',
'/Users/maedasusumuju/opt/anaconda3/lib/python38.zip',
'/Users/maedasusumuju/opt/anaconda3/lib/python3.8',
'/Users/maedasusumuju/opt/anaconda3/lib/python3.8/lib-dynload',
'/Users/maedasusumuju/opt/anaconda3/lib/python3.8/site-packages',
'/Users/maedasusumuju/opt/anaconda3/lib/python3.8/site-packages/aeosa',
'/Users/maedasusumuju/opt/anaconda3/lib/python3.8/site-packages/locket-0.2.1-py3.8.egg']

sys.path.append('/Users/maedasusumuju/clone1')

を実行したら、モジュール検索パスの最後に「/Users/maedasusumuju/clone1」が追加されて、そこにある「mmbt」ディレクトリを「mmbt/train.py」からインポートできるようになります

参考
https://qiita.com/state159/items/adb1f81b4f823bcb8296

[sasuraibito]

＞mmbt」が付いてるので、ダメなんです
正確に「/Users/maedasusumuju/clone1」と一致しないと
(余計なのが付いてたらダメ)

知識不足で大変恐縮なのですが、つまり、先ほどの/Users/maedasusumuju/clone1/mmbtのパスでは、.shファイルがclone1ディレクトリの直下にあるにもかかわらず、更に先のmmbtディレクトリまでパスを指定してしまっていたために実行ができなっかった、、的な解釈になるのでしょうか？
それを直すために、sys.path.append('/Users/maedasusumuju/clone1')でパスの指定を変更（？）しましょうということだったのでしょうか？

ただいま【追記】の操作を実行したところ、以下のような結果になったのですが、やはり余計な/mmbtがくっついてしまっています、、、

(base) maedasusumuju@maedasuukinoAir clone1 % sudo sh /Users/maedasusumuju/clone1/mmbt.sh
Password:
['/Users/maedasusumuju/clone1/mmbt',
'/Users/maedasusumuju/opt/anaconda3/lib/python38.zip',
'/Users/maedasusumuju/opt/anaconda3/lib/python3.8',
'/Users/maedasusumuju/opt/anaconda3/lib/python3.8/lib-dynload',
'/Users/maedasusumuju/opt/anaconda3/lib/python3.8/site-packages',
'/Users/maedasusumuju/opt/anaconda3/lib/python3.8/site-packages/aeosa',
'/Users/maedasusumuju/opt/anaconda3/lib/python3.8/site-packages/locket-0.2.1-py3.8.egg',
'/Users/maedasusumuju/clone1']
usage: train.py [-h] [--batch_sz BATCH_SZ]
[--bert_model {bert-base-uncased,bert-large-uncased}]
[--data_path DATA_PATH] [--drop_img_percent DROP_IMG_PERCENT]
[--dropout DROPOUT] [--embed_sz EMBED_SZ]
[--freeze_img FREEZE_IMG] [--freeze_txt FREEZE_TXT]
[--glove_path GLOVE_PATH]
[--gradient_accumulation_steps GRADIENT_ACCUMULATION_STEPS]
[--hidden [HIDDEN [HIDDEN ...]]] [--hidden_sz HIDDEN_SZ]
[--img_embed_pool_type {max,avg}]
[--img_hidden_sz IMG_HIDDEN_SZ] [--include_bn INCLUDE_BN]
[--lr LR] [--lr_factor LR_FACTOR] [--lr_patience LR_PATIENCE]
[--max_epochs MAX_EPOCHS] [--max_seq_len MAX_SEQ_LEN]
[--model {bow,img,bert,concatbow,concatbert,mmbt}]
[--n_workers N_WORKERS] [--name NAME]
[--num_image_embeds NUM_IMAGE_EMBEDS] [--patience PATIENCE]
[--savedir SAVEDIR] [--seed SEED]
[--task {mmimdb,vsnli,food101}]
[--task_type {multilabel,classification}] [--warmup WARMUP]
[--weight_classes WEIGHT_CLASSES]
train.py: error: argument --freeze_txt: invalid int value: '0.1'

[sasuraibito]

回答者様のご指摘と私の操作で相違があるかもしれないので、一応train.pyの変更後とディレクトリ構造をスクショしたものを送らさせていただきます。

https://d.kuku.lu/c644b973e

https://d.kuku.lu/562b35971

[jbpb0]

> やはり余計な/mmbtがくっついてしまっています、、、

大丈夫です
一番下に

> '/Users/maedasusumuju/clone1']

が追加されてますよね

ちょっと前に質問者さんがコメントに書いたのと比べてみてください
その時にはありませんでしたよね

そして、これまでは出てた

> Traceback (most recent call last):
File "mmbt/train.py", line 24, in <module>
from mmbt.data.helpers import get_data_loaders
ModuleNotFoundError: No module named 'mmbt'

が、今回は出てませんよね
それは、インポートが正常にできたからです

> usage: train.py [-h] [--batch_sz BATCH_SZ] ...

は、エラーではありません
たぶん、引数の指定が間違ってる、と言ってるのだと思います

[jbpb0]

> 先ほどの/Users/maedasusumuju/clone1/mmbtのパスでは、.shファイルがclone1ディレクトリの直下にあるにもかかわらず、更に先のmmbtディレクトリまでパスを指定してしまっていたために実行ができなっかった、、

「train.py」が「/Users/maedasusumuju/clone1/mmbt」にあるため、モジュール検索パスに「/Users/maedasusumuju/clone1/mmbt」は入ってた

でも、必要なのはそこじゃなくて「/Users/maedasusumuju/clone1」だけど、それは入ってなかったため、インポートできなかった

> それを直すために、sys.path.append('/Users/maedasusumuju/clone1')でパスの指定を変更（？）しましょう

「変更」ではなく「追加」です

モジュール検索パスにもともと入ってた「/Users/maedasusumuju/clone1/mmbt」はそのままで、「/Users/maedasusumuju/clone1」を追加した
「/Users/maedasusumuju/clone1/mmbt」は要らないけど、有っても害はないのでそのまま残ってる

[sasuraibito]

なるほど！見落としてましたが、確かに/Users/maedasusumuju/clone1が一番下にありました。
aceback (most recent call last):
File "mmbt/train.py", line 24, in <module>
from mmbt.data.helpers import get_data_loaders
ModuleNotFoundError: No module named 'mmbt'

そして、これが出て無いということは、しっかりインポートされているということなんですね。
ようやく解決しました。

また「/Users/maedasusumuju/clone1」を「追加」することによって、インポートできるようになった、ということなんですね。
本当にありがとうございます。

最後に一点だけ気になってしまったのですが、これでmmbt.shというシェルスクリプトの実行は完了したということになるのでしょうか？
シェルスクリプトの実態そのものがまだあまり把握できておらず、、何となくですが、mmbt.py（モデル）とtrain.py（学習）と、それを行うためのデータセットをmmbt.shに書かれたパスから取得して、処理を行うという感じで解釈しております。

また、今更思ったのですが、mmbt.shに指定するデータパスは、https://github.com/vkeswani/IITK_Memotion_Analysis/tree/master/Bimodal/mmbt
の方から（mmbt.shが入ってたリポジトリのやつ）持ってこないとダメだったのですね？…
（間違えてclone1の方から入れてました）

だから、色々と引数の指定が間違っているといわれているのだと思いました。

[jbpb0]

> これでmmbt.shというシェルスクリプトの実行は完了したということになるのでしょうか？

なりません
こんなのが出るということは、何か間違ってるということです

> usage: train.py [-h] [--batch_sz BATCH_SZ] ...

間違ってるから、「こう直せ」と教えてくれてるのです

[sasuraibito]

なるほど！！そういうことだったのですね…
この度は一から十まで丁寧に教えていただき、誠にありがとうございましたm(_ _)m