質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
86.02%
Google Colaboratory

Google Colaboratoryとは、無償のJupyterノートブック環境。教育や研究機関の機械学習の普及のためのGoogleの研究プロジェクトです。PythonやNumpyといった機械学習で要する大方の環境がすでに構築されており、コードの記述・実行、解析の保存・共有などが可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

Q&A

解決済

【Python】Google Colaboratoryにおける自作モジュールのインポート

Palude_Lunga
Palude_Lunga

総合スコア6

Google Colaboratory

Google Colaboratoryとは、無償のJupyterノートブック環境。教育や研究機関の機械学習の普及のためのGoogleの研究プロジェクトです。PythonやNumpyといった機械学習で要する大方の環境がすでに構築されており、コードの記述・実行、解析の保存・共有などが可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

3回答

1グッド

1クリップ

3291閲覧

投稿2020/05/02 21:23

実現したいこと

Google Colabratoryの環境でPythonの学習をしております.
コードが長くなり,可読性が低下してきたことから,ファイルをモジュール毎に分割して管理したいと考えております.そこで今回は,**「Google Colabratoryのノートブック上で別の.pyファイルをインポートし,実行する」**ということを実現したいと考えております.

調べればヒットしない内容ではないのですが,同一事例を参考にして,同様な手順で行っても,何故か上手く行かず,困り果てている状況で,皆様のお力をお借りしたいと思った次第です.

該当のソースコード

ファイルは以下の2つです.

Module1.py

Python

1print('Hello World!')
Main.ipynb

Python

1# Google Driveのマウント-------------- 2from google.colab import drive 3drive.mount('/content/drive') 4 5# 作業ディレクトリの移動と確認------------------------ 6import os 7os.chdir('/content/drive/My Drive/Colab_Test/my_projects/') 8!ls 9 10# 他ファイルのインポート・リロード------------------------ 11import Module1 12import imp 13imp.reload(Module1)
ディレクトリ構成
My Drive/ └ Colab_Test/ └ my_projects/ ├ Main.ipynb └ Module1.py

試したこと

上記のMain.ipynbから同一ディレクトリにあるModule1.pyをインポートして使用する,ということを試しました.

Google Driveのマウント,ディレクトリの移動も問題なく,!lsコマンドの結果として,

Main.ipynb Module1.py __pycache__

が得られているので,ここまでは問題ないと考えています.

しかしながら,import Module1を実行しても,Hello World!が返ってきません.

Google Colaboratory特有のキャッシュやランタイムの問題も考えられますので,

import imp imp.reload(Module1)

にて,インポートしたModule1.pyをリロードしても結果は同じでした.

参考にしたこと

下記の2つの記事を参考にさせていただきました.
0. Google ColaboratoryでGoogle Drive上の.pyファイルをインポート
0. Google ColaboratoryでPythonファイルを実行する

発生している問題・エラーメッセージ

エラーメッセージは特にありません.

上記の記事と同様な方法で試したつもりですが,期待する結果が得られず,エラーメッセージも特に出ないため,何が原因なのか見当がつかない状況です.

この現象について,お分かりの方がいらっしゃいましたら,ご助言をいただければ幸いです.
何卒よろしくお願いいたします.

補足情報(FW/ツールのバージョンなど)

  • 開発環境:Google Colaboratory
  • バージョン:python3.6.9
  • ランタイムの設定:ハードウェアアクセラレータNone
  • OS:Ubuntu 18.04.3 LTS
  • CPU:Intel(R) Xeon(R) CPU @ 2.20GHz
kouji_39👍を押しています

以下のような質問にはグッドを送りましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

グッドが多くついた質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

下記のような質問は推奨されていません。

  • 間違っている
  • 質問になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

適切な質問に修正を依頼しましょう。

回答3

2

自己解決

皆様,お忙しい中,ご回答ありがとうございました.解決しました.
基本中の基本のようなことが原因で,非常にお恥ずかしい限りですが,共有させていただきます.

.pyファイルの作成に問題がありました.

私が知る限り,Colaboratoryには.py形式で保存する機能がありませんので,Module1.pyを作成する際に,Colaboratory上でノートブック形式でModule1.ipynbを作成した後に,下図のように画面左上のファイル名の拡張子を直接編集して,.pyファイルを作成しておりました.本当にごめんなさい.
イメージ説明

拡張子をむやみにいじることはご法度であることは知っておりましたが,この方法で作成した.pyファイルでもColaboratoryで直接実行する分には問題なく動作しておりましたので,Renameする際に,内部的に良きにやってくれているものと勘違いしていました(←ど素人).

しかしながら,多くの皆様の環境では問題なく実行できて,さらにはプログラミングに長けている皆様でも解決できないということは,より根本的な部分が原因である可能性が高いと思い始めていたところ,ふと上記のような拡張子変更という荒業で.pyファイルを作っていたことを思い出し,Colaboratoryのファイルメニュー下部にある「.pyをダウンロード」から正規の手続きで.pyファイルを作成し,それをアップロードした上で,Main.ipynbを実行したところ,正常に「Hello_World!!」を出力することができました.

このような初歩的なことでお騒がせしてしまい,大変申し訳ありませんでした.

投稿2020/05/13 06:48

Palude_Lunga

総合スコア6

teamikl, magichan👍を押しています

良いと思った回答にはグッドを送りましょう。
グッドが多くついた回答ほどページの上位に表示されるので、他の人が素晴らしい回答を見つけやすくなります。

下記のような回答は推奨されていません。

  • 間違っている回答
  • 質問の回答になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

このような回答には修正を依頼しましょう。

2021/09/14 12:38

こちらの回答が他のユーザーから「過去の低評価」という指摘を受けました。

回答へのコメント

magichan

2020/05/13 06:54

なるほど、そう言うことでしたか。 とりあえず解決できて良かったです。
Palude_Lunga

2020/05/13 07:00

magichan様,この度はこのような初歩的なことでご迷惑をおかけして申し訳ありませんでした.お時間を割いていただき,ありがとうございました!初めての質問の投稿で,少し不安でしたが,ご回答をいただけて,とても心強く感じました.本当にありがとうございました!

2

素直に setup.py を書いてパッケージングするのが最短の気がします。

フォルダ構成

My Drive/ └ Colab_Test/ └ my_projects/ ├ Main.ipynb └ module1 ├ setup.py └ module1 └ __init__.py

setup.py

from setuptools import setup setup(name='module1', version='0.1', description='My module #1', url='', author='magichan', author_email='magichan.lab@gmail.com', license='MIT', packages=['module1'], zip_safe=False)

init.py

print('Hello World!!')

Main.ipynb

# Google Driveのマウント-------------- from google.colab import drive drive.mount('/content/drive') # 自作モジュールのインストール----------------------- import os os.chdir('/content/drive/My Drive/Colab_Test/my_projects/module1/') !ls # module1 setup.py !pip install module1 # Collecting module1 # Downloading # https://files.pythonhosted.org/packages/8e/01/**********/module1-0.1.0-py2.py3-none-any.whl # Installing collected packages: module1 Successfully installed module1-0.1.0 # 他ファイルのインポート・リロード------------------------ os.chdir('/content/drive/My Drive/Colab_Test/my_projects/') import module1 # Hello World!!

投稿2020/05/03 02:19

magichan

総合スコア15884

Palude_Lunga, teamikl👍を押しています

良いと思った回答にはグッドを送りましょう。
グッドが多くついた回答ほどページの上位に表示されるので、他の人が素晴らしい回答を見つけやすくなります。

下記のような回答は推奨されていません。

  • 間違っている回答
  • 質問の回答になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

このような回答には修正を依頼しましょう。

回答へのコメント

Palude_Lunga

2020/05/05 14:49 編集

貴重なご回答ありがとうございます! しかしながら,ご教示いただいた方法を試してみたのですが, Collecting module1 Downloading https://files.pythonhosted.org/packages/**/**/*****/module1-1.3.0.zip Building wheels for collected packages: module1 Building wheel for module1 (setup.py) ... done Created wheel for module1: filename=module1-1.3.0-cp**-none-any.whl size=1026 ********* Stored in directory: /root/.cache/pip/wheels/**/**/**/***** Successfully built module1 Installing collected packages: module1 Successfully installed module1-1.3.0 というメッセージが表示され,一見するとインストールが成功しているように思えたのですが, __init__.pyに記述してあるはずの「'Hello Worlds!!'」が出力されず,正しく実行されていないようでした... せっかく教えていただいたのに,すんなり行かず申し訳ありません. 何か根本的な原因がないか,もう一度コードや設定を確認してみます. 今まで自分ではパッケージングをしたことがなかったので,新たな方法を知ることができて大変勉強になりました.ありがとうございました!
magichan

2020/05/09 03:09 編集

スミマセン。コメントがあるのを完全に見飛ばしておりました。 上記の状態であればパッケージはインストールされていると思います。 パッケージ名としてはフォルダ名`module1`となり、パッケージがimport されると呼ばれるのが __init__.py となりますので、 import module1 で Hello Worlds!! が出ると思うのですが、出ませんか?
Palude_Lunga

2020/05/09 05:06

magichan様,返信ありがとうございます. >import module1 >で Hello Worlds!! が出ると思うのですが、出ませんか? すみません,コードの記述は誤っていないことを確認したのですが,Hello Worlds!! は出てきません. その後,何が原因なのか色々探ってみて,わざと__init__.pyの中身をエラーが出るように書き換えて,実行してみました.__init__.pyを直接走らせた場合は,当然エラーを返しますが,パッケージとして他ファイルから呼び出した際には,Hello Worlds!! もエラーも返さないことが分かりました.やはりGoogle Drive内の.pyファイルについては「認識はできるのに,実行はできない」現象のようです. ちなみに.pyファイルではない他のテキストファイル等の読み取りは問題なくできることは確認しております.また,別のGoogleアカウントでも試しましたが,同様の現象でした.
magichan

2020/05/09 08:34

自分の回答を見直してみましたが、1箇所まちがいをみつけました。 大変・大変申し訳ありません。。 install の方法ですが、 !pip install module1 ではなくて !pip install . ですね。(なんでこんな間違いしたんだろ?) 一応念の為、「ランタイム」→「ランタイムを出荷時設定にリセット」をした後に動作確認してみてください。(その場合再マウントが必要となりますが。) パッケージの __init__.py は 1回目の import 時しか動作しませんので、再度動作を確認する際は import imp imp.reload(module1) してください。
Palude_Lunga

2020/05/09 22:04

magichan様,ご訂正ありがとうございます. お手数をおかけして申し訳ありません. ランタイムをリセットした上で !pip install module1  ↓ !pip install . に書き換えて試したところ, ERROR: Files/directories not found in /tmp/pip-req-build-acglqgco/pip-egg-info というエラーが返ってきてしまいました... すんなり行かず本当に申し訳ありません!

1

エラーメッセージが出ていないということはimport Module1は成功しているということです。
Module1.__file__でModule1の場所を確認してみてください。
可能性として同名ファイルがパスのどこかにあり、別のファイルが読み込まれていないでしょうか?

投稿2020/05/11 17:21

meg_

総合スコア9762

Palude_Lunga👍を押しています

良いと思った回答にはグッドを送りましょう。
グッドが多くついた回答ほどページの上位に表示されるので、他の人が素晴らしい回答を見つけやすくなります。

下記のような回答は推奨されていません。

  • 間違っている回答
  • 質問の回答になっていない投稿
  • スパムや攻撃的な表現を用いた投稿

このような回答には修正を依頼しましょう。

回答へのコメント

Palude_Lunga

2020/05/12 07:19

meg_様,貴重なご回答ありがとうございます! ご提案の通り,Module1.__file__を実行したとことろ, '/content/drive/My Drive/Colab_Test/my_projects/Module1.py' が得られました. また,ドライブ上には当該フォルダ,ファイルのみしか存在しないので,同名の別ファイルが読み込まれている可能性は低いかと思います. >エラーメッセージが出ていないということはimport Module1は成功しているということです。 このアドバイスに関連してなのですが,Module1.pyの記述を print('Hello World!' のように,最後のカッコを除去して,わざとエラーが出るようにして実行してみますと, Module1.pyを直接走らせた場合には,当然エラーを出しますが,Main.ipynbから呼び出すと,エラーを出さない(Hello World!も出ない)という現象がおきました. このことから,Module1.pyの中身が正常でも不正でも同様の結果=「そもそも呼び出せていない」ということかなぁ...と推測します.
meg_

2020/05/12 08:35

私も試したところ問題なく画面出力されました。 ランタイムを再起動して試しても駄目ですか?
Palude_Lunga

2020/05/12 20:36

ランタイムの再起動,または工場出荷時へのリセットいずれも試してみましたが,だめでした...
meg_

2020/05/13 00:45

そうですか。出るはずのエラーが出なかったのは同名モジュールのimportをしたため、実際にはimportされなかったと思ったのですが。再起動しても駄目でしたか。謎ですねぇ。

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
86.02%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

Google Colaboratory

Google Colaboratoryとは、無償のJupyterノートブック環境。教育や研究機関の機械学習の普及のためのGoogleの研究プロジェクトです。PythonやNumpyといった機械学習で要する大方の環境がすでに構築されており、コードの記述・実行、解析の保存・共有などが可能です。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。