作ったモジュールの取り込みがうまくいかない。

Question

前提

python 3.11.2

構造

.
 |── dezero
│   ├── __init__.py
│   ├── core.py
│   ├── core_simple.py
│   ├── functions.py
│   └── utils.py
├── dots
│   ├── hoge.dot
│   └── sample.png
├── steps
│   ├── goldstein.png
│   ├── my_sin.png
│   ├── step23.py
│   ├── step27.py
│   ├── step28.py
│   ├── step29.py
│   ├── step34.py
│   ├── step35.py
│   ├── step38.py
│   ├── step39.py
│   ├── step40.py
│   └── tanh.png

% python step40.py
variable([11 12 13])
Traceback (most recent call last):
  File "/Users/*/tree/steps/step40.py", line 13, in <module>
    y.backward()
  File "/Users/*/tree/steps/../dezero/core.py", line 67, in backward
    gxs = f.backward(*gys)
          ^^^^^^^^^^^^^^^^
  File "/Users/*/tree/steps/../dezero/core.py", line 182, in backward
    gx0 = dezero.functions.sum_to(gx0, self.x0_shape)
          ^^^^^^^^^^^^^^^^
AttributeError: module 'dezero' has no attribute 'functions'. Did you mean: 'Function'?

該当のソースコード

import dezero
import numpy as np
import weakref
import contextlib

########################################################################

class Config:
	enable_backprop = True

########################################################################

#微分値をVariableインスタンスにすることで逆伝播の計算のつながりも記憶されるため高階微分も自動で求めることが可能になる。


class Variable:
	def __init__(self, data, name=None):
		if data is not None:
			if not isinstance(data, np.ndarray):
				raise TypeError("{} is not supported".format(type(data)))

		self.data = data
		self.name = name
		self.grad = None
		self.creater = None
		self.generation = 0

	def __len__(self):
		return len(self.data)

	#__repr__()はprint()で出力される文字列をカスタマイズするもの
	def __repr__(self):
		if self.data is None:
			return 'variable(None)'
		p = str(self.data).replace('\n','\n' + ' ' * 9)
		return 'variable(' + p + ')'



	def set_creater(self, func):
		self.creater = func
		self.generation = func.generation + 1

	def backward(self, retain_flag=False, create_graph=False):
		if self.grad is None:
			self.grad = Variable(np.ones_like(self.data))

		funcs = []
		seen_set = set()

		def add_func(f):
			if f not in seen_set:
				funcs.append(f)
				seen_set.add(f)
				funcs.sort(key=lambda x: x.generation)

		add_func(self.creater)


		while funcs:
			#pop()は”最後尾”の要素を取り出す
			f = funcs.pop()
			gys = [output().grad for output in f.outputs]

			#using_configは逆伝播するかどうかのもので、ここでは逆伝播の計算の中で逆伝播を求めるかどうかのflagになっている。
			with using_config('enable_backprop', create_graph):
				gxs = f.backward(*gys)
				if not isinstance(gxs, tuple):
					gxs = (gxs,)

				for x, gx in zip(f.inputs, gxs):
					#同じ変数を使って計算するとき用
					if x.grad is None:
						x.grad = gx
					else:
						x.grad = gx + x.grad

					if x.creater is not None:
						add_func(x.creater)
				
				#機械学習において必要なのは末端の変数の微分値だから中間はいらない
				#だから何らかの関数に出力されている変数の微分値だけ消している
				if not retain_flag:
					for y in f.outputs:
						y().grad = None


	def cleargrad(self):
		self.grad = None

	def reshape(self, *shape):
		#一次元配列だった場合第二引数は数字だけでいい
		if len(shape) == 1 and isinstance(shape[0], (tuple, list)):
			shape = shape[0]
		return dezero.functions.reshape(self, shape)

	def sum(self, axis=None, keepdims=False):
		return dezero.functions.sum(self, axis, keepdims)

	@property
	def shape(self):
		return self.data.shape
	@property	
	def ndim(self):
		return self.data.ndim
	@property
	def size(self):
		return self.data.size
	@property
	def dtype(self):
		return self.data.dtype
	@property
	def T(self):
		return dezero.functions.transpose(self)
	__array_priority__ = 200

########################################################################

class Function:
	#　*をつけると各々の引数がタプルとして渡される
	def __call__(self, *inputs):
		inputs = [as_variable(x) for x in inputs]
		xs = [x.data for x in inputs]
		ys = self.forward(*xs)
		if not isinstance(ys, tuple):
			ys = (ys,)
		outputs = [Variable(as_array(y)) for y in ys]

		if Config.enable_backprop:
			#推論時の順伝播のみの時には不必要
			self.generation = max([x.generation for x in inputs])

			for output in outputs:
				output.set_creater(self)
			
			self.inputs = inputs
			#Funtion classと出力のVariable classで循環参照が起きてしまっていたことの解消
			self.outputs = [weakref.ref(output) for output in outputs]


		return outputs if len(outputs) > 1 else outputs[0]

	def forward(self, xs):
		raise NotImplementedError()
	def backward(self, gys):
		raise NotImplementedError()
################################################################
#core.pyでの修正点：今まではgradインスタンスはndarrayインスタンスを参照にしていたが、それをVariableインスタンス
#に変えるため、各々のbackwardメソッドの入力値は　~.data　から　~　にする


class Square(Function):
	def forward(self, x):
		y = x ** 2
		return y

	def backward(self, gy):
		###二乗の計算の入力値は常に一つだが元々inputがリストの形になっているから[0]が必要
		x = self.inputs
		gx = 2 * x * gy
		return gx

class Exp(Function):
	def forward(self, x):
		y = np.exp(x)
		return y

	def backward(self, gy):
		x = self.inputs
		gx = np.exp(x) * gy
		return gx

class Add(Function):
	def forward(self, x0, x1):
		self.x0_shape, self.x1_shape = x0.shape, x1.shape
		y = x0 + x1
		return(y,)

	def backward(self,gy):
		gx0, gx1 = gy, gy
		if self.x0_shape != self.x1_shape:
			gx0 = dezero.functions.sum_to(gx0, self.x0_shape)
			gx1 = dezero.functions.sum_to(gx1, self.x1_shape)
		return gx0, gx1

class Mul(Function):
	def forward(self, x0, x1):
		self.x0_shape, self.x1_shape = x0.shape, x1.shape
		y = x0 * x1
		return y

	def backward(self,gy):
		x0, x1 = self.inputs
		gx0 = gy * x1
		gx1 = gy * x0
		if self.x0_shape != self.x1_shape:
			gx0 = dezero.functions.sum_to(gx0, self.x0_shape)
			gx1 = dezeto.unctions.sum_to(gx1, self.x1_shape)
		return gx0, gx1

class Neg(Function):
	def forward(self, x):
		return -x

	def backward(self, gy):
		return -gy

class Sub(Function):
	def forward(self, x0, x1):
		self.x0_shape, self.x1_shape = x0.shape, x1.shape
		y = x0 - x1
		return y

	def backward(self, gy):
		gx0, gx1 = gy, -gy
		if self.x0_shape != self.x1_shape:
			gx0 = dezero.functions.sum_to(gx0, self.x0_shape)
			gx1 = dezero.functions.sum_to(gx1, self.x1_shape)
		return gx0, gx1

class Div(Function):
	def forward(self, x0, x1):
		self.x0_shape, self.x1_shape = x0.shape, x1.shape
		x1 = as_array(x1)
		y = x0 / x1
		return y

	def backward(self, gy):
		x0, x1 = self.inputs
		gx0, gx1 = gy / x1 , -gy * x0 / x1**2
		if self.x0_shape != self.x1_shape:
			gx0 = dezero.functions.sum_to(gx0, self.x0_shape)
			gx1 = dezero.functions.sum_to(gx1, self.x1_shape)
		return gx0, gx1

class Pow(Function):
	def __init__(self, c):
		self.c = c

	def forward(self, x):
		y = x ** self.c
		return y

	def backward(self, gy):
		x, = self.inputs
		c = self.c
		return c * x ** (c-1) * gy


# class Sum(Function):
# 	def forward(self, x):
# 		self.x_shape = x.shape
# 		y = x.sum()
# 		return y
# 	def backward(self, gy):
# 		gx = broadcast_to(gy, self.x_shape)
# 		return gx
# def sum(x):
# 	return Sum()(x)
########################################################################

def square(x):
	return Square()(x)

def exp(x):
	f = Exp()
	return f(x)

def mul(x0, x1):
	x1 = as_array(x1)
	return Mul()(x0, x1)

def add(x0, x1):
	x1 = as_array(x1)
	return Add()(x0, x1)

def neg(x):
	return Neg()(x)

def sub(x0, x1):
	x1 = as_array(x1)
	return Sub()(x0, x1)

def rsub(x0, x1):
	x1 = as_array(x1)
	return Sub()(x1, x0)

def div(x0, x1):
	x1 = as_array(x1)
	return Div()(x0, x1)

def rdiv(x0,x1):
	x1 = as_array(x1)
	return Div()(x1, x0)

def pow(x, c):
	c = as_array(c)
	return Pow(c)(x)

def no_grad():
	return using_config('enable_backprop', False)

########################################################################

省略

if '__file__' in globals():
	import os, sys
	sys.path.append(os.path.join(os.path.dirname(__file__),'..'))




class BroadcastTo(Function):
	def __init__(self, shape):
		self.shape = shape

	def forward(self, x):
		self.x_shape = x.shape
		y = np.broadcast_to(x, self.shape)
		return y
	def backward(self, gy):
		gx = sum_to(gy, self.x_shape)
		return gx

def broadcast_to(x, shape):
	if x.shape == shape:
		return as_variable(x)
	return BroadcastTo(shape)(x)


from dezero import utils

class SumTo(Function):
	def __init__(self, shape):
		self.shape = shape
	def forward(self, x):
		self.x_shape = x.shape
		y = utils.sum_to(x, self.shape)
		return y
	def backward(self, gy):
		gx = broadcast_to(gy, self.x_shape)
		return y

def sum_to(x, shape):
	if x.shape == shape:
		return as_variable(x)
	return SumTo(shape)(x)

class Sum(Function):
	def __init__(self, axis, keepdims):
		self.axis = axis
		self.keepdims = keepdims
	def forward(self, x):
		self.x_shape = x.shape
		y = x.sum(axis=self.axis, keepdims=self.keepdims)
		return y
	def backward(self, gy):
		gy = utils.reshape_sum_backward(gy, self.x_shape, self.axis, self.keepdims)
		gx = broadcast_to(gy, self.x_shape)
		return gx

def sum(x, axis=None, keepdims=False):
	return Sum(axis, keepdims)(x)

if '__file__' in globals():
	import os, sys
	sys.path.append(os.path.join(os.path.dirname(__file__),'..'))

import numpy as np
from dezero import Variable

x0 = Variable(np.array([1,2,3]))
x1 = Variable(np.array([10]))
y = x0 + x1
print(y)

y.backward()
print(x1.grad)

試したこと

書籍に沿ってコードは書いていたので間違いはなく、同じような状況に陥っている人は居なそうでした。
ファイルが入っているディレクトリをimportすることには違和感を感じたのですが、書籍では特に触れずに実行できた居たようなのでそこも疑問です。

Comments

[jbpb0]

> 書籍に沿ってコードは書いていた

書籍名も質問に追記した方がいいと思いますよ

https://github.com/oreilly-japan/deep-learning-from-scratch-3
のコードですかね

[jbpb0]

実行しようとしてるのが、書籍
https://github.com/oreilly-japan/deep-learning-from-scratch-3
のコードならですが、
https://github.com/oreilly-japan/deep-learning-from-scratch-3/blob/master/dezero/core.py
や
https://github.com/oreilly-japan/deep-learning-from-scratch-3/blob/master/dezero/functions.py
の、質問のコードに抜粋されてるところを見ると、質問のコードと違いがあります

それ以外のファイルも含めて、
https://github.com/oreilly-japan/deep-learning-from-scratch-3
から落としたものを全部そのまま使って、質問者さんの環境で「python step40.py」を実行したら、どうなるのでしょうか？
その場合でも、質問のエラー

> AttributeError: module 'dezero' has no attribute 'functions'. Did you mean: 'Function'?

は出るのでしょうか？

ちなみに、google colabで

!git clone https://github.com/oreilly-japan/deep-learning-from-scratch-3.git
%cd /content/deep-learning-from-scratch-3/steps/
!python step40.py

を実行したら、質問のエラーは出ずに実行でき、結果が
variable([11 12 13])
variable([3])
と表示されました

[bsdfan]

dezero/__init__.py はどうなってますか？
dezero.functions モジュールが import されていないためのエラーではないでしょうか。

[__xX__Xx__]

すみません __init__.py　に書き加えるのを忘れていました、、
素人質問で恐縮なのですが、__init__.pyでimportする以外に選択肢はあるのでしょうか、
いまいち__init__.pyが何をしているのかわかっていません
例えば、core.pyの先頭にimport dezero.functions　とするのも同じなように思えてしまいます。（おそらく違うのですが）、
素人質問で申し訳ありません、

[bsdfan]

__init__.py はパッケージをimportしたときに実行されます。pythonではパッケージをimportしたときにサブモジュールまではimportされないので、同時にサブモジュールもimportしておきたいときは __init__.py でimport をするようにします。
これはパッケージの使われ方をどう設計するかによる部分かと思います。

__init__.py は別として、最低でも、そのサブモジュールを利用するファイル (今回なら core.py) で import を明記しておくべきとは思います。