Python C拡張モジュール .pyファイルと共存

Question

Pythonで、学校の授業のよく使う自作関数を高速化しようと思って、現在、C言語拡張モジュールを作成しています。
しかし、自作関数の中にはc言語で書いても、あんまり速度の早くなる見込みがなく、ただひたすら長くなるだけなので、C言語で書きたくないなというものもあります。

そのためCとPythonのハイブリッドなライブラリにしようと思って、私、初心者なりに考えている、作成したいモジュールのディレクトリ構成は

lib
├── __init__.py
├── c_src
│   └── myfunction.c
├── py_src
│   ├── __init__.py
│   └── myfunction.py
├── setup.cfg
└── setup.py

ような形で、

from distutils.core import setup, Extension

setup(
    name= 'myfunction',
    version= '1.0',
    author= '***',
    author_email= '***',
    description= 'This is a package involves my functions',
    py_modules= ['py_src.myfunction'],
    ext_modules= [
        Extension('myfunction',sources=['c_src/myfunction.c'])
    ]
)

とsetup.pyを作成した場合
使用する際に

from lib.myfunction import *
from lib.py_src.myfunction import *

とimportする必要があり、一つにまとまらないのでしっくりきません
一つに綺麗にまとめる方法はありますでしょうか。それとも、そもそもC言語で全て書いたり、２つに分けるのが普通なのでしょうか

Answer 1

psutilが大変参考になると思います。

https://github.com/giampaolo/psutil

目指している通りのハイブリッドパッケージ、大きすぎない規模、メジャーでアクティブにメンテナンスされている等々、良いお手本になると思います。

質問に対しては恥ずかしながら「出来るはずだがやったことないし即答できない」という回答しかできません。

Comments

[ablerjb]

ご回答、ありがとうございます。
書ける人のプログラムを見ると勉強になりますよね！
チェコ人ってプログラムできる人多いイメージ 笑

[YouheiSakurai]

おー、オーナーはチェコ人？でも写真はチェコ人顔ではない気がする。まぁロシア人と同じくプログラマーなイメージがありますね。

[shimizukawa]

参考になるプロジェクトとしては https://github.com/simplejson/simplejson も良いと思います。Cコンパイル可能な環境ではspeedup.cを使い、そうでなければ.py実装を使います。このように.cと.py両方で同じ機能を実装しているライブラリーはけっこうあります。
Cまで書きたくない場合はCythonも良いですね。型宣言付きPython、といった感じの言語ですが、Pythonっぽい文法で書いて、手軽にCコンパイルの高速化の恩恵を受けられます。

[ablerjb]

ご回答ありがとうございます。
C++/Cは好きなので、Python apiに手を出し始めたのですが、たしかにコストが大きいので、まだまだ勉強が必要です。
挫折したら、Cythonも試してみたいと思います。
simplejson参考にさせていただきます

Answer 2

質問の意図を勘違いしていたら申し訳ないけど、単純にPythonのモジュールで拡張モジュールをimportするだけのような気がします。

/*
 * c_mod.c
 * gcc -shared -o c_mod c_mod.c `python-config --cflags --ldflags`
 */
#include <Python.h>

PyObject * piyo()
{
	return PyUnicode_FromString("I'm a C module.");
}

PyMODINIT_FUNC
initc_mod()
{
	static PyMethodDef method_defs[] = {
		{ "piyo", (PyCFunction)piyo, METH_NOARGS, NULL },
		{ NULL }
	};

	Py_InitModule("c_mod", method_defs);
}

# py_mod.py
# coding: utf-8

from c_mod import *

def hoge():
	return u'I\'m a Python module.'

>>> from py_mod import *
>>> hoge()
u"I'm a Python module."
>>> piyo()
u"I'm a C module."
>>> 

質問者さんのディレクトリ構成だと、pythonモジュールから拡張モジュールを呼び出すのに苦労しそうなので、同じディレクトリに置くほうがいいかもしれません。
(相対importでできるかなぁ…)

Comments

[ablerjb]

大変ありがとうございます。盲点でした。
できました。

Answer 3

単純に下記のように一気にインポートが出来ないので面倒だという話でしょうか？

from lib.myfunction import *

拝見すると、パッケージ配下のディレクトリ構造は作成者の都合でわけられていますね。
しかし、そんな都合は利用者からは関係ありませんよね。

パッケージ配下のディレクトリを利用者から隠蔽（というか、利用者が使いやすい形に変換する）する役割を持っているのが__init__.pyです。
たぶん、__init__.pyに何も書いていないのではないでしょうか。

__init__.pyはパッケージにするためだけに、仕方なく配置する空ファイルではありません。
__all__などのキーワードを使えばよいでしょう。

Comments

[ablerjb]

ご回答ありがとうございます。
そんな役割があったなんて知りませんでした。
きれいにパッケージを作れました、ありがとうございます