pythonでcython

Question

http://www.geocities.jp/penguinitis2002/computer/programming/Python/cython/cython.html

このサイトを参考にcythonのサンプルを動かそうとしています
サンプルコードは以下の通りです
ここで、
python setup.py build_ext --inplace
と実行すると

cythonfn.pyx

def calculate_z(maxiter, zs, cs):
    """Calculate output list using Julia update rule"""
    output = [0] * len(zs)
    for i in range(len(zs)):
        n = 0
        z = zs[i]
        c = cs[i]
        while n < maxiter and abs(z) < 2:
            z = z * z + c
            n += 1
        output[i] = n
    return output
--------------------------------------------------------------
setup.py

from distutils.core import setup
from distutils.extension import Extension
from Cython.Distutils import build_ext

# for notes on compiler flags e.g. using
# export CFLAGS=-O2
# so gcc has -O2 passed (even though it doesn't make the code faster!)
# http://docs.python.org/install/index.html

setup(
    cmdclass={'build_ext': build_ext},
    ext_modules=[Extension("calculate", ["cythonfn.pyx"])]
----------------------------------------------------------------
実行結果

Traceback (most recent call last):
  File "setup.py", line 12, in <module>
    ext_modules=[Extension("calculate", ["cythonfn.pyx"])]
File…
File…
UnicodeDecodeError: 'cp932' codec can't decode byte 0xef in position 0: illegal multibyte sequence

このようになります
なにが原因でしょうか
おしえてください

Answer 1

YouheiSakuraiさんの指摘の通り、ソースコードの文字コードの問題だと思います。

Pythonファイルの先頭に

#coding: utf-8

のようなコーディング設定が入っていないのでは？
UTF-8 BOMありなら

#coding: utf-8_sig

になるんですかね？
Pythonでは一般的にutf-8(BOMなし)が使われています、無用なトラブルを避けたいのであればソースコードはutf-8(BOMなし)で保存することをオススメします。

たぶん、エディタにウインドウズのメモ帳使っているんですかね？
まず、AtomとかVSCodeとかまともなエディタをインストールすることをおすすめします。

Comments

[kohekoh]

回答ありがとうございます
atomを使っています
また、このコードはpython3.6でやっているので
最初のコーディングの設定はいれなくていいとおもっているのですが…
どうでしょうか

[pashango2]

いえ、コードの中に日本語があるなら必須です。
これはPythonのバージョンに関係なく必須だと思います。

[kohekoh]

コーディングの設定を入力しましたが
同じエラーがでてきます…

[pashango2]

cythonが1行目のcodingを見てない可能性がありますね、BOMなしでセーブしてみてください。

[kohekoh]

テキストエディタはatomですが
bomなしでセーブというのはどうやってするのですか

[pashango2]

えーと、.pyxをAtomで開いている時に、右下に"UTF-8"とか表示されていませんか？
"UTF-8"以外であれば、そこをクリックすると文字コードが洗濯できるようになります。

[pashango2]

AtomはBOMを操作できないみたいですね、BOMありだとBOMありで保存するようです。
pyxには日本語文字はありませんよね？
メモ帳でShift JISで保存してください、それでUTF8のBOMなしになると思います。

[kohekoh]

メモ帳で普通に保存もしてみて
terapadでbomなしにできるということだったので
それでやってみたりしたのですが
結果はかわらずでした

[pashango2]

0xef というコードはBOMコードです、エラー内容を見ると0xefというコードでデコードエラーがでています。
どこかのファイルがBOM付きなのが原因なのは間違いないのですが・・・
setup.pyなど全てのファイルの文字コードをutf-8のBOMなしにし、1行目もcoding: utf-8にしても同じエラーが出ますか？

[kohekoh]

やってるのですが、なりません…
全く同じコードが何度もでてきます

[kohekoh]

改行の仕方は関係ないですよね
crlfになっているのですが

[pashango2]

改行は関係ありません。
ディレクトリやファイルなど全て作り直しても、同じエラーが出ますか？

[kohekoh]

新たなディレクトリに新たなファイルをterapadで作りましたが
全く同じです…

[kohekoh]

Traceback (most recent call last):
File "setup.py", line 12, in <module>
ext_modules = ext_modules
File "C:\Users\AppData\Local\conda\conda\envs\anaconda\lib\distutils\core.py", line 121, in setup
dist.parse_config_files()
File "C:\Users\AppData\Local\conda\conda\envs\anaconda\lib\distutils\dist.py", line 395, in parse_config_files
parser.read(filename)
File "C:\Users\AppData\Local\conda\conda\envs\anaconda\lib\configparser.py", line 697, in read
self._read(fp, filename)
File "C:\Users\AppData\Local\conda\conda\envs\anaconda\lib\configparser.py", line 1015, in _read
for lineno, line in enumerate(fp, start=1):
UnicodeDecodeError: 'cp932' codec can't decode byte 0xef in position 0: illegal multibyte sequence

念のため、エラーの全体像を載せておきます

[pashango2]

見れば見るほど.pyxがBOM付きなエラーな気がします。
念のため、日本語パスは通ってませんよね？

[kohekoh]

c:\user…
のとこに日本語がはいってるかっていうことですかね？
それだったら通ってないです

[magichan]

横から失礼します。
ログの内容を見る限り、configparser.pyにてエラーが起こっておりますので、

- setup.py と同じディレクトリに setup.cfg がある
- HOMEディレクトリに pydistutils.cfg がある

のどちらかで、そのファイルがBOM付きなのではないでしょうか。

[pashango2]

configparserがエラーですね、これはiniファイルをパースするモジュールです。
.iniファイルをUTF8のBOM有りで保存したという心当たりはありますか？

[pashango2]

> magichan

ありがとうございます、それですね！

[magichan]

すみません抜けてました。
あと

- anaconda/Lib/distutils/distutils.cfg

にも設定ファイルを置くことも出来るようです。

[kohekoh]

なるほど！
いままでそれをメモ帳で書いてたからだめだったってことですかね
ちなみに次はこんなエラーが…

running build_ext
skipping 'cythonfn.c' Cython extension (up-to-date)
building 'calculate' extension
C:\MinGW\bin\gcc.exe -mdll -O -Wall -DMS_WIN64 "-IC:\Users\ユーザ名\AppData\Local\conda\conda\envs\anaconda\include" "-IC:\Users\ユーザ名\AppData\Local\conda\conda\envs\anaconda\include" -c cythonfn.c -o build\temp.win-amd64-3.6\Release\cythonfn.o
In file included from C:\Users\ユーザ名\AppData\Local\conda\conda\envs\anaconda\include/Python.h:65:0,
from cythonfn.c:4:
C:\Users\ユーザ名\AppData\Local\conda\conda\envs\anaconda\include/pytime.h:112:5: warning: 'struct timeval' declared inside parameter list
_PyTime_round_t round);
^
C:\Users\ユーザ名\AppData\Local\conda\conda\envs\anaconda\include/pytime.h:112:5: warning: its scope is only this definition or declaration, which is probably not what you want
C:\Users\ユーザ名\AppData\Local\conda\conda\envs\anaconda\include/pytime.h:117:5: warning: 'struct timeval' declared inside parameter list
_PyTime_round_t round);
^
writing build\temp.win-amd64-3.6\Release\calculate.cp36-win_amd64.def
C:\MinGW\bin\gcc.exe -shared -s build\temp.win-amd64-3.6\Release\cythonfn.o build\temp.win-amd64-3.6\Release\calculate.cp36-win_amd64.def "-LC:\Users\ユーザ名\AppData\Local\conda\conda\envs\anaconda\libs" "-LC:\Users\ユーザ名\AppData\Local\conda\conda\envs\anaconda\PCbuild\amd64" -lpython36 -lmsvcr140 -o "C:\Users\ユーザ名\Dropbox\prg\make_tips\calculate.cp36-win_amd64.pyd"
c:/mingw/bin/../lib/gcc/mingw32/5.3.0/../../../../mingw32/bin/ld.exe: C:\Users\ユーザ名\AppData\Local\conda\conda\envs\anaconda\libs/python36.lib(python36.dll): Recognised but unhandled machine type (0x8664) in Import Library Format archive
C:\Users\ユーザ名\AppData\Local\conda\conda\envs\anaconda\libs/python36.lib: error adding symbols: File format not recognized
collect2.exe: error: ld returned 1 exit status
error: command 'C:\\MinGW\\bin\\gcc.exe' failed with exit status 1

[pashango2]

メモ帳でUTF8でセーブするとBOMを付けます、本当に痛い目に会いますからやめたほうがいいです。

コメント欄が長くなると辛いので、このエラーは別の質問として投稿してください。

[kohekoh]

わかりました
ありがとうございます！

一応新たな質問ものせとくので
なにか思いついたらよろしくお願いします
https://teratail.com/questions/83914

Answer 2

BOM付きのUTF-8でソースコードが保存されている事が原因なんだと思います。ソースコードのエンコーディングをBOMなしのUTF-8に変更する(もしくはPythonのバージョンを3.6にする)必要があります。

Comments

[kohekoh]

anadondaで実装しているのですが
pythonは3.6.1です