PythonでGILロックを回避する方法

Question

前提・実現したいこと

I/Oバウンドな処理を高速化したいのですがCPU使用率を100%まで引き出すことができないためmultiProcessingなどを検討しているのですが他にどのようにGILロックを回避する方法がありますか？
cycleでイテレータを使用して実行するごとにリストから順番に実行しているのでできればデータ共有を行いたいです。
現在は以下のようなコードを使用しています(以下は形のみのサンプルです)
＃1がfor文でリストを回してThreadをスタートさせています。
＃2がイテレータを使用してThreadへの引数はなしで実行するごとにnextでリストを回しています。

このようにリストを順番に実行するという処理をCPU100%になるまで最高速に動作させたいです。

該当のソースコード

#1
def t(i):
    print(i)
    #実際はここにI/Oバウンドな処理

for i in list:
    Thread(target=t, args=(i, )).start()

#2
list = cycle(list)

def t():
    i = next(list)
    print(i)
    #実際はここにI/Oバウンドな処理

while True:
    Thread(target=t).start()

試したこと

下のイテレータを使用したバージョンでmultiProcessingを使用しましたがデータの共有がされないためイテレータのnextが効かなかったため使えませんでした。
データの共有が可能であればできそうではあります。

Comments

[t_obara]

共有と言っても参照だけなのか、逐次書き換えが発生するのか、終了時のみ書き換えするのかなどにより実装も変わりそうです。参照だけであれば、上の例でmultiProcessingにすれば良さそうですが。

[KohnoseLami]

nextでイテレータ処理をする場合は逐次書き換えが必要になるのでmultiProcessingでの処理が行えないんですよね...
それと、multiProcessingで新しい問題が出てきてpoolで実装できたのですがexeにすると設定したプロセス数を無視して無限にプロセス生成がされてパソコンが落ちてしまうのですがmultiProcessingではexeにするのは難しいなどありますか？

Answer 1

Jythonを使う、のが早そうです。

以下を参照してください。

Pythonで並列処理をするなら知っておくべきGILをできる限り詳しく調べてみた