spark-submit で実行するpythonスクリプトでの標準入力

Question

spark-submit stdintest.pyというコマンドで下記のような標準入力から受け付けた値を判定するだけのpythonスクリプトを実行したのですが、値の入力は出来るものの、そのあとのprint('rewrite inp:～が実行されずenterを押しても行になにも表示されません。

「stdintest.py」

from pyspark import SparkConf, SparkContext
from pyspark.sql.types import *
import sys

conf = SparkConf().setMaster('local').setAppName('stdintest')
sc = SparkContext(conf=conf)
sc.setLogLevel('WARN')

inpt = -1
print('initial inp:' + str(inpt))
while (inpt < 0 or inpt > 31):
  inpt = sys.stdin.readline()
  print ('rewrite inp:' + str(inpt))
print('final inp' + str(inpt))

inp = sys.stdin.readline()の箇所をinp=raw_input()などとしても同じ現象が起きます。なにか根本的に間違っているのでしょうか。

Sparkのversionは1.6.1
OSはUbuntu 14.04 LTS
です。

Answer 1

Sparkでは並行して複数のデータ処理をする「分散処理」が前提です。

標準出力 (stdout) については、それぞれの処理からの出力を全部おなじところ (たとえばコンソール) に出せばいいでしょう。複数の出力が混じり合ってしまうかもしれませんが、出力先は一箇所です。

では、標準入力 (stdin) からの入力はどうすればいいでしょうか。一箇所しかない入力元 (たとえばコンソール) からの入力を、複数の処理が受け取ることはできません。

そういうわけで、spark-submitは、起動されるとまずstdinをcloseしてからスクリプトを実行するようです。そのためスクリプト側でstdinから読み込もうとすると、なにも受け取れないので、ずっと入力を待ち続けることになります。一方コンソールでタイプしたものは、画面上にエコーバックされるだけでどこにも送られません。

PySparkでデータを外部から読み込みたいときは、stdinを使うのではなく、textFile()メソッドなどを使ってファイルから読み込み、RRDというオブジェクトとして操作します。