Python上で、2つのシステムを１つのプログラムとして同時に起動したいです。

Question

前提・実現したいこと

Pythonを使用したプログラムで、webカメラを使用した動くものを追跡するtrackingのプログラムと、マイクを使用した音声波形が出るシステムを同時に起動するプログラムを作成したいのですが、２つをうまく合わせることが出来ません。

問題点として発覚しているのは、マイクを使用した音声波形が出るプログラムが、ループを繰り返していて、webカメラを使用したtrackingのプログラムが起動しません。

発生している問題・エラーメッセージ

エラーは起きていません

該当のソースコード

# -*- coding:utf-8 -*-

import pyqtgraph as pg
from pyqtgraph.Qt import QtCore, QtGui
import numpy as np
import scipy.signal
import sys
import RPi.GPIO as GPIO
import pyaudio
import struct
import cv2

#from PySide import QtGui, QtCore
import sys
import threading
import time


PIN_1 = 35
#PIN_2 = 37
#PIN_3 = 38
PIN_4 = 40

cap = cv2.VideoCapture(0)

class PlotWindow:
    def __init__(self):
        #プロット初期設定
        self.win=pg.GraphicsWindow()
        self.win.setWindowTitle(u"リアルタイムプロット")
        self.win.nextColumn()
        self.plt1=self.win.addPlot(title="Left") #プロットのビジュアル関係
        self.plt1.setYRange(0,100)
        self.plt1.setXRange(100,2000)    #y軸の上限、下限の設定
        self.plt2=self.win.addPlot(title="Right") #プロットのビジュアル関係
        self.plt2.setYRange(0,100)    #y軸の上限、下限の設定
        self.plt2.setXRange(100,2000)

        #マイクインプット設定
        self.CHUNK=4096             #1度に読み取る音声のデータ幅
        self.RATE=44100             #サンプリング周波数
        self.audio=pyaudio.PyAudio()
        self.stream=self.audio.open(format=pyaudio.paInt16,#取り込んだ音声フォーマット指定
                                    channels=2,#入力チャンネル(２ならステレオ)
                                    rate=self.RATE,#サンプリングレート
                                    input=True,#入力を許可
                                    frames_per_buffer=self.CHUNK)


        #アップデート時間設定
        self.timer=QtCore.QTimer()
        self.timer.timeout.connect(self.update)
        self.timer.start(10)    #10msごとにupdateを呼び出し

        #音声データの格納場所(プロットデータ)
        self.data=np.zeros(self.CHUNK)

        GPIO.setmode(GPIO.BOARD)
        GPIO.setup(PIN_1,GPIO.OUT)
        #GPIO.setup(PIN_2,GPIO.OUT)
        #GPIO.setup(PIN_3,GPIO.OUT)
        GPIO.setup(PIN_4,GPIO.OUT)



    def update(self):
        self.data=self.AudioInput()
        self.data=[self.data[2::2],self.data[3::2]]#音声データを左右に分離

        #左右の音声をFFT変換してスペクトルアナライザーとして表示する
        self.axis=[np.fft.fftfreq(len(self.data[0]), d=1.0/self.RATE),np.fft.fftfreq(len(self.data[1]), d=1.0/self.RATE)]
        self.plt1.plot(x=self.axis[0],y=self.FFT_AMP(self.data[0]),clear=True)
        self.plt2.plot(x=self.axis[1],y=self.FFT_AMP(self.data[1]),clear=True)

        #相関係数を求める部分
        corr=[]
        for i in range(-45,45):
           corr.append(np.corrcoef(self.data[0][45:1000],self.data[1][45+i:1000+i])[0,1])

        #最大相関係数を出力
        #print(np.argmax(corr))

        #最大相関係数の値によって回転する方向を出力
        if np.argmax(corr) <= 46 and np.argmax(corr)>= 44:
            GPIO.output(PIN_1,True)
            GPIO.output(PIN_4,True)
        elif np.argmax(corr) > 47:
            GPIO.output(PIN_4,False)
            GPIO.output(PIN_1,True)
        elif np.argmax(corr) < 43:
            GPIO.output(PIN_1,False)
            GPIO.output(PIN_4,True)



    #音声を取り込む部分
    def AudioInput(self):
        try:
            ret=self.stream.read(self.CHUNK)    #音声の読み取り(バイナリ)
        except:
            self.stream=self.audio.open(format=pyaudio.paInt16,
                                    channels=2,
                                    rate=self.RATE,
                                    input=True,
                                    frames_per_buffer=self.CHUNK)
            ret=self.stream.read(self.CHUNK)
        #バイナリ → 数値(int16)に変換
        #32768.0=2^16で割ってるのは正規化(絶対値を1以下にすること)
        ret=np.frombuffer(ret, dtype="int16")/32768.0
        return ret

    #FFT変換
    def FFT_AMP(self, data):
        data=np.hamming(len(data))*data
        data=np.fft.fft(data)
        data=np.abs(data)
        return data           



if __name__=="__main__":
    #リアルタイムプロット開始
    plotwin=PlotWindow()
    
cap = cv2.VideoCapture(0)
before = None
while True:
    #  OpenCVでWebカメラの画像を取り込む
    ret, frame = cap.read()

    # スクリーンショットを撮りたい関係で1/4サイズに縮小
    frame = cv2.resize(frame, (int(frame.shape[1]/4), int(frame.shape[0]/4)))
    # 加工なし画像を表示する
    cv2.imshow('Raw Frame', frame)

    # 取り込んだフレームに対して差分をとって動いているところが明るい画像を作る
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    if before is None:
        before = gray.copy().astype('float')
        continue
    # 現フレームと前フレームの加重平均を使うと良いらしい
    cv2.accumulateWeighted(gray, before, 0.5)
    mdframe = cv2.absdiff(gray, cv2.convertScaleAbs(before))
    # 動いているところが明るい画像を表示する
    cv2.imshow('MotionDetected Frame', mdframe)

    # 動いているエリアの面積を計算してちょうどいい検出結果を抽出する
    thresh = cv2.threshold(mdframe, 3, 255, cv2.THRESH_BINARY)[1]
    # 輪郭データに変換しくれるfindContours
    image, contours, hierarchy = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    max_area = 0
    target = contours[0]
    for cnt in contours:
         #輪郭の面積を求めてくれるcontourArea
        area = cv2.contourArea(cnt)
        if max_area < area and area < 10000 and area > 1000:
            max_area = area;
            target = cnt

    # 動いているエリアのうちそこそこの大きさのものがあればそれを矩形で表示する
    if max_area <= 1000:
        areaframe = frame
        cv2.putText(areaframe, 'not detected', (0,50), cv2.FONT_HERSHEY_PLAIN, 3, (0, 255,0), 3, cv2.LINE_AA)
    else:
        # 諸般の事情で矩形検出とした。
        x,y,w,h = cv2.boundingRect(target)
        areaframe = cv2.rectangle(frame,(x,y),(x+w,y+h),(0,255,0),2)

    cv2.imshow('MotionDetected Area Frame', areaframe)



    # キー入力を1ms待って、k が27（ESC）だったらtrackingする
    k = cv2.waitKey(1)
    if k == 27:
        break

    # キャプチャをリリースして、ウィンドウをすべて閉じる
cap.release()
cv2.destroyAllWindows()

試したこと

スレッドを使って、２つのプログラムを並列処理を試しました。
結果は、変わりませんでした。。。

補足情報（FW/ツールのバージョンなど）

Python2.7
opencv3.1.0

Comments

[morinatsu]

1本にまとめる必要はどの辺にあるのでしょうか。2つのプログラムを並行で動かせば済む話のような。

[tiitoi]

OS は Windows/Linux どちらでしょうか？ターミナルを2つ開いてそれぞれ Python スクリプトを実行するのでは駄目なのでしょうか

[tomatoma...]

osは、Linuxです！音の波形のプログラムは、詳しくは音が出た方向にマイクが動き、それを波形で表しているシステムです。ですので、将来的には、トラッキングとマイクの追尾システムをうまく組み合わせて制御したいと考えています。

Answer 1

シェルスクリプト用意しておいて、2つバックエンドで起動するのでは駄目なのでしょうか？

サンプルコード

run.sh

python test1.py &
python test2.py &

test1.py

import time

while True:
    print('test1')
    time.sleep(3)

test2.py

import time

while True:
    print('test2')
    time.sleep(3)

$ bash run.sh
test2
test1
test2
test1
...

Comments

[tomatoma...]

将来的に２つのシステムを使って１つのプログラムにして、制御などしたいので、合体させたいのです｡ﾟ(ﾟ´ω`ﾟ)ﾟ｡

[tiitoi]

では、Python の multiprocessing.Process モジュールを使いましょう。
https://www.yoheim.net/blog.php?q=20170601
スレッドで並列に動かす必要があります。

使い方について情報収集し、試してみて、わからないことがあったら聞いてください。

[tomatoma...]

ありがとうございます！
参考にさせて頂きます！