常連

注目の的

自己紹介

Pythonでパターンマイニングをする場合、お手頃に使えそうなライブラリが
**「pyfpgrowth」**を見つけました。
https://qiita.com/bossbuss0910/items/06d9799e41735fb67b24

ただし、この使用法についてのドキュメントが少なく、応用的な使い方をイメージできません。
何か使用法が分かるリンク分かる方、またpyfpgrowth以外にもおすすめのパターンマイニング方法がありましたらご教示下さい

Pythonでパターンマイニング

pythonで距離関数DTWを使用したk-means法を実装したのですが，実行するのにすごく時間がかかってしまうため，実用的ではないのですが、どこを変えれば処理内容は変わらず処理速度を上げることができるのかアドバイスいただきたいと思っております。
```python
import numpy as np
import pandas as pd
from scipy.spatial.distance import euclidean
from fastdtw import fastdtw
import glob
import random

d = glob.glob('*_m.csv')
df = pd.DataFrame()
df7 = pd.DataFrame()
df8 = pd.DataFrame()
df9 = pd.DataFrame()
df11 = pd.DataFrame()
v = 3
k = 546
l = k*v
r = np.random.randint(0,v,k)
print(r)
for n in range(v):
    n += 1
    for x in range(k):
        x += 1
        a = d[x-1]
        df1 = pd.read_csv(f'{a}',index_col=0)
        df1 = df1.groupby(df1.index // 60).mean()
        for i in range(24):
            i += 1
            df7.loc[i-1,x] = df1.iloc[i-1,0] + df1.iloc[i-1,1]
            df11.loc[i-1,0] = i-1
            df11.loc[i-1,1] = df1.iloc[i-1,0] + df1.iloc[i-1,1]
            if r[x-1] == n-1:
                df8.loc[i-1,x-1] = df7.iloc[i-1,x-1]
            df9.loc[i-1,0] = i-1
        df9['1'] = df8.mean(axis=1)
        distance, path = fastdtw(df11,df9,dist=euclidean)
        df.loc[n-1,x-1] = distance
        d1 = []
        d1 = df.idxmin(axis=0)
        for s in range(10):
            for i in range(24):
                i += 1
                df7.loc[i-1,x] = df1.iloc[i-1,0] + df1.iloc[i-1,1]
                df11.loc[i-1,0] = i-1
                df11.loc[i-1,1] = df1.iloc[i-1,0] + df1.iloc[i-1,1]
                if d1[x-1] == n-1:
                    df8.loc[i-1,x-1] = df7.iloc[i-1,x-1]
                df9.loc[i-1,0] = i-1
            df9['1'] = df8.mean(axis=1)
            distance, path = fastdtw(df11,df9,dist=euclidean)
            df.loc[n-1,x-1] = distance
            d1 = []
            d1 = df.idxmin(axis=0)            
for n in range (v):
    df12 = pd. DataFrame()
    n += 1
    for x in range(k):
        x += 1
        if d1[x-1] == n-1:
            for  i in range(24):
                i += 1
                df12.loc[i-1,x-1] = df7.iloc[i-1,x-1]
            df12.to_csv(f'dtw20070701_{n-1}_{v}.csv')

```
乱数を使っているためたまにエラーは出ますが，基本的には正常に動作します。
ちなみに使用しているデータは，546軒分の1分値のデータです。

処理速度を上げるためのプログラムの書き方

以下のようなデータフレームにて、重複した数値を持つIDがあります。
このIDを元に、列を追加して、重複したIDごとに連番をつけたいのですが
イメージがつかないため、教えていただけると幸いです。


| ID     | 時 |
|--------|----|
| 25433  | 13 |
| 25433  | 13 |
| 25433  | 13 |
| 111931 | 7  |
| 111931 | 14 |


実現したいこと
→同じIDに対して連番の値を返す。

| ID     | 時 | count |
|--------|----|-------|
| 25433  | 13 | 1    |
| 25433  | 13 | 2    |
| 25433  | 13 | 3    |
| 111931 | 7  | 1     |
| 111931 | 14 | 2    |

python pandas 重複要素の連番付与について

動画から静止画の切り出しをしたいと考えています。

しかし、参考になるサイトを探していても見つかりません。
opencvで動画から静止画を切り出すことは不可能なのでしょうか？

カメラの付属ソフトで撮影した動画を1秒間に30フレーム程度の静止画として切り出したいと考えています。

参考になるサイトや、他の方法、参考プログラムなどがあれば教えていただけたらと思います。

よろしくお願い致します。

現在、ffmpegを使おうと、環境を整えています。
サンプルコードで、試しているのですが、プログラム上でエラーは出ないのですが、
ビルドしてみると画像のエラーが出ます。
pathがうまくいっていないのでしょうか？
![イメージ説明](9bb660703cbcdfb090067a2e067edb1b.png)

よろしくお願い致します。

動画から静止画切り出し

python3.4を用いて処理を行おうと考えています．環境はwindowsです．
かなり初歩的な質問かと思いますが，ご容赦ください．

複数のファイルが同じディレクトリに存在し，そのひとつひとつに同様の処理を行います．
処理としては，replaceを行い，文字列置換された結果を別ファイルとして出力(書き出し)するというものです．
```lang-python
f=open('hoge.txt')
data=f.read()
f.close()
data2=data.replace("\t",",")
n=open('hoge.csv','w')
n.write(data2)
n.close()
```

このhoge.txtの部分に次々とディレクトリ内のファイル名を入れ，処理していってほしいのですが，
どのようにすればよいのでしょうか．

python;複数ファイルを次々に処理

###前提・実現したいこと
pythonのpandasでdataframeを作り、表の中で条件に当てはまる行にフラグを立てたいと思っています
for文とif文でかんたんに実現できるかなと思ったのですが、思ったように数字が入りません

イメージとしては以下になります。

index AAA FLAG
    1   1
    2   2
    3   8
    4   8
    5   8
    6   2   1
    7   1

AAAという列に数字が入っています。3-4行目に「８」が連続して入っています。
この８の連続がどの行で途切れたか？をFLAGという列に立てたいと思っていますが、うまく行きません
以下のコードを実行すると、FLAGの列にすべて１が入り込みますが、どうすれば解決できるでしょうか

###該当のソースコード
index_number = len(df.index)

for i  in range(index_number - 1):
    j=i+1    
    before_signal = df1.iloc[i,1]
    todays_signal  = df1.iloc[j,1] 
    if  before_signal  ==  8:
        if todays_signal != 8:
            df['FLAG'] = 1
    
```

Dataframeでのif文について

初めまして。 初心者です。

picureName.pngと言う名前のファイルを読み込み、白黒反転したのち、grayスケールに変換、その後
cornerHarris関数を適用することで、検出されたコーナーに赤色のドットを付記するプログラムを書きました。

image = cv2.imread("pictureName.png")
image = 255 - image
gray = cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)
gray= np.float32(gray)
dst = cv2.cornerHarris(gray,2,9,0.16)
dst = cv2.dilate(dst, None) 
image[dst>0.01*dst.max()]= [0,0,255]
cv2.imshow('imageWithCorner',image)

このイメージ上に付記された赤い点の座標を網羅的に取り出したいのですが、どのよな命令文を書けばよいでしょうか？

なお、画像をfloat型に変換していますが、赤い点の座標はfloat型ではなくても構いません。


宜しくお願い致します。

コーナー座標の取得をしたいのですが、方法がわかりません。

###前提・実現したいこと
最近、趣味でプログラミングを始めました。
PythonとOpenCVを用いて何も映っていない背景と物体を映した前景で差分をとり、物体だけを白色で抽出したいです。

###発生している問題
しかし、背景や物体の色によって物体の色が黒になってしまうことがあり、うまくいきません。
```Python
diff = cv2.absdiff(pic,gray)
```
この命令でうまく物体だけを抽出できるかなと思い、使ってみたのですが、2値化するときの閾値によって色が変化してしまい、黒くなってしまうことが多々あります。

**<<画像>>**
これは手のみで、色のおかげか白で抽出できています。
![イメージ説明](583423c4d4983dce85ce0b49a2ee06d1.png)

服の白い部分の一部と影になっている部分が黒くなっているのがわかると思います。
![イメージ説明](40e1ac1bd6cd017e46fab84643328e72.png)

###該当のソースコード
```Python
#coding:utf-8

import os.path
import numpy as np
import cv2

cam = cv2.VideoCapture(0)
cam.set(3, 960)          #width
cam.set(4, 540)          #heigh
cam.set(5,25)            #fps

while True:
        ret2,image = cam.read()
        
        Key = cv2.waitKey(10)
        if Key == 32:                     #space
                cv2.imwrite("base.png",image)

        if os.path.isfile("base.png"):
                pic = cv2.imread('base.png',cv2.IMREAD_GRAYSCALE)               #読み込み
                gray = cv2.cvtColor(image,cv2.COLOR_RGB2GRAY)                   #現在
                diff = cv2.absdiff(pic,gray)                                    #比較画像生成
                diff2 = cv2.medianBlur(diff,ksize=3)                            #ブラー
                twoc = cv2.threshold(diff2,40,255,cv2.THRESH_BINARY)[1]         #2値化
                cv2.imshow("base",diff)
                cv2.imshow("image",diff2)
                cv2.imshow("result",twoc)
        else:
                cv2.imwrite("base.png",image)
        
        if Key == 27:      #Esc
                break
cv2.destroyAllWindows()

```
###質問項目
0. この方法、考え方で目的は達成できるのか
1. もっと効率的だったり、簡単な方法はないのか
3. その他、このプログラムにおかしいところはないか

最近始めたばかりで、おかしなところが多くあると思いますが、回答よろしくお願い致します。

###補足情報(言語/FW/ツール等のバージョンなど)
Raspberry Pi 3
Python 2.7.9
OpenCV 3.1.0