回答編集履歴

誤記修正

2015/07/01 08:11

投稿

ShinpeiYamamoto

スコア540

test CHANGED Viewed

@@ -60,7 +60,7 @@
                 # ファイルを何かが開いていたら厄介なので、一旦テンポラリにコピーする
-                yleid collect(os.path.join(root, file))
+                yield collect(os.path.join(root, file))

追記

2015/07/01 08:11

投稿

ShinpeiYamamoto

スコア540

test CHANGED Viewed

@@ -345,3 +345,295 @@
     main()
 ```
+---
+(2015/06/28追記)
+ssh(sftp)経由でリモートのパスを舐め、ファイルを取得してくるように改変します。
+その前に、サードパーティのモジュールをインストールします。
+```lang-sh
+pip install paramiko
+```
+※paramikoのインストールには色々と厄介なことがあるようです。linuxでは起こりにくいとは思いますが、ハッシュ化や暗号化モジュールがうまく入らない場合、また情報をください。
+sshでファイルを収集するプログラムは次のような感じでできます。
+ssh経由でファイルを探す部分は手作りですね。walkを適当に拾ったのを参考に自作しました。（黒）
+1件だけ懸念点があり、SHHで接続に失敗する場合、直接鍵ファイルを指定する必要があるかもしれません。
+コメントにしている、以下のコードを有効にし、鍵ファイルへのパスを直接指定してください。
+conn.load_host_keys(os.path.expanduser('~/.ssh/known_hosts'))
+以下、対象ホストSSH接続し、ファイルを収集、内容をデータベースに書き出すサンプルです。
+データベースのテーブル定義などは考慮していません。適時修正ください。
+```lang-python
+# -*- coding: utf-8 -*-
+import re
+import os
+from tempfile import mkdtemp
+import paramiko
+from stat import S_ISDIR
+from sqlalchemy import create_engine
+from sqlalchemy.orm import sessionmaker
+from sqlalchemy.ext.declarative import declarative_base
+from sqlalchemy import Table, Column, Integer, String, MetaData, ForeignKey, Sequence
+HOST_ADDRESS = "XX.XX.XX.XX" #データ収集時の接続先ホストIPアドレス
+SSH_PORT = 22 #SSH接続ポート
+SSH_PASSWORD = "XXXXXXXX" #SSH接続パスワード
+SSH_USERNAME = "wheeluser" #SHH接続ユーザ名
+FILENAME_PATTERN = '20150601' #収集対象とするファイル名のパターン
+ROOT_PATH = r'/home/username/' #収集するファイルが存在するトップディレクトリ
+CONNECT_STRING = 'mysql://<ユーザ名>:<パスワード>@<ip>/<db名>' #DB接続文字列
+# ローカルがwindows機である場合、os.path.joinのパスのデリミタで問題がでるのでその対処
+RELATIONSHIP_TO_HOST = "posix_to_posix" # "posix_to_posix" / "nt_to_posix" / "posix_to_nt"
+if RELATIONSHIP_TO_HOST == "posix_to_posix":
+    from os import path as remote_path
+elif RELATIONSHIP_TO_HOST == "nt_to_posix":
+    import posixpath as remote_path
+elif RELATIONSHIP_TO_HOST == "posix_to_nt":
+    import ntpath as remote_path
+import logging
+from datetime import datetime
+logging.basicConfig(filename=datetime.today().strftime(r"%Y%m%d_%H%M%S")+'.log', level=logging.DEBUG)
+r = re.compile("[a-zA-Z]+-(?P<date>\d{8})\.txt") #対象ファイル名を示す正規表現を定義。
+Base = declarative_base()
+class Data(Base):
+    __tablename__ = 'tablename'
+    id = Column('id', Integer, Sequence('id_seq'), primary_key=True)
+    somedata = Column('somedata', String(512))
+    def __init__(self, somedata):
+        self.somedata = somedata
+    def __repr__(self):
+        return "<Data('%s',...)>" % (self.somedata)
+def walk(sftp, path):
+    current = path
+    files = []
+    folders = []
+    for item in sftp.listdir_attr(current):
+        if S_ISDIR(item.st_mode):
+            folders.append(item.filename)
+        else:
+            files.append(item.filename)
+    yield current, folders, files
+    for folder in folders:
+        for x in walk(sftp, remote_path.join(path, folder)):
+            yield x
+def collect(sftp, filename):
+    tempdir = mkdtemp()
+    dist = os.path.join(tempdir, os.path.basename(filename))
+    logging.info("copy file from " + filename + " to " + dist)
+    sftp.get(filename, dist, lambda x, y: (logging.warning("File tranceport fail !!!") if x!=y else logging.info("File tranceport success.")))
+    return dist
+def gen_filelist(sftp, path):
+    for root, dirs, files in walk(sftp, path):
+        for file in files:
+            m = r.match(file)
+            if(m and FILENAME_PATTERN in m.groupdict().values()):
+                # ファイルを何かが開いていたら厄介なので、一旦テンポラリにコピーする
+                yield collect(sftp, remote_path.join(root, file))
+def read_line(data):
+    #データを読み出す。例えばcsvファイルをカンマで分けるとか。
+    #今回は、ORMのクラスにデータを格納してそのまま返します。
+    return Data(data)
+def read(filename):
+    with open(filename, "r") as f:
+        lines = []
+        for line in f.readlines():
+            if(line.strip() != ""):
+                lines.append(read_line(line))
+        return lines
+def main():
+    #SQLAlchemyの準備
+    engine = create_engine(CONNECT_STRING, encoding='utf-8', echo=True)
+    Session = sessionmaker(bind=engine)
+    session = Session()
+    #SFTP接続の準備
+    conn = paramiko.SSHClient()
+    conn.set_missing_host_key_policy(paramiko.AutoAddPolicy())
+    #conn.load_host_keys(os.path.expanduser('~/.ssh/known_hosts')) #鍵ファイルを直接指定する場合
+    conn.connect(HOST_ADDRESS, port=SSH_PORT, password=SSH_PASSWORD, username=SSH_USERNAME)
+    sftp = conn.open_sftp()
+    #ファイルの一覧を取得
+    files = gen_filelist(sftp, ROOT_PATH)
+    #ファイルの内容を取得
+    for file in files:
+        data = read(file)
+        session.add(data)
+    #データベースへ内容を登録
+    session.commit()
+if __name__ == '__main__':
+    main()
+```