常連

注目の的

社会貢献

質問力

### 複数ファイルの連続読み込み、処理

ディレクトリ内の複数のCSVファイルを読み込み、
例えば連番でデータフレーム（名称を可変、変数にしたい※）を作成し、後続処理に進めたい。
※または今後は月次でファイルが増えていく想定のため、データフレームの配列(3次元)に格納する形がよさそう。

python初心者のため、データフレーム名を変数としたり、グローバル化したりするところがまだ分かっていないため考えた処理が実行出来ていません。またはPythonらしい違うアプローチをご教示頂ければありがたいです。

1ディレクトリ内に1か月分、数十ファイル、かつ複数ディレクトリに存在するため閲覧性が非常に悪い状況ですので、今後定型、非定型の分析レポートを作成するために、まとめて処理したいと考えています。ディレクトリ内の複数ファイル名を取得するところは一応出来ています。

ご教示よろしくお願いいたします。

###該当のソースコード
```python

import pandas as pd
#import numpy as np
#import pickle
#import zipfile
import os
import sys


#データ読み込み関数 1ファイルを読み込み
def read_file( i, path, rfile ):
    
   filepath = r"{0}\{1}".format(path,rfile)
   tmp_data = pd.read_csv( filepath,
			   encoding="sjis",
                           nrows=100, #今だけ１００行に制限
                           header=None                    
             		  )

    #カラム名を設定
    tmp_data.columns =['ID', 'name','score']
    # ファイル内に科目名を示す情報がないため列（index）を追加
    tmp_data['nm_filenumber'] = '{0:02d}'.format(i) 
    return tmp_data

##ディレクトリ以下の全ファイルを繰り返し処理
target_dir = r"\\Server\Readonly\ClientA\17年2月"

for i, filename in enumerate( os.listdir(target_dir)):
    print(i, filename )

# ここで展開したファイル名を次々にデータ化したい､このループ内を想定。
# 一旦ループの外で、手入力すると下記の様になる｡

df_01 = read_file( 1, target_dir, r"ClientA_KOKUGO_201702.csv" )
df_02 = read_file( 2, target_dir, r"ClientA_RIKA_201702.csv" )
df_03 = read_GC( 3, target_dir, r"ClientA_SANSU_201702.csv" )
#... 続く

# 後続処理
# 上記データを全て横結合
# 上記データを全て縦結合
```
##環境
現在はwindowsです｡

複数ファイルの連続処理、データフレーム名の変数化を行いたい

現在データ処理をしたく、pythonのpandasを勉強しています。

そこで一つのディレクトリに入っている複数のCSVを次々に読み込んでDataFrameを作りたく、
for文を用いて処理しようとしているのですが、うまく行きません。

当該コードは以下のようになります。



実現したいことを逐一記すと…
import pandas as pd

df**13**_001  = pd.read_csv("**13**_001.csv", header = 1)
df**17**_001  = pd.read_csv("**17**_001.csv", header = 1)
df**19**_001  = pd.read_csv("**19**_001.csv", header = 1)
・・・これが複数続く。

これを処理するために、

list = ["13", "17", "19"]
for i in list:
   "row_df"+i+"_001" = pd.read_csv(""i"_001.csv" , header = 1)

とやっているのですが、うまくいきません。

print("row_df"+i+"_001")

とするとこの部分は処理できているようなので、後半部分が問題だと思います。
どのように記述すれば良いか教えていただけないでしょうか。
このコードの書き方以外にもこう書いたら良いよというのがあれば、よろしくお願い致します。

for文でファイルを連続して読み込みたいのです。

Pythonで複数画像データを数値化して配列に保存することを考えています。
1枚の画像データはflatten()関数で1行にして、それを画像枚数分だけ配列に保存したいです。

おそらく、下記流れでコーディングをすると思うのですが、どのように表現をすればまったくわかりません。

1.配列の宣言
2.1枚目画像の読み込み
3.画像データを1行にして配列の1行目に保存
4.2枚目画像の読み込み
5.画像データを1行にして配列の2行目に保存
・・・

ご存知の方がいましたら是非、教えていただけると大変助かります。
よろしくお願いいたします。

Pythonで複数画像データを配列化して保存する方法

openCVで300枚程度の画像を読み込みたいのですが、エラーの嵐になります。
今後、このプログラムがきちんと動くと機械学習の研究が進みやすくなるのですが・・・。
・画像枚数は、３００枚
・画像が入っているファイルの名前をfile name
・画像の名前をimg1.png,img2.pngと連番になっているとき、
```python
import cv2
import numpy as np
for i in range(1,300):
    img = "file name/img"+int(i)+".png"```
4行目で
IndentationError: expected an indented block
というエラーが発生しました。

・どのようなコードを書けば、複数の画像を読み込めるようになるでしょうか？

いろいろ試しましたが、手に負えませんでした。
お教え頂けないでしょうか？
何卒よろしくお願い致します。

複数の画像を読み込むにはどうすれば良いでしょうか？

Pythonでは「関数はオブジェクトであり、関数を変数に代入したりすることができる」という実例を以下のコードで示されたのですが、どのように理解すればよいのかがわかりません。
この場合、#2と#3関数は、#1の影響下にあると考えるべきなのでしょうか？　なお、#4のif条件文でdo(thanks),do(hi)はdo関数にthanks関数、hi関数を引数にしていることなのでしょうが、#1のコードが#4のコードを導く理屈がよくわかりません。ご教授よろしくお願いいたします。

ちなみに、以下のファイルをを実行すると

$ python do.py
ありがと!

となります。

<file:do.py>
```python
def do(funk):#1
    func()

def thanks():#2
    print("ありがと！")

def hi():#3
    print("やあ！")

#4
condition = 1
if condition == 1 :
    do(thanks)
else:
    do(hi)
```

関数オブジェクトの解釈について。「関数を関数の引数として渡す」際のコードが理解できない。

### 前提・実現したいこと

テキストファイルの特定の部分のみ出力したいです。
```ここに言語名を入力
報告書

〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇
〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇
×月第×週の平日予定

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
[月曜日の予定]買い物

[火曜日の予定]仕事

[水曜日の予定]仕事

[木曜日の予定]仕事

[金曜日の予定]映画鑑賞
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
土日は未定
のちの変更の可能性あり

```
このようなテキストファイルの、「~」の部分のみを出力するのに

```
with open("text.txt", "r") as f:
    flag = False
    for line in f:
        if line.startswith("~"):
            print(line)
            flag = not flag
        elif flag:
            print(line)
        else:
            pass

```
このようなコードを書きました。しかし、この「~」の中身の
「[×曜日の予定]」の後ろの部分のみを出力するのにはどうしたらよいかわかりません。
理想は
```ここに言語名を入力
  買い物

  仕事

  仕事

  仕事

  映画鑑賞
```
このような形にできたらよいなと思っております。
お力添えいただければ幸いです。

### 補足情報（FW/ツールのバージョンなど）

python3.6

テキストファイルを部分的に出力

### 前提・実現したいこと
ｐの改行をなくしたいです

以下処理結果
```
p 
p 
p 
p

```

### 試したこと

i = int(input())
for v in range(i):
    print("p")


### 補足情報（FW/ツールのバージョンなど）

iには4を入力しています。

ループ処理についてです

安全なパスワードの保存を行う為に暗号化はどこで行うべきですか？（旧タイトル）
---

Webサービスで安全なパスワードの保存を行いたいとします。

パスワードをSHA256などによって暗号化することはよくある話だと思います。しかし、このSHA256を利用して暗号化する場合、暗号化はサーバサイドで行うべきか、クライアントサイドで行うべきか悩んでいます。

サーバサイドで暗号化を行う場合、入力されたパスワードが暗号化されないままサーバに届くことになります。（SSLの話ではありません）

その後、アプリケーションサーバの手によってデータベースにパスワードを保存する際にはSHA256によるパスワード暗号化を行った上で保存することになるわけですが、アプリケーションサーバにはパスワードがそのままの形で届いてしまっていることに変わりありません。

我々が利用しているアプリケーションサーバはセキュリティ的に問題無いから大丈夫だ！とサービス運営者が主張したところで、サーバの権限を奪われる可能性はゼロではありませんし、それ以前にアプリケーションサーバの運営者はパスワードが直接届くような環境でアプリケーションを日々保守していたりするわけです。

また、アプリケーションサーバがGETやPOSTに対するログを取るように設定されていた場合、送信されたパスワードは暗号化されることなくログファイルに記載されることになります。

つまり、サーバサイドでSHA256によるパスワード暗号化を行う仕様の場合、暗号化されないままアプリケーションサーバに届くパスワードを運営は安全に管理してくれるだろうと信用する形でサービスを利用することになります。

これはなんかダメなんじゃないかなっていう気がするんです。

これを回避するためJavascriptなどを利用してクライアントサイドでパスワードを暗号化してからアプリケーションサーバに暗号化されたパスワードを送る方法をとれば、このような心配事は無くなります。

しかしその場合、SHA256で使用するSaltキーなどはどのように設定すれば良いのでしょうか？そのままjavascriptのソースファイルに暗号化キーであるSaltキーを記述してしまって良いのでしょうか？

なんとなくSaltキーの情報が漏れていることはあまり良くないことのような気がしています。しかし、SHA256は復号化が不可能な暗号化なので、一度暗号化されてしまったものを復号化することは不可能だと思います（そうですよね？）

だから安全だと言い切れるのでしょうか？
何か嫌な感じがします。

どうにかSaltキーの情報を隠蔽したいと思っていますが、クライアントサイドで暗号化を行う以上、隠蔽することは不可能なのではないかと思っています。本当にこのSalt隠蔽問題は気にしなくても良いことなのでしょうか？

何か考え方がおかしいのかもしれませんが、こんな私に何かアドバイスいただけたらと思います。

追記（2016/09/26 18:30）
---
質問がダラダラとした文章になり、分かりにくいようですので質問を変えさせていただきます。

SSLによる暗号化通信を前提としたWebサービスで入力フォームなどによってユーザが入力するパスワード文字列をサーバサイドで暗号化する場合、そのパスワードの安全性が保障されません。

なぜなら運営がパスワードを安全な形で管理しているかわからないし、暗号化していたとしても暗号化する前のパスワードをアクセスログに残している可能性なども考えられるためどこからパスワード文字列が漏れるかわからないからです。

しかし、クライアントサイドでパスワードを暗号化した場合は、アプリケーションサーバにパスワードが届いた地点ですでに暗号化されているため、パスワードの文字列が漏洩する心配は無くなります。

漏れたとしても暗号化後のハッシュ文字列だから元のパスワードが漏れるより安心できると考えられます。

そのため、クライアントサイドでSHA256によるパスワード暗号化を行った上でサーバサイドにパスワードを送る方法をとったほうがユーザにパスワードの安全性を保証することができるのではないですか？

この考え方は正しいですか？

またクライアントサイドでSHA256によるパスワード暗号化を行った場合、ハッシュを生成するために必要なSaltキーが必要になりますが、Saltキー隠蔽することは可能ですか？不可能な場合、Saltキーが漏洩していることでどのような問題が起こりますか？

追記（2016/10/01 18:06）
---
ここまでの流れとして、質問者（私）が認識したことをまとめてみます。

- SSL/TLSを利用したhttpsプロトコルの利用は必須
- SHA256は暗号化ではなく、ハッシュ生成のアルゴリズム（関数）である。
- Saltはキーではない
- 常識的にシステムを構築していればSaltは漏洩は気にしなくて良い
- サーバサイドでのパスワードのハッシュ化は必須である
- クライアントサイドで生成したパスワードハッシュをそのままDBに保存してはならない
- パスワードのハッシュが漏洩した場合、元のパスワードを総当たりで突き止めることができる（オフラインの場合？）

SSLを利用したWebサービスでログインパスワードを安全に保存するには？

つい先日、個人情報の漏洩事件において、一部情報がログから流出したのではないかという記事を読みました。

そこで、パスワード送信に関して以下のようにふと思いました。
・ログイン時のパスワード送信もまかり間違ってログとして残しているケースもあるのではないか？
・そういったケースも想定して、サーバ側に送出されるパスワードは、パッシュ化されているべきなのではないか？

つまり、現状、パスワード照合は
・ブラウザに入力された生パスワードがサーバに送られる
・サーバでは受け取ったパスワードのハッシュ値と DB 上のハッシュ値を比較

といった手順で行われると思いますが、以下の手順で行うべきではないかという疑問です。
・ブラウザに入力された生パスワードをハッシュ化してサーバへ送出
・サーバでは、受け取ったハッシュ値と DB 上のハッシュ値を比較

ちゃんと調べてないですが、ハッシュ値を送出するようなシステムは見かけたことがありません。
なにか仕組み上の問題点があるのでしょうか？

ちょっと質問するタイミングが適切でないので、セキュリティ系の人の手が空くまで、少し長めにオープンにしておきたいと思います。
ご教示いただけると幸いです。


# 追記
上記と回答の一部を取り込み整理してみました。
クライアントでのハッシュ化に対してご指摘も続けていただきたいのですが、問題点の解決に対してのご提案もいただけると幸いです。

想定している脅威
・ログ等での生パスワードの流出
・生パスワード流出により、パスワードを使い回した他のサイトへ攻撃される

要件
・サーバ側に生パスワードを渡さない

実現方法
・クライアント側でハッシュ化を行い、サーバ側でそのハッシュ値を使用して検証

問題点
・要するに生パスワードの代わりにハッシュ化されたデータを使うということだから、自サイト内に閉じて考えると、セキュリティ強度は変わらない。（他サイトに対しては意味がある？）
・パスワード登録時に、パスワード強度の検証ができなくなる。（フロントのみではダメか？）
・クライアント側でのみハッシュ化を行う場合、自サイト内では生パスワードの保存と同じ状況になるので、流出時に自サイトへの影響はサーバでのハッシュ化時より大きなものになる。（もう一段階ハッシュ化する？）

頂いた回答は、今のところ、否定的ですが、本人はむしろ手応えを感じております＾＾；
面白いと思った方、ご意見やご指摘いただけるとうれしいです。

#さらに追記
以前、同じような質問があったようです＾＾；
[SSLを利用したWebサービスでログインパスワードを安全に保存するには？](https://teratail.com/questions/49293)
質問者が非常に真面目な方のようで、活発な意見交換がなされており、勉強になりました。

ログイン時のパスワード送信に関して

リストを複数の別のリストに分割したいです。
```Python
a = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
b = [3, 4, 7]
```
リスト```a```をリスト```b```に含まれている値の位置で分割していきたいです。
```Python
#b[3]のとき
c = [1, 2, 3, 4]
#b[4]のとき
d = [5]
#b[7]のとき
e = [6, 7, 8]
#残り
f = [9, 10]
```
上記の例ですと、以上のような分け方にしたいのですが、皆目見当がつきません。
リストをn個のリストに分割するのではなく、別のリストで与えた値の位置で分割するにはどのようにすればよいのでしょうか？
リストを作るための空のリストをどのように用意しておけばいいのかという点からすでにわかりません。```a```も```b```もあらかじめ要素の数がわからない（```b```の要素数が```a```の要素数を超えることはない）ため、空のリストをあらかじめ用意することはできないように思っています。
そもそも以上のような処理は現実的なのでしょうか？
ご教示いただけますと幸いです。よろしくお願いいたします。

Python:リストを複数のリストに分割したい

### 前提・実現したいこと
pythonに限らずプログラミング自体が初心者です。
至らぬ点が多々ありますが何卒よろしくお願い致します。

海流や風速の時系列データから以下のようなグラフをpythonで作成したいのですが、
やり方がわからずに苦しんでいます。
初心者用の本は読んだりしているのですが、参考になる記述が少ない状況です。

![![イメージ説明](b019eefc550848b751327ca89c807401.jpeg)
![!イメージ説明](cb6af35ce9e9574f10adf30440b19a2a.jpeg)



以下のような、流速(cm/s)と流れる方向(360°表記：北0度～東90度～南180度～西270度～)を
10分毎に計測したデータのcsvファイルをpandasを用いて読み込みます。

日時    流速    流向
2018/5/29 13:20  22.3  18.9
2018/5/29 13:30  22.3  28.4
2018/5/29 13:40  24.2  36.4
2018/5/29 13:50  24.9  38.6
2018/5/29 14:00  25.7  39.7
2018/5/29 14:10  24.5  41.3
・・・・・・・・・・・・・・・
2018/10/18 11:00 23.3  355.9 

それをnumpyでベクトルを成分に分けます。

```ここに言語を入力
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

#
df = pd.read_csv('ocean_current.csv',encoding='ANSI')
dt = df['日時']
a = df['流速']
b = df['流向']

#
x = np.sin(b)
y = np.cos(b)

u = a*x
v = a*y

#
fig,ax = plt.subplots(1, 1, figsize=(16,6))
```
ここから先どのようにしたら良いのかがわかりません。
ベクトルを扱うax.quiverやax.quiverkeyに軽く触れられているページは多くありましたが、
細かく解説してある本やページが無くて苦しんでいます。
特に日時の扱いに苦慮しております。

漠然としたご質問で大変申し訳ありませんが、
どなたかご教授頂けませんでしょうか？

時系列ベクトル図の作成方法について（python）

Pythonでテキストファイルに書き込みをしようとしているのですが、なぜかうまくいきません。使用しているのはIDLE、バージョンは3.6.3です。
.pyファイルを開き、
A = open('A.txt','wt')
A.write('aiueo')
A.close()
と入力して実行してみても、A.txtファイルは作られているのですが、そこに文字が入力されていないという状況です。
ですが、Python　Shellのほうに直接入力すると、A.txtファイルが作られてaiueoときちんと表示、保存されています。
調べてみても、writeを使うとファイルに書き込まれるという前提の話になっているので解決できませんでした。
最近始めたばかりでわからないことが多いので、わかりやすく説明していただけたら幸いです。

Pythonのテキストファイルへの書き込みについて

表題の件について質問させてください
pythonで形態素解析した内容をテキストファイルに起こそうとしたのですが、書き込んだ内容が反映されず苦戦しています（生成されたテキストファイルを見ると容量が増えたり0になったりします）

環境はWindows上でAnacondaを使用してjupyter notebookでコードを書いています
分かち書きに使用しているのはjanome、word2vecにはgensimのモジュールを使用しています
テキストファイルはwebから適当なダミーを落として使用しています 

ファイルに書き出そうとしているのは以下の部分です
知識が浅く初歩的な内容かと思いますがアドバイスよろしくお願いいたします

```python
with open("test_token.txt", "w") as fp:
        for token in tokens:
            word.append(token)
            fp.write(str(word))
            fp.write("\n")

```


以下コード全文


```python
from janome.tokenizer import Tokenizer
from gensim.models import word2vec
from sklearn.decomposition import PCA
import matplotlib.pyplot as plt
import logging
import sys
import re
import numpy as np


word=[]

## textファイルを開く
# \はエラー、\で表記する
textfile = open('C:\Users\Desktop\sanshiro.txt')
# textファイルの内容を読み込む(文字列を返す)
line = textfile.read()
textfile.close()


## ファイル整形
# |の除去
line = line.replace('|','')
#ルビの除去
line = re.sub('《.+?》', '', line)
#入力注の除去
line = re.sub('［＃.+?］', '', line)
# 空行の削除
text = re.sub('\n\n', '\n', line) 
text = re.sub('\r', '', line)


#### 果確認
# 先頭100文字出力
print(line[:100])

#--------------------------------------------------------関数
## 分かち書き(janome使用)
# Tokenizerのインスタンス生成
t = Tokenizer()
# 文字列型を引数とする
def extract_words(text):  
    #tokenizeメソッドに文字列の引数を渡して形態素解析を行う,tokensはlist型
    #中身は。区切りした文が形態素解析された状態で入っている
    #うとうととして目がさめると女はいつのまにか、隣のじいさんと話を始めている。
    #⇒['うとうと', 'と', 'し', 'て', '目', 'が', 'さめる', 'と', '女', 'は', 'いつのまにか', '、', '隣', 'の', 'じいさん', 'と', '話', 'を', '始め', 'て', 'いる']
    tokens = t.tokenize(text) 
      
    
    with open("test_token.txt", "w") as fp:
        for token in tokens:
            word.append(token)
            fp.write(str(word))
            fp.write("\n")


    #リスト内包表記を使用して形態素解析されたリストtokensの中身の品詞を、区切りにして原型(引数で受け取ったままの形式)のまま返す 
    return [token.base_form for token in tokens
            if token.part_of_speech.split(',')[0]]


#。区切りにする
sentences = line.split('。')
wordlist = [extract_words(sentence) for sentence in sentences]


#word2vec学習開始
model = word2vec.Word2Vec(wordlist, size=200, min_count=5, window=5, iter=100)
word2vec_model=model

print(model['世間'])    
ret = model.wv.most_similar(positive=['世間']) 
for item in ret:
    print(item[0], item[1])    
```

python 形態素解析した内容をテキストファイルに書く

場違いな質問大変失礼します。
僕は、将来プログラマになることを夢見ています。
そのために、現在プログラミングの勉強をしています。
現在は主にpythonの勉強をしています。
しかし、いまいち勉強の仕方が分からずこのままでいいのか不安です。
そこで質問なのですが、皆さんはどのようにして実用レベルまで能力を引き上げられたのでしょうか。勉強方法などを教えていただけると幸いです。