常連

注目の的

社会貢献

質問力

ストリーム単体での意味や〇〇ストリームやストリーム処理と使われた場合のストリームの意味がわかりません。
例えば、以下のような[文章](https://docs.python.org/ja/3.7/library/io.html)

> テキスト I/O
> テキスト I/O は、 str オブジェクトを受け取り、生成します。すなわち、背後にあるストレージがバイト列 (例えばファイルなど) を格納するときは常に、透過的にデータのエンコード・デコードを行ない、オプションでプラットフォーム依存の改行文字変換を行います。
> 
> テキストストリームを作る一番簡単な方法は、オプションでエンコーディングを指定して、 open() を利用することです:


テキストストリームといっているときのこのストリームの明確な定義をご教示いただけませんでしょうか？
サーチしても当たり前のようにストリームという言葉がつかわれていて、その書き手のストリームの理解が怪しいと思うときもあります。もしご存知のかたいましたら教えていただけませんでしょうか？

python でいうところのストリームの意味

以下のdataframeについて、列の空欄を埋めたいのですが
ループ以外の処理方法は有りますでしょうか。

このdataframeの列3を
|列1|列2|列3|
|:--|:--:|--:|
|0|1|aaa|
|1|2||
|2|3||
|3|1|bbb|
|4|2||
|5|3||
|6|4||
|7|1|ccc|
|8|2||

以下の様に埋めたいです。
|列1|列2|列3|
|:--|:--:|--:|
|0|1|aaa|
|1|2|aaa|
|2|3|aaa|
|3|1|bbb|
|4|2|bbb|
|5|3|bbb|
|6|4|bbb|
|7|1|ccc|
|8|2|ccc|

大量の行を処理する場合にループ処理だと時間がかかってしまい
効率的な処理方法が存在するのでは無いかと思ったのですが
見つけることが出来ませんでした。
良い方法ご存じの方、何卒ご教示のほどよろしくお願い致します。

列の空白をループ処理以外で埋めたい

Pythonにて、pandasのdataframeでCSVを読み込んで、
最終列以外を除いて、

対象データ

|列1|列2|列3|列4|
|:--|:--:|--:|--:|
|あ|え|あ|い|
|う|え|え|お|
|か|あ|き|く|

処理後：
1行目："あえあ"
2行目: "うええ"
3行目: "かあき"
という風なリストを作りたい場合。

下記のような力技のコードを書きました。
```python
[import類略]
#pd = pandas
        data_f = pd.read_csv("csv/csvfile.csv")
        wrk_data_f = []
        for i in range(len(data_f)):
            wrk_data_f.append(''.join(map(str,data_f[list(data_f.columns[0:len(data_f.columns) -1])].values.tolist()[i])))
```

これでやると何万件ものデータがある場合、途方もない時間を食ってしまいます。
何か関数等でこの処理を実現できるようなライブラリや、処理方法はありますでしょうか？
（CSVを作る段階で、文字列にしておくことも可能ですが、あくまで読み込み後での処理を想定しております）

ご教授お願い致します。

追記 '2017/9/11 18:47
データの配列が可変の場合を想定しています。
（例示として列を4つにしております。）
※質問文を編集させていただきました。

python Dataframeのjoinによる文字列結合について

python3.6.7にて、以下のようなcsvファイルの実験データを読み込み
pandasを用いて、A5の列に対し、0,1,2,3,4,5の値に対する
各データの平均を取ったピボットテーブルを作成したいです。

---
↓ csvファイル
A5	B3	A2	C1	B1
0	2.862607206	3.703441872	0.713812344	0.696267582
0	5.692559504	4.775946738	0.20213514	0.306661968
0	5.318228944	4.076067863	0.145843939	1.230692088
0	1.174210888	4.481714806	2.038055717	1.209666905
1	8.350706158	2.846333187	0.368712499	0.272330887
1	5.283550503	4.692160727	1.331655477	1.075263275
1	5.656319298	1.318786117	1.185210295	0.074019766
1	2.837660848	3.293979869	2.31218738	0.411921752
2	4.868386974	4.021774164	1.061578636	0.306476343
2	4.463388682	2.20603045	0.97558794	0.866777382
2	8.237164985	3.252700951	2.116114779	0.955443226
2	8.470363281	2.802031134	2.458253464	0.147884652
3	6.724499712	0.368815093	2.333730954	0.090265445
3	3.927488029	1.285648758	2.003731368	0.457596186
3	2.860824213	4.74229318	2.079223049	0.869242985
3	7.750964679	1.723316352	0.931079822	1.102830245
4	2.285215981	2.397343674	1.964612507	1.037197345
4	0.570128277	4.743184101	1.079708396	0.267028939
4	0.61228262	1.262989228	1.942633242	0.527755148
5	1.422572526	1.555001195	2.103416122	1.200832264
5	9.660939198	1.665952818	2.483367487	1.234273074

---

作成したコードです。
```ここに言語を入力
import pandas as pd
import os

# ########################################################################### #
# 設定したファイル名などを表示
FilePath = "C:\hoge\hoge.csv"
print(FilePath)                   # フルパス
print(os.path.dirname(FilePath))      # ディレクトリ
print(os.path.basename(FilePath))     # ファイル名

# ================================================================ #
#  csvファイルを読み込む
ReadCsv = []
csv_file = open(FilePath, "r",
                encoding = "ms932",
                errors = "",
                newline = "")

# pandas で読み込み
ReadCsv = pd.read_csv(csv_file,
                       keep_default_na = False,
                       dtype = 'float64')
csv_file.close()
print(ReadCsv)

# ================================================================ #
# ピボットテーブルを作成する
PivotTable = ReadCsv.pivot_table(index = [ReadCsv.columns[0]])

print("\n↓ピボットテーブル")
print(PivotTable)
```

上記コードを実行した結果、以下のようになり、
値を問題ないのですが、列の順番が変わってしまいました。(ソートされている？)
読み込んだcsvファイルの列の順番を維持したままでの
ピボットテーブルを作成するには、どうしたら良いでしょうか？

---
↓出力されたピボットテーブル
           A2        B1        B3        C1
A5                                         
0.0  3.761902  0.860822  4.259293  0.774962
1.0  5.532059  0.458384  3.037815  1.299441
2.0  6.509826  0.569145  3.070634  1.652884
3.0  5.315944  0.629984  2.030018  1.836941
4.0  1.155876  0.610660  2.801172  1.662318
5.0  5.541756  1.217553  1.610477  2.293392

---

pythonをはじめて間もない為、
調査不足の部分もあるかと思いますが、
アドバイスを頂きたいと思います。

どうぞ宜しくお願い致します。

Python3 pandasを用いたピボットテーブルについて

python初心者です
二値化した画像(.jpg)を配列に入れました
配列が

[1 1 1 1 1 1 1 1 0 1 0 0 0 0 0]
[1 1 1 1 1 1 1 1 0 0 0 0 0 0 0]
[1 1 1 1 1 1 1 1 1 1 0 0 0 0 0]

のようになっているとき，連続した1の数をカウントするソースコードを教えていただきたいです
1の数を数えるソースコードは調べれば出てくるのですが、連続した数字を数えるソースコードは出てきません


よろしくお願いいたします

実際には画像ファイルが多く，ピクセル数も多いため時間がかかってしまいます
1,0の境界の位置を探してそのピクセル数を得るのに時間短縮できる方法があれば，教えていただけると有難いです
最終的には写真から輪郭形状のグラフを作りたいと思っています

numpyの連続した数値列のカウント

パスワードをデータベースで保存します。

その際に、sha256でソルト値与えて、ハッシュ化してそのままDBに保存します。
パスワードを復元するつもりはございません。

これで安全でしょうか？

sha256でパスワードをハッシュ化するだけで安全か？

連日、ご質問させていただいており申し訳ございません。

Windowsアプリケーションを作成しWindows上のデータベース(MySQL)の情報を
SWIFT3.0で作成したアプリケーションでiPad上からデータを参照したいと考えております。

SWIFTから参照する場合のサンプルを探しているのですが全然見つかりません。
MySQLをImportする方法もわかっていません。。。

時間がなく焦っております。どなたかお力添えください。

SWIFT3.0からMySQLへの接続サンプル

表題の通りなのですが、
アイフォンアプリとサーバのデータベース連携を行いたいです。

アプリとDB接続について調べたところSQLiteを使うのが主流みたいなのですが、
SQLiteだとファイル１つが実態みたいなので、管理するのが大変そうで躊躇しております。

現時点の想定ではゲームアプリにあるようなアプリとサーバとの通信を行い、
データ自体はサーバで管理を行いたいと思っています。
サーバは現在レンタルしていますので、MySQLでできればとても助かるのですが、
何かいい方法があればご教授お願いいたします。

アイフォンアプリとサーバのデータベース連携をしたい

いつもお世話になっております。

WPFアプリの作成で、SerialPortを使っております。

相手機器からの返信を待つ際、
別スレッドで
```
while(SerialPort.readLine() != "ok");
//okがきた後の処理
```
という風に、okがくるまでwhileで待ち続けるか、
Recievedイベントでokかどうかを判断するのはどちらがよいでしょうか。

マイコンの場合は、ほかにすべき処理がなければループで延々と待ち続けることはよくあるように思いますが、Windowsアプリでは避けたほうがいいのでしょうか

何もしないwhileループは、CPUをどのくらい食うのか、とかがわかりません



また、シリアルポートに限らず、イベントというのは絶対的に信頼していいものなのでしょうか
何かの拍子に、okがきたにもかかわらず取りこぼしてしまうと、永遠に処理がとまりますし･･･(タイムアウトを設定するとかは別問題？)

人間がボタンを押したり、という場合であれば、
「押したのに処理がされない」場合はもう一度ボタンを押す、なんてことができますが･･･。

よろしくお願いいたします。

WPF シリアルポート　入力待ちはループ？イベント？

環境：python:3.5.1, pandas:0.17.1

```Python
import pandas as pd
df=pd.DataFrame([[15,25,35,40],[25,10,40,55],[-10,15,-5,-15]]).T
df.columns=["A","B","diff"]


```
"diff"は"A"-"B"の計算結果です。
各インデックスで"diff"が正ならば1、"diff"が負ならば-1の値を取る新しいカラム"class"をdfに追加したいですが、方法がわかりません。ご教授のほどよろしくお願いします。

df
 A    B  diff
15  25  -10
25  10   15
35  40   -5
40  55  -15   

やりたいこと
df
 A    B  diff class
15  25  -10     -1
25  10   15      1
35  40   -5      -1
40  55  -15     -1

Python pandas データフレームのカラム追加(条件判定の計算あり)について

###前提・実現したいこと
◆前提
・pandasで下記csvファイルを読込

【sample.csv】
id,ptn,count
001,A,1
001,B,2
001,C,3
002,A,4
002,B,5
002,C,6
003,A,7

・制約として、NaNはそのまま表示すること

◆実現したいこと
・累積和の追加自体はできたが、もっとスマートな書き方が知りたい


###発生している問題・エラーメッセージ

```
・ptn列の種類が増えたときのメンテナンスが面倒で、保守を考えた時に現実的なソースではない

```

###該当のソースコード
```ここに言語を入力
import pandas as pd
import numpy as np
import math

df = pd.read_csv("sample.csv", dtype=str, encoding="utf-8")
df["count"] = df["count"].astype(float)

def calc_cumsum(A, B, C):
    if math.isnan(A):
        A = 0.0
    if math.isnan(B):
        B = 0.0
    if math.isnan(C):
        C = 0.0
    return A + B + C

df.pivot(index="id", columns="ptn", values="count") \
    .reset_index() \
    .assign(cumsum = lambda df : df.apply(lambda row: calc_cumsum(row["A"], row["B"], row["C"]), axis=1))
```

###試したこと
上記のソースコードを実行
|id|A|B|C|cumsum|
|:---|:---|:---|:---|:---|
|001|1.0|2.0|3.0|6.0|
|002|4.0|5.0|6.0|15.0|
|003|7.0|NaN|NaN|7.0|

###補足情報(言語/FW/ツール等のバージョンなど)
python 3.5.2

pandasによるpivot実行後の累積和列をスマートに追加したい

Python3とPandasに関する質問です。
Pandasのデータフレームにある値があるかどうかはどうやって判定するんでしょうか？
たとえば次のようなデータフレームがあるとします。
 a b c
0 1 2 3
1 2 3 4
この中に１０があるかどうかはどうやって判定するのでしょうか？
if分などで使うのでtrueなどで返ってきてほしいです。

一応知っていることを動員して書いてみたらこんな感じでした。
```python
import pandas as pd

df = pd.DataFrame(data=[[1,2,3],[4,5,6]], columns=['a','b','c']).stack()

# ある場合
x = list(df[df == 1].index)
print(len(x))

# ない場合
x = list(df[df == 10].index)
print(len(x))
```
モジュールなどで簡単に出せないものなのでしょうか？

Pandasのデータフレームにある値があるかどうかの判定

#前提
いつもお世話になっております。またデータフレームの操作について質問させて頂きます。

次のようなデータフレームがあるとします。
![イメージ説明](2286b7d08c002b471f69e10491882c46.jpeg)
データフレームの列名はそれぞれ
- cost ： ある材料を入れて機械を動かしたときのコスト
- machine ： 機械の種類
- material_ID ： 材料の種類
を表しているとします。

#実現したいこと
箇条書すると
0. 同じ'machine'（機械の種類）で括り，
0. その中で'cost'が一番小さいものだけを残し
0. それ以外はすべて削除する
ということがしたいです。

最終型としては次のようになるはずです。
```
   cost machine  material_ID
0   100       A            1
4   100       B            1
6   200       C            2
```

#試したこと
最初はグループ機能（DataFrame.groupby）などを使って実現できないかを模索しましたが，うまく行かず結局Forループを駆使してみましたが，それでもうまく行きませんでした。

下にForループを使って試したコードを記載しますが，別にForループにこだわっている訳ではなく、なるべく簡単に書ければいいなと思っています。個人的にはグループを使うのが一番早いかな、と思っておりますが、妙案があれば教えていただければと思っています。

```python
import pandas as pd

# データフレームの定義
df = pd.DataFrame(
    {'machine': ['A', 'A', 'B', 'B', 'B', 'C', 'C'],
     'cost': [100, 110, 120, 150, 100, 210, 200],
     'material_ID': [1, 2, 2, 3, 1, 1, 2]})

# Forループでひたすら削る
for i in range(len(df)):
    if i > 0 and df.ix[i,'machine'] == df.ix[i-1,'machine']:
        if df.ix[i,'cost'] > df.ix[i-1,'cost'] :
            df = df.drop(i)
        else:
            df = df.drop(i-1)
            
print(df)            
```
エラーメッセージは次のとおりです。
```
KeyError: 1
```

データフレーム中のある列が同じ値同士括り、その中で一番小さい行以外を削除する By Python

# 理想
- 3列目を `str` 指定で読込

# 現状

- 例：読み込む csv ファイル

|0|1|2|3|
|-|-|-|-|
|1|a|京都|00123|

```python
f = pd.read_csv("xxx.csv", encoding="cp932", header=None)
```

- `print(f)` すると

| |0|1|2|3|
|-|-|-|-|-|
|0|1|a|京都|123|

pandas で読み込み時に型を指定したい

###前提・実現したいこと
AWSのS3にて海外からのアクセスができないようにしたいです。

###発生している問題・エラーメッセージ
設定方法がないか探しています。

###試したこと
海外のIPアドレス一覧は取得しました。

###補足情報(言語/FW/ツール等のバージョンなど)
AWS EC2ではIPアドレスによる制限をかけています
同様の制限をS3でかけられないか検討しています。