指定した範囲の数値の数え方

Question

Python超初心者です。

ランダムな文字数が並ぶテキスト(数字の範囲は0~100)
14.2
0.1
95.3
45.6
・
・
・
89.6
といった数値が約1000万行ほどあります。

このテキストから、00.1,0.10.2,0.20.3・・・99.9100
といった具合に0.1刻みずつの範囲内にある数値の個数を数えるプログラムとして
以下のようなものを書きました。

import sys
import numpy as np
input_file=[]

input_file_name = sys.argv[1]

with open(input_file_name, 'r') as f:
for line in f:
items = line.split()
input_file.append(float(items[0]))

a = np.arange(0,100,0.1)
b = np.arange(0.1,100.1,0.1)

for i,j in zip(a,b):
print(i,j)

print(sum(i<X<=j for X in input_file))

しかし、このプログラムだと計算を行うのに非常に時間がかかってしまい、
一時間ほど待っても出力されませんでした。
おそらくループ回数が多すぎることが原因だと思います。

そこで、もうすこし早く計算が進むようなプログラムを書きたいのですが、
なかなか思いつきません。

どのようなプログラムがいいのか、ご指導していただけませんでしょうか？
よろしくお願いします。

Answer 1

こうですかね

ret = [0] * 1001
for i in np.floor(input_file * 10):
    ret[int(i)] += 1

with open('result.txt', 'w') as f:
    for (i, v) in enumerate(ret):
        f.write("{} {}\n".format(i / 10, v))

Answer 2

pandasを使うのは駄目でしょうか？

100万行程度であれば数秒で終わります

import pandas as pd
import numpy as np

# データ読み込み
df = pd.read_csv('data.csv',header=None, names=['data'])
# 0～100 までを 0.1 STEPでの範囲でデータをカウント
hist = df['data'].value_counts(bins=[i for i in np.arange(0.,100.1,0.1)])
# 結果をCSVに書き出す
hist.sort_index().to_csv('hist.csv')
# 一応トータルを計算
print(hist.sum())
# 統計量を表示
print(hist.describe())

一応、データを生成したコードも添付しておきます
（一様分布で100万個の乱数を生成）

import pandas as pd
import numpy as np

df = pd.DataFrame({'data':np.random.uniform(0,100,1000000)})
df.to_csv('data.csv',header=None,index=None)

Answer 3

まあこれが限界でしょうね。
これ以上速くしたいならデータなりを工夫するしかありません。

dic = {str(i/10):0 for i in range(1,1001)}
for num in f:
    dic[str(int(float(num)*10)/10)] += 1
for k,v in dic.items():
    print(str(int(k)-0.1),k)
    print(v)

Comments

[crmy]

解答ありがとうございます。
3行目の意味がよくわからないのですが、教えていただけませんか？

[crmy]

ありがとうございます。
3行目の意味がよくわからないのですが、教えていただけませんか？

[_Victorique__]

それぞれの範囲の辞書を作って初期化しています。
ファイルを読み込んだ時にその数字をkeyとしてインクリメントすることで出現回数をカウントすることができます。

[crmy]

大変、申し訳ないのですが、もう少し詳しく教えていただけないでしょうか。すみません。

[_Victorique__]

何がわからないのかが分かりません。辞書が分からないのかそれとも辞書を使って何をしているのかが分からないのか、どちらですか？

[crmy]

辞書を使って何をしているのかが分からないです。
教えていただいたことを参考にコードを書きました

input_file_name = sys.argv[1]
input_file = open( input_file_name , "r" )
f = input_file.read()

dic = {str(i/10):0 for i in range(1,1001)}
for num in f:
dic[num] += 1
for k,v in dic.items():
print(str(int(k)-0.1),k)
print(v)

しかし、dic[num]+= 1の部分でKey errorが出てしまいます。

[_Victorique__]

質問からファイル内の数字は小数点一桁以外に存在するか読み取れませんがどういった前提ですか？

[crmy]

実際に読み込んでいるファイルでは、
37.49074
33.82048
23.64274
29.28317
・
・
・
の大きさの数字が約1000万行あります。

[_Victorique__]

コードを修正しました