質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.46%
NumPy

NumPyはPythonのプログラミング言語の科学的と数学的なコンピューティングに関する拡張モジュールです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

Q&A

解決済

3回答

1249閲覧

pythonで時系列データの加工

退会済みユーザー

退会済みユーザー

総合スコア0

NumPy

NumPyはPythonのプログラミング言語の科学的と数学的なコンピューティングに関する拡張モジュールです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

0グッド

1クリップ

投稿2020/05/24 07:59

編集2020/05/24 09:24

python 3.6.9
numpy 1.15.4
pandas 0.23.4

以下のようなデータに対して、欠損している部分を埋めて線形補間したいのですが方法がわかりません。

[元データ]
1, 30, 1.5
2, 60, 3.0
4, 120, 6.0
5, 150, 7.5
6, 180, 9.0
9, 270, 13.5
10, 300, 15.0


[こうしたい]
1, 30, 1.5
2, 60, 3.0
3, 90, 4.5
4, 120, 6.0
5, 150, 7.5
6, 180, 9.0
7, 210, 10.5
8, 240, 12.0
9, 270, 13.5
10, 300, 15.0

データは全部で40万行ほどあり、欠損している範囲もバラバラです。
どなたか知恵をお貸しください、よろしくお願い致します…

以下追記です。

↓元データ
index close_time open_price high_price low_price close_price volume
1,1556746080,590047,590047,589758,589758,0.141
2,1556746140,589604,589985,589604,589981,1.12805
3,1556746200,589977,589977,589309,589962,1.765
5,1556746320,589343,589932,589318,589917,1.254
6,1556746380,589899,589899,589400,589859,1.011
7,1556746440,589844,589844,589407,589834,0.489
8,1556746500,589818,589820,589303,589811,2.77141
9,1556746560,589799,589800,589778,589779,0.744002
10,1556746620,589778,589783,589307,589780,1.93781

↓こうしたい
index close_time open_price high_price low_price close_price volume
close_dt
2019-05-02 06:29:00 2.0 1.556746e+09 589604.0 589985.0 589604.0 589981.0 1.128050
2019-05-02 06:30:00 3.0 1.556746e+09 589977.0 589977.0 589309.0 589962.0 1.765000
2019-05-02 06:31:00 NaN NaN NaN NaN NaN NaN NaN
2019-05-02 06:32:00 5.0 1.556746e+09 589343.0 589932.0 589318.0 589917.0 1.254000
2019-05-02 06:33:00 6.0 1.556746e+09 589899.0 589899.0 589400.0 589859.0 1.011000
2019-05-02 06:34:00 7.0 1.556746e+09 589844.0 589844.0 589407.0 589834.0 0.489000
2019-05-02 06:35:00 8.0 1.556746e+09 589818.0 589820.0 589303.0 589811.0 2.771410
2019-05-02 06:36:00 9.0 1.556747e+09 589799.0 589800.0 589778.0 589779.0 0.744002
2019-05-02 06:37:00 10.0 1.556747e+09 589778.0 589783.0 589307.0 589780.0 1.937810

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

meg_

2020/05/24 08:05

・質問タイトルが「pythonで時系列データの加工」ですが、どのあたりが「時系列」なのでしょうか? ・やりたいことはresampleでしょうか?(python resampleで調べてみて下さい)
退会済みユーザー

退会済みユーザー

2020/05/24 08:10

左列が分のイメージだったのですが、書き方が悪く申し訳ありません。 ありがとうございます、resampleで検索した結果目近しいものが出てきました。
meg_

2020/05/24 08:17

「左列が分のイメージだった」のでしたら、そのことを質問に追記してください。 但し、数値ではpandasにて時系列データとしては扱えないでしょう。
退会済みユーザー

退会済みユーザー

2020/05/24 09:25

↑仰る通り数値のまま進めようとしていてつまづいてしまいました。 頂いたヒントのおかげで解決に至りました、感謝します。
guest

回答3

0

ベストアンサー

indexを指定するとこが結構つまづきました…

close_dt = []
for i in ticker_1min.iterrows():
close_dt.append(datetime.datetime.fromtimestamp(i[1]["close_time"]))
#Indexをdatetime形式に
ticker_1min["close_dt"] = close_dt
ticker_1min.index = ticker_1min["close_dt"]
ticker_1min = ticker_1min.resample('T').mean()

print(ticker_1min)

投稿2020/05/24 09:21

退会済みユーザー

退会済みユーザー

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

3, 90, 4.5 がいきなり出てきてますが、こちらはどこからでてきたのでしょう?

投稿2020/05/24 08:07

abcdefg66adf

総合スコア8

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

まずその補完の計算式をはっきりさせましょう
どうやってその数値を出したか、を考えると出せると思います。

つぎに、その計算式を使ってコードに起こせばいいです

投稿2020/05/24 08:04

y_waiwai

総合スコア87800

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.46%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問