質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

ただいまの
回答率

88.92%

株価データを結合したい

解決済

回答 1

投稿 編集

  • 評価
  • クリップ 1
  • VIEW 368

daic

score 9

前提・実現したいこと

「Tensorflowではじめる株式投資のためのディープラーニング」という本で学んでいます。
株価データをKABU+からダウンロードし、データを結合したいのですが、エラーが解決できずに悩んでいます。データは下記のように置いています。
イメージ説明

発生している問題・エラーメッセージ

 ValueError                                Traceback (most recent call last)
<ipython-input-3-cf0c4fc04483> in <module>
      8     price_data.append(data_.assign(日時=timestamp))
      9 
---> 10 price_data = pd.concat(price_data).assign(
     11     日時=lambda x: x['日時'].map(
     12         lambda elm: pd.Timestamp(pd.to_datetime(elm).date())  # 時刻をすべて00:00:00に合わせる

~/venv/list/lib/python3.7/site-packages/pandas/core/reshape/concat.py in concat(objs, axis, join, ignore_index, keys, levels, names, verify_integrity, sort, copy)
    279         verify_integrity=verify_integrity,
    280         copy=copy,
--> 281         sort=sort,
    282     )
    283 

~/venv/list/lib/python3.7/site-packages/pandas/core/reshape/concat.py in __init__(self, objs, axis, join, keys, levels, names, ignore_index, verify_integrity, copy, sort)
    327 
    328         if len(objs) == 0:
--> 329             raise ValueError("No objects to concatenate")
    330 
    331         if keys is None:

ValueError: No objects to concatenate

該当のソースコード

import re
import pandas as pd
from tqdm import tqdm_notebook as tqdm
from os import path
from pathlib import Path

DATA_DIR = '/User/username/Stock_predict/download_data'  # データをダウンロードしたフォルダ
PRICE_DIR = path.join(DATA_DIR, 'japan-all-stock-prices')  # 株価一覧表
STOCK_DATA_DIR = path.join(DATA_DIR, 'japan-all-stock-data')  # 投資指標データ
FIN_RESULTS_DIR = path.join(DATA_DIR, 'japan-all-stock-financial-results')  # 決算・財務・業績データ
OUT_DIR = '/User/username/Stock_predict'  # 結合したデータを保存するフォルダ


price_data = []
file_list = list(Path(PRICE_DIR).glob('*.csv'))  # PRICE_DIR以下にあるcsvファイルのパスをすべて取得する

for file in tqdm(file_list):
    data_ = pd.read_csv(f'file:{file}', encoding='sjis', na_values='-')
    data_.columns = [column.strip() for column in data_.columns]  # カラム名にスペースが混じることがあるので削除
    timestamp = pd.Timestamp(re.findall(r'\d{8}', file.stem)[0])  # 日時はファイル名から取得
    price_data.append(data_.assign(日時=timestamp))

price_data = pd.concat(price_data).assign(
    日時=lambda x: x['日時'].map(
        lambda elm: pd.Timestamp(pd.to_datetime(elm).date())  # 時刻をすべて00:00:00に合わせる
    )
)

補足情報(FW/ツールのバージョンなど)

pandas==1.0.3 , tqdm==4.45.0, jupyterlab==2.1.0

  • 気になる質問をクリップする

    クリップした質問は、後からいつでもマイページで確認できます。

    またクリップした質問に回答があった際、通知やメールを受け取ることができます。

    クリップを取り消します

  • 良い質問の評価を上げる

    以下のような質問は評価を上げましょう

    • 質問内容が明確
    • 自分も答えを知りたい
    • 質問者以外のユーザにも役立つ

    評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

    質問の評価を上げたことを取り消します

  • 評価を下げられる数の上限に達しました

    評価を下げることができません

    • 1日5回まで評価を下げられます
    • 1日に1ユーザに対して2回まで評価を下げられます

    質問の評価を下げる

    teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

    • プログラミングに関係のない質問
    • やってほしいことだけを記載した丸投げの質問
    • 問題・課題が含まれていない質問
    • 意図的に内容が抹消された質問
    • 過去に投稿した質問と同じ内容の質問
    • 広告と受け取られるような投稿

    評価が下がると、TOPページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

    質問の評価を下げたことを取り消します

    この機能は開放されていません

    評価を下げる条件を満たしてません

    評価を下げる理由を選択してください

    詳細な説明はこちら

    上記に当てはまらず、質問内容が明確になっていない質問には「情報の追加・修正依頼」機能からコメントをしてください。

    質問の評価を下げる機能の利用条件

    この機能を利用するためには、以下の事項を行う必要があります。

回答 1

checkベストアンサー

0

ValueError: No objects to concatenate
結合するためのオブジェクトがありませんと言われています。price_dataが空のリストになっていないか確認してみてください。

試したコード。これは普通に動きました。

import re
import pandas as pd
from tqdm import tqdm_notebook as tqdm
from os import path
from pathlib import Path

DATA_DIR = './sample/data/download_data'  # データをダウンロードしたフォルダ
PRICE_DIR = path.join(DATA_DIR, 'japan-all-stock-prices')  # 株価一覧表
STOCK_DATA_DIR = path.join(DATA_DIR, 'japan-all-stock-data')  # 投資指標データ
FIN_RESULTS_DIR = path.join(DATA_DIR, 'japan-all-stock-financial-results')  # 決算・財務・業績データ
OUT_DIR = 'C:/sample/data'  # 結合したデータを保存するフォルダ


price_data = []
file_list = list(Path(PRICE_DIR).glob('*.csv'))  # PRICE_DIR以下にあるcsvファイルのパスをすべて取得する
print(file_list)
# [WindowsPath('sample/data/download_data/japan-all-stock-prices/1.csv'), WindowsPath('sample/data/download_data/japan-all-stock-prices/2.csv')]
for file in tqdm(file_list):
    data_ = pd.read_csv(f'file:{file}', encoding='sjis', na_values='-')
    print(data_)

投稿

編集

  • 回答の評価を上げる

    以下のような回答は評価を上げましょう

    • 正しい回答
    • わかりやすい回答
    • ためになる回答

    評価が高い回答ほどページの上位に表示されます。

  • 回答の評価を下げる

    下記のような回答は推奨されていません。

    • 間違っている回答
    • 質問の回答になっていない投稿
    • スパムや攻撃的な表現を用いた投稿

    評価を下げる際はその理由を明確に伝え、適切な回答に修正してもらいましょう。

  • 2020/07/11 00:05

    os.path.join()を使わずに、PRICE_DIR変数にそのままパスを書いて実行したら動きました。
    そもそもこのコードは何をしているコードなのでしょうか?

    キャンセル

  • 2020/07/11 12:59

    パスとファイル名などを結合するためのものです。ググったら説明がすぐ出ますので、知らないコードがあったらまず検索してください。

    キャンセル

  • 2020/07/11 23:19

    ありがとうございます。

    キャンセル

15分調べてもわからないことは、teratailで質問しよう!

  • ただいまの回答率 88.92%
  • 質問をまとめることで、思考を整理して素早く解決
  • テンプレート機能で、簡単に質問をまとめられる

関連した質問

同じタグがついた質問を見る