質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.48%
CSV

CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

Q&A

解決済

1回答

862閲覧

csvファイルをPandasで読み込むと特定の列の要素がすべてNaNになってしまう

katamalix

総合スコア30

CSV

CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

0グッド

0クリップ

投稿2021/09/30 05:16

前提・実現したいこと

数値データが入った複数のcsvファイル(0000.csv, 0001.csv, ..., 0039.csv)をDataFrameに格納したいです。
ただし、1つのcsvファイルには条件が異なる3つの水準で取得したデータが入っているので、それぞれの水準毎に分割し、別々のDataFrameを生成したいです。
また、0019.csv, 0036.csvについては、データ取得時の設定ミスの関係で、データを抜き出す範囲に気をつける必要があります。

発生している問題・エラーメッセージ

lowに格納されている0019の要素がすべてNaNになる。
イメージ説明

該当のソースコード

Python

1import pandas as pd 2import numpy as np 3import matplotlib.pyplot as plt 4import pathlib 5import csv 6import codecs 7import os 8 9csv_files = pathlib.Path("./data/Waves/").glob('*.CSV') #オブジェクトとしてcsvを取得 10std = mid = low = pd.DataFrame([]) #標準・中・低のDataFrameを作成 11 12for csv_file in csv_files: 13 data = pd.read_csv(csv_file, skiprows=15, usecols=[1], names=[csv_file.stem]) 14 if csv_file == "0019.CSV": 15 data1 = data[3000:8000] 16 data2 = data[25000:30000] 17 data3 = data[60000:65000] 18 elif csv_file == "0036.CSV": 19 data1 = data[10000:15000] 20 data2 = data[80000:85000] 21 data3 = data[150000:155000] 22 else: 23 data1 = data[10000:15000] 24 data2 = data[50000:55000] 25 data3 = data[120000:125000] 26 27 std = pd.concat([std, data1.reset_index(drop=True)], axis=1) 28 mid = pd.concat([mid, data2.reset_index(drop=True)], axis=1) 29 low = pd.concat([low, data3.reset_index(drop=True)], axis=1) 30

0019csv

1"Header Size" ,15 2"Model Name" ,"DL850E " 3"Comment" ," " 4"BlockNumber" ,1 5"TraceName" ,"CH1 " 6"BlockSize" ,85586 7"VUnit" ,"V " 8"SampleRate" ,500.000000 9"HResolution" ,2.000000e-03 10"HOffset" ,-1.711700e+02 11"HUnit" ,"s " 12"DisplayPointNo." ,1 13"PhaseShift" ,1 14"Date" ,"2021/08/30 " 15"Time" ,"16:15:36.60285918" 16 17,-1.9067E+00, 18,-1.9033E+00, 1920

試したこと

dataの切り出し範囲に誤りはないか→問題なし
0019.csvのデータ自体に欠損値はないか→問題なし

###使用ツールVer.
Python 3.9.6
pandas 1.3.2
numpy 1.21.2

以上、よろしくお願い致します。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答1

0

ベストアンサー

pathlib.Pathを使っているので、forループしているcsvfileはPathオブジェクトになっていると思います。
なので、csv_file == "0019.CSV"がTrueになることはないので、常に else のブロックを通っているのではないでしょうか。

csv_file.stem == '0019'csv_file.stem == '0036'とするのが良いと思います。

また、std = pd.concat(...)等の3つの行のインデントがおかしいです。
このままだと、elseブロックと同じになっているので、elseのときしか実行されません。

投稿2021/09/30 05:34

bsdfan

総合スコア4567

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

katamalix

2021/09/30 05:41

ご回答ありがとうございます。 無事コードを実行することができました。 Pathオブジェクト・インデントに対する理解不足でした… 大変勉強になりました、ありがとうございました!
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.48%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問