python csvファイル操作におけるデータフレームとは

Question

python
csvファイルの任意の行、列を挿入したいです。
単純に挿入するだけで、特定の値を入れたいとかはありません。

https://note.nkmk.me/python-pandas-assign-append/

上記サイトを参考にしましたがデータフレームという概念を理解できません。

行や列を挿入する際にassign
を使っておりますが、ここでは
上端、左端にラベル？付をして
指定したラベルに要素を追加しているように思います。
このようにラベルをつけず、エクセルシートにあるようなA列の左に列を挿入のようなことはできないのでしょうか。

データフレーム型と言うのもよくわかりませんが、これはCSVファイルの要素をコンマ区切りでリスト化したもののことをいうのでしょうか。

Answer 1

pandas.DataFrameは、二次元の表形式のデータを示す型です。二次元配列(numpy.ndarray)の値(values)を、列名(columns)と行名(index)を付けてアクセスしやすくしたものです。

このようにラベルをつけず、エクセルシートにあるようなA列の左に列を挿入のようなことはできないのでしょうか。

列名を指定しなければ、単純に0から始まる連番が付けられる(エクセルの列番号みたいなものです)ので、「0列の左に新たな列を挿入し、列名を付けなおす」ことで、お望みの結果になります。

import pandas as pd
import numpy as np

df = pd.DataFrame(np.arange(12).reshape(3, 4)) # 3行4列のデータフレーム生成
print(df)

df.insert(0, 'X', np.NaN) # 0列の前にX列を挿入しnp.NaNを設定
df.columns = range(df.columns.size) # 列名を0から始まる連番に付けなおし
print(df)

   0  1   2   3
0  0  1   2   3
1  4  5   6   7
2  8  9  10  11
    0  1  2   3   4
0 NaN  0  1   2   3
1 NaN  4  5   6   7
2 NaN  8  9  10  11

Comments

[KKKM]

ご回答ありがとうございます。
列名や行名は勝手につけられてしまうのでそこは仕方がない。
列名を書きたくない場合は明示的に指定する必要があるという認識でよろしいでしょうか

[Daregada]

> 列名を書きたくない場合は明示的に指定する必要があるという認識でよろしいでしょうか

いいえ。
回答のコードの4行目を見ればわかるように、あなたが列名・行名を指定しなければ0, 1, 2と勝手に列名・行名が連番でつきます。Excelだって1, 2, 3とかA, B, Cとか「勝手に付けられている」でしょう。

たいていの場合、それでは扱いづらいので、Excelなら1行目に列名を書いて様々な処理に利用しますし(ソートとかフィルターとかテーブルとか)、DataFrameも好きな列名を付けて処理した方がコードがわかりやすくなります。

[KKKM]

＞いいえ。
＞回答のコードの4行目を見ればわかるように、あなたが列名・行名を指定しなければ0, 1, 2と勝手に列＞名・行名が連番でつきます。Excelだって1, 2, 3とかA, B, Cとか「勝手に付けられている」でしょう。

ご返信ありがとうございます。
上記については
「指定しなければ列名や行名は勝手につけられる」
と同義であるとおもうのですがよろしいでしょうか

[Daregada]

> 「指定しなければ列名や行名は勝手につけられる」
> と同義であるとおもうのですがよろしいでしょうか

その通りの文章を書いたのですが、どの部分が不明なんでしょう。
ですから、「列名を書きたくない場合は明示的に指定する必要があるという認識」は間違っていますよね。

[Daregada]

「列名を指定したい」ときには

df = pd.DataFrame(np.arange(12).reshape(3, 4), columns=['A', 'B', 'C', 'D'])

というように、明示的にcolumnsを指定する必要がありますし、CSVファイルなどから読むときには、先頭行をヘッダー(列名が書いてある行)と見なすかどうかを指定します。

[KKKM]

私が最初に返信した時の引用です
＞列名や行名は勝手につけられてしまうのでそこは仕方がない。
＞列名を書きたくない場合は明示的に指定する必要があるという認識でよろしいでしょうか

この一番最初の行は以下と同義のつもりで書いていました
> 指定しなければ列名や行名は勝手につけられる

これに対して
＞回答のコードの4行目を見ればわかるように、あなたが列名・行名を指定＞しなければ0, 1, 2と勝手に列名・行名が連番でつきます。
とありましたので確認の意味を込めて意見述べました。

列名を書きたくない場合は明示的に指定する必要はあるのではないでしょうか。
記載いただいたコードではnanを使って使って列名を書かないと明示的に指定しているように思っています。
>df.insert(0, 'X', np.NaN)
なので
列名を書きたくない場合は明示的に指定する必要があるという認識でよろしいでしょうか
という問いに対する答えがいいえという点については納得がいっていません。

おそらく言葉の綾というか僕の表現が悪かったのだとはおもうのですが...

[Daregada]

np.NaNは、列名ではなくて、追加する列のデータですよ。欠損値を意味するnumpyのデータです。先頭の0が挿入位置(既存の列名0の手前)を示しています。

そのコードで列名に当たるのは'X'ですね。ただし、その後の「df.columns = range(df.columns.size)」で列名全体を0から始まる連番に付け直しているので、挿入時の列名は何でも構わないのです。'0'でも'新しい0列になる予定'でも何でも。

[KKKM]

なるほど
ご回答ありがとうございます。
おそらく理解できたと思います！

Answer 2

なぜか、うまく表示されていなかったので、編集してみます。

データフレームは数理統計解析向けのインタプリタ言語であるR言語のデータ型です。
データフレームの考え方は、データフレームあたりがわかりやすいと思います。
R言語は数理統計解析のためのものですが、データをcsvで入出力することが多いので、それを読み書きする機能をサポートしています。

pythonにRの機能の一部を使えるようにしたのがpandasモジュールです。そのため、pandasはDataFrameという型(クラス)を定義しています。また、R言語に従ってcsvを読み書きする機能をサポートしています。

csvはpythonの型ではなく、一般的なファイルフォーマットです。
Comma-Separated Valuesをご覧ください。

pythonで二次元の表を格納するには、リストのリスト、numpyのndarray、pandasのデータフレームなどがあります。

pythonがcsvファイルを読み込む方法と特長は、こちらで説明しましたが、ここにも再掲しておきます。

1. テキストファイルとして読み込み、","で区切って要素を取り出し、テキストファイルとして書き出す。数字は自分で変換する。データ形式も自分で決める。
2. csvモジュールのreaderやwriterを使って読み書きする。数字は自分で変換する。データ形式は通常はリストのリストを使う。
3. numpyモジュールのloadtxt、savetxtを使う。今回のように、文字列と数字の両方が含まれる場合は、genfromtxtで読み込む。数字は自動的に変換される。データ形式はStructured arrayとなる。
4. pandasモジュールのread_csvやto_csvを使う。数字は自動的に変換される。データ形式はデータフレームとなる。

csvファイルに行を挿入するだけならどの方法でも問題ないのですが、列を挿入しようとするとpandasのデータフレーム以外の方法では結構手数がかかります。
従って、Daragadaさんはpandasをお勧めしているのだと思います。