質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.46%
CSV

CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

Q&A

解決済

2回答

17012閲覧

DataFrame is highly fragmentedの回避方法を教えてください

manatsu

総合スコア0

CSV

CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

機械学習

機械学習は、データからパターンを自動的に発見し、そこから知能的な判断を下すためのコンピューターアルゴリズムを指します。人工知能における課題のひとつです。

Python

Pythonは、コードの読みやすさが特徴的なプログラミング言語の1つです。 強い型付け、動的型付けに対応しており、後方互換性がないバージョン2系とバージョン3系が使用されています。 商用製品の開発にも無料で使用でき、OSだけでなく仮想環境にも対応。Unicodeによる文字列操作をサポートしているため、日本語処理も標準で可能です。

pandas

Pandasは、PythonでRにおけるデータフレームに似た型を持たせることができるライブラリです。 行列計算の負担が大幅に軽減されるため、Rで行っていた集計作業をPythonでも比較的簡単に行えます。 データ構造を変更したりデータ分析したりするときにも便利です。

0グッド

0クリップ

投稿2021/11/03 07:01

実現したいこと

csvをpandasで読み込み、それを学習データとして機械学習する予定です。
しかし元々のcsvファイルの列名に一部数値だけの列(1, 2, 3, ・・・)が2つあります。

入口0, 1, 2, 3, ・・・, 出口0, 1, 2, 3, ・・・

というような感じです。これでは同名の列があり厄介なので加工しようと考えています。
そこで私がしたいことは

入口0, 入口1, 入口2, 入口3, ・・・, 出口0, 出口1, 出口2, 出口3, ・・・

という感じです。
そのため1からfor文を回そうとおもい実行したのですがPerformanceWarningが出てしまいました。

発生している問題・エラーメッセージ

PerformanceWarning: DataFrame is highly fragmented. This is usually the result of calling `frame.insert` many times, which has poor performance. Consider joining all columns at once using pd.concat(axis=1) instead. To get a de-fragmented frame, use `newframe = frame.copy()`

該当のソースコード

Python

1df_1 = df.iloc[:, 17:160] 2 3for i in range(1, 144, 1): 4 df[f'入口{i}'] = df_1[f'{i}']

試したこと

ここに問題に対して試したことを記載してください。

補足情報(FW/ツールのバージョンなど)

ソースコードに.iloc[:, 17:160]とあるのですがこれはdfに入口の数値と出口の数値がありこのままではどの数値の列名を変更するのかわからないので一度ilocで入口にあたる列を全て取得した上でfor文を回し列名を変更しています。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

guest

回答2

0

自己解決

単純に

python

1for i in range(1, 144, 1): 2 df.rename(columns={f'{i}': f'入口_{i}'}, inplace=True)

で解決しました。
というのもilocで範囲を絞っていたのは同名のcolumn名があるからです。
しかしよく確認するとcolumn名に同名はありませんでした。
csv上では同名でも読み込んむと同名ではなくなるようです。
状況としては
csv上では
入口0, 1, 2, 3, ・・・, 出口0, 1, 2, 3, ・・・
ですが、pandasで読み込むと
入口0, 1, 2, 3, ・・・, 出口0, 1.1, 2.1, 3.1, ・・・
となっていました。

なので単純にrenameをfor文で回すことができました。

投稿2021/11/03 09:18

manatsu

総合スコア0

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

0

出口の144個の後ろには列はないということで回答します。

列名を変えたいだけなら、以下のようにDatFrameのcolumns属性を設定するだけで済みます。

python

1N = 16 2R = 144 3df.columns = list(df.columns[0:N]) + [f'入口{i}' for i in range(1,R+1)] + [f'出口{i}' for i in range(1,R+1)]

投稿2021/11/03 07:53

ppaul

総合スコア24666

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

manatsu

2021/11/03 08:17

すみません。列名を変えたいだけですが出口の後にまだ列があります。 18~161列目に入口の1,2,3, ・・・があり162~408列目に出口がありその先にもまだ列があります。(出口の後ろは特に加工はいりません)特定の列の列名のみ変更という方法を探しています。
guest

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.46%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問