PANDASで100000行のＣＳＶを8000行ずつSHIT-JISにしたいです。

Question

前提・実現したいこと
チャットボットのＱ＆ＡをＷＥＢから取り込む
際、10メガずつしか取り込めないため、
100000行データを8000行ずつ11の
ＣＳＶファイルを作成する必要があります。
ＣＳＶの形式はshift-jisでなければ
取り込みできません。
ネットでしらべて、PYTHONによる
分割方法があることが分かりました。
SHIFT-JIS（ANCII)
のＣＳＶを
下記コーﾄﾞ

df = pd.read_csv('test.csv')
span = 8000
for i in range((len(df)+span-1)//span):
df[spani:span(i+1)].to_csv(f'test{i}.csv', index=False)

実際にＶＳＣＯＤＥで実行すると
出来上がったＣＳＶが文字化けしています。
メモ帳でみると文字化けしないので
UTF-8に出力しているためだと思いました。
SHIFT-JISで出力するにはencoding='shift_jis
とする必要があると思い

df = pd.read_csv('test.csv'shift_jis)
span = 8000
for i in range((len(df)+span-1)//span):
df[spani:span(i+1)].to_csv(f'test{i}.csv',encoding='shift_jis,index=False)

としましたがエラーとなりました。

SHIFT-JISで出力するには上記コードをどのように変更する必要がありますでしょうか？
プログラミン初心者です。どうぞ、よろしくお願いいたします。

Comments

[rogers1]

１行目のコードが抜けていました。
すみません。
【修正前】（ＵＴＦ－８で出力されるコード）
import pandas as pd

df = pd.read_csv('test.csv')
span = 5000
for i in range((len(df)+span-1)//span):
df[span*i:span*(i+1)].to_csv(f'test{i}.csv', index=False)

【修正後】（shift-jisで書いてみたところエラーが出たコード）
import pandas as pd

df = pd.read_csv('test.csv'encoding='shift_jis)
span = 8000
for i in range((len(df)+span-1)//span):
df[span*i:span*(i+1)].to_csv(f'test{i}.csv',encoding='shift_jis,index=False)

Answer 1

Dataframe の index が行番号と同値である場合(df.index//span でグループ化)。

import pandas as pd
import numpy as np

# create dataframe with random values
df = pd.DataFrame(np.random.random_sample(100_000))

#
span = 8000
(
  df.groupby(df.index//span)
    .apply(lambda x:
      x.to_csv(
        f'test{x.index[0]//span:02d}.csv',
        encoding='shift_jis', index=False)))

※ +1 はヘッダ行

$ wc -l test*.csv
   8001 test00.csv
   8001 test01.csv
   8001 test02.csv
   8001 test03.csv
   8001 test04.csv
   8001 test05.csv
   8001 test06.csv
   8001 test07.csv
   8001 test08.csv
   8001 test09.csv
   8001 test10.csv
   8001 test11.csv
   4001 test12.csv
 100013 total

Comments

[rogers1]

ご回答ありがとうございます。元データは５列・100000行のデータです。
ご回答のコードを実行すると1列8000行のデータに分割されました。
行頭はの行タイトルは各分割ファイルの１行目に書き込みたいです。
その場合どちらのコードを変更する必要がりますでしょうか？
大変初歩的な質問かもしれませんが、どうぞ、よろしくお願いいたします。

[melian]

状況がよく分からないのですが、回答にある df は動作確認のためのダミーデータですので、そちらでお使いのデータフレームに置き換えて下さい。

[rogers1]

本当に初歩的な質問で申し訳ありません。
読み込むデータはＤドライブのtestフォルダのtest.csv
だとして、拡張子pyファイル（下記コード記載）
はtestフォルダと同じところにあります。
その場合、下記コードを実行すると
df = pd.DataFrame('test.csv')
がValueError: DataFrame constructor not properly called!
正しく呼び起こせなかったようですが、 df = pd.DataFrame('test.csv')
の書き方が悪いと思うのですが、どのように変更すればよろしいでしょうか？
本当に初歩的ですみません。
import pandas as pd
import numpy as np

# create dataframe with random values
df = pd.DataFrame('test.csv')

#
span = 8000
(
df.groupby(df.index//span)
.apply(lambda x:
x.to_csv(
f'test{x.index[0]//span:02d}.csv',
encoding='shift_jis', index=False)))

[rogers1]

列タイトル行は
id(新規登録は空欄)、 トピックタグ(スラッシュ区切りで複数登録可能)、 質問 、回答、 添付ファイル、
の５列
見出し列のようなものはないようです。

[rogers1]

df = pd.DataFrame('test.csv')
に('test.csv')のようなファイル名を指定するのだと思ったのですが、
pandasの指定する列や行やインデックスを指定するのですね
基本的な部分が分かっていなく、すみません。

Answer 2

そんな難しく考えずとも、１行読んで１行書き出す、というのを８０００のループで回せばいいだけです
んで、エンコーディングを読むときはもとの文字コードに、書くときにはShiftJISとすればよろしい

Comments

[rogers1]

ご回答ありがとうございます。普段は一般事務をしていて、pythonを勉強中の者です。
頑張ってググれば「１行読んで１行書き出す、というのを８０００のループで回す」
コードが分かるかと思いますが、もし「１行読んで１行書き出す、というのを８０００のループで回す」
でshift-jisで書き出すサンプルコードを教えていただけないでしょうか？
どうぞ、よろしくお願いいたします。

[y_waiwai]

CSVファイルと言ってもふつーのテキストファイルなので、コード変換するだけならテキスト操作でいいです
[Python | テキストファイルを読み込む](https://www.javadrive.jp/python/file/index2.html)