質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
87.20%
CSV

CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

Pythonista

Pythonistaは、iOS上でPythonプログラミングができる開発アプリです。さらに、Pythonの関数・変数などを自動で補完する便利なコードエディタや、PythonスクリプトをiOS上で多様な形で機能させる各種機能も内包しています。

WebSocket

WebSocketとは双方向・全二重コミュニケーションのためのAPIでありプロトコルのことを指します。WebSocketはHTML5に密接に結びついており、多くのウェブブラウザの最新版に導入されています。

解決済

【Python】to_csv使用時の「Windows search indexer」の負荷を軽減したい

Kosuke1208
Kosuke1208

総合スコア3

CSV

CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

Pythonista

Pythonistaは、iOS上でPythonプログラミングができる開発アプリです。さらに、Pythonの関数・変数などを自動で補完する便利なコードエディタや、PythonスクリプトをiOS上で多様な形で機能させる各種機能も内包しています。

WebSocket

WebSocketとは双方向・全二重コミュニケーションのためのAPIでありプロトコルのことを指します。WebSocketはHTML5に密接に結びついており、多くのウェブブラウザの最新版に導入されています。

1回答

0評価

0クリップ

155閲覧

投稿2022/08/05 13:50

前提

初めまして。
websocketでJSONデータを受信し、それをCSVで保存するプログラムを作っています。
しかし、通信料の多い時間では秒間150件程度の受信があり、PCの処理が追い付かずエラーになり、止まってしまうといった現象に悩んでいます。タスクマネージャーを見ると、最大でCPUの使用量が70%以上となることがあり、半分以上を「Windows search indexer」
が占めていました。
実際タイムを計ると半分近くがdataframeからto_csvし保存することに使用されており、試しにto_csvで保存する箇所を消してみたとろ、
まったくエラーになることはありませんでした。

実現したいこと

最終的には一つのスレッドでwebsocketからデータの受信を行い、もう一つのスレッドでデータを時系列として分析・処理して
リアルタイムにリスポンスを行うことを目標としています。
そのためにはcsvでデータをやり取りすることにはこだわっておらず、
①リアルタイムデータを分析して処理するスレッドにデータを渡すことができ
②受信データを最後に保存する
ことができればよいと考えています

該当のソースコード

python

df = pd.DataFrame(columns=[time,itemName,volume,price] def on_message(ws, message): print('--- RECV MSG. --- ') content = json.loads(message) time = content['time'] itemName = content['itemNum'] volume = content["volume"] price = content["price"] df.loc[1]=[ time,itemName,volume,price]   df.to_csv('~~~~.csv') def on_error(ws, error): print('--- ERROR --- ') print(error) def on_close(ws): print('--- DISCONNECTED --- ') def on_open(ws): print('--- CONNECTED --- ') def run(*args): while(True): line = sys.stdin.readline() if line != '': print('closing...') ws.close() _thread.start_new_thread(run, ()) url = '~~~~' ws = websocket.WebSocketApp(url, on_message = on_message, on_error = on_error, on_close = on_close) ws.on_open = on_open ws.run_forever()

試したこと

on messageで毎回csvに保存するのではなく,
dataframeにいれるだけにして、最後にまとめてCSVに入れられないかと思ったのですが、
最後にWebsocketに渡しているため、方法がわからずつまずいてしまいました。

どうぞよろしくお願いいたします。

良い質問の評価を上げる

以下のような質問は評価を上げましょう

  • 質問内容が明確
  • 自分も答えを知りたい
  • 質問者以外のユーザにも役立つ

評価が高い質問は、TOPページの「注目」タブのフィードに表示されやすくなります。

気になる質問をクリップする

クリップした質問は、後からいつでもマイページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

teratailでは下記のような質問を「具体的に困っていることがない質問」、「サイトポリシーに違反する質問」と定義し、推奨していません。

  • プログラミングに関係のない質問
  • やってほしいことだけを記載した丸投げの質問
  • 問題・課題が含まれていない質問
  • 意図的に内容が抹消された質問
  • 過去に投稿した質問と同じ内容の質問
  • 広告と受け取られるような投稿

評価を下げると、トップページの「アクティブ」「注目」タブのフィードに表示されにくくなります。

Kosuke1208

2022/08/09 21:46 編集

ご回答ありがとうございます。 ご教授いただいたGoogle検索の最初のページの方法を試してみました。 結果として、Windows Serchの負荷をなくすことができました(なぜか、以前の記録から半減ではなくCPUの使用率が、計算上の35%でなく、20%減ほどにとどまっていることは不思議ですが、、)。 どうもありがとうございました!

まだ回答がついていません

会員登録して回答してみよう

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
87.20%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問

同じタグがついた質問を見る

CSV

CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

Pythonista

Pythonistaは、iOS上でPythonプログラミングができる開発アプリです。さらに、Pythonの関数・変数などを自動で補完する便利なコードエディタや、PythonスクリプトをiOS上で多様な形で機能させる各種機能も内包しています。

WebSocket

WebSocketとは双方向・全二重コミュニケーションのためのAPIでありプロトコルのことを指します。WebSocketはHTML5に密接に結びついており、多くのウェブブラウザの最新版に導入されています。