質問をすることでしか得られない、回答やアドバイスがある。

15分調べてもわからないことは、質問しよう!

新規登録して質問してみよう
ただいま回答率
85.49%
CSV

CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

Pythonista

Pythonistaは、iOS上でPythonプログラミングができる開発アプリです。さらに、Pythonの関数・変数などを自動で補完する便利なコードエディタや、PythonスクリプトをiOS上で多様な形で機能させる各種機能も内包しています。

WebSocket

WebSocketとは双方向・全二重コミュニケーションのためのAPIでありプロトコルのことを指します。WebSocketはHTML5に密接に結びついており、多くのウェブブラウザの最新版に導入されています。

Q&A

解決済

1回答

500閲覧

【Python】to_csv使用時の「Windows search indexer」の負荷を軽減したい

Kosuke1208

総合スコア5

CSV

CSV(Comma-Separated Values)はコンマで区切られた明白なテキスト値のリストです。もしくは、そのフォーマットでひとつ以上のリストを含むファイルを指します。

Pythonista

Pythonistaは、iOS上でPythonプログラミングができる開発アプリです。さらに、Pythonの関数・変数などを自動で補完する便利なコードエディタや、PythonスクリプトをiOS上で多様な形で機能させる各種機能も内包しています。

WebSocket

WebSocketとは双方向・全二重コミュニケーションのためのAPIでありプロトコルのことを指します。WebSocketはHTML5に密接に結びついており、多くのウェブブラウザの最新版に導入されています。

0グッド

0クリップ

投稿2022/08/05 13:50

前提

初めまして。
websocketでJSONデータを受信し、それをCSVで保存するプログラムを作っています。
しかし、通信料の多い時間では秒間150件程度の受信があり、PCの処理が追い付かずエラーになり、止まってしまうといった現象に悩んでいます。タスクマネージャーを見ると、最大でCPUの使用量が70%以上となることがあり、半分以上を「Windows search indexer」
が占めていました。
実際タイムを計ると半分近くがdataframeからto_csvし保存することに使用されており、試しにto_csvで保存する箇所を消してみたとろ、
まったくエラーになることはありませんでした。

実現したいこと

最終的には一つのスレッドでwebsocketからデータの受信を行い、もう一つのスレッドでデータを時系列として分析・処理して
リアルタイムにリスポンスを行うことを目標としています。
そのためにはcsvでデータをやり取りすることにはこだわっておらず、
①リアルタイムデータを分析して処理するスレッドにデータを渡すことができ
②受信データを最後に保存する
ことができればよいと考えています

該当のソースコード

python

1 2 3df = pd.DataFrame(columns=[time,itemName,volume,price] 4 5def on_message(ws, message): 6 print('--- RECV MSG. --- ') 7 content = json.loads(message) 8 time = content['time'] 9 itemName = content['itemNum'] 10 volume = content["volume"] 11 price = content["price"] 12 df.loc[1]=[ time,itemName,volume,price] 13  df.to_csv('~~~~.csv') 14 15def on_error(ws, error): 16 print('--- ERROR --- ') 17 print(error) 18 19def on_close(ws): 20 print('--- DISCONNECTED --- ') 21 22def on_open(ws): 23 print('--- CONNECTED --- ') 24 def run(*args): 25 while(True): 26 line = sys.stdin.readline() 27 if line != '': 28 print('closing...') 29 ws.close() 30 31 _thread.start_new_thread(run, ()) 32 33url = '~~~~' 34 35ws = websocket.WebSocketApp(url, 36 on_message = on_message, 37 on_error = on_error, 38 on_close = on_close) 39ws.on_open = on_open 40ws.run_forever()

試したこと

on messageで毎回csvに保存するのではなく,
dataframeにいれるだけにして、最後にまとめてCSVに入れられないかと思ったのですが、
最後にWebsocketに渡しているため、方法がわからずつまずいてしまいました。

どうぞよろしくお願いいたします。

気になる質問をクリップする

クリップした質問は、後からいつでもMYページで確認できます。

またクリップした質問に回答があった際、通知やメールを受け取ることができます。

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

Kosuke1208

2022/08/09 21:46 編集

ご回答ありがとうございます。 ご教授いただいたGoogle検索の最初のページの方法を試してみました。 結果として、Windows Serchの負荷をなくすことができました(なぜか、以前の記録から半減ではなくCPUの使用率が、計算上の35%でなく、20%減ほどにとどまっていることは不思議ですが、、)。 どうもありがとうございました!
guest

回答1

0

ベストアンサー

もし,「Windows search indexer」がタスクの大部分を占めることが原因なら,
プログラムを変更するより先に
「Windows Searchがバックグラウンドで作成しているインデックス作成を無効化する」
事を試してみてはいかがでしょうか。

方針としては2通りあって,

  • Windows Searchサービス全体を停止する
  • 一時CSVファイルを作成するフォルダではファイルのインデックスを作成しないように設定を変更する

というものです。

「windows インデックス 無効」でGoogle検索した結果 からお好きなサイトを参照して設定変更を試してみてはどうでしょうか?

投稿2022/08/07 04:12

ujimushi_sradjp

総合スコア2083

バッドをするには、ログインかつ

こちらの条件を満たす必要があります。

あなたの回答

tips

太字

斜体

打ち消し線

見出し

引用テキストの挿入

コードの挿入

リンクの挿入

リストの挿入

番号リストの挿入

表の挿入

水平線の挿入

プレビュー

15分調べてもわからないことは
teratailで質問しよう!

ただいまの回答率
85.49%

質問をまとめることで
思考を整理して素早く解決

テンプレート機能で
簡単に質問をまとめる

質問する

関連した質問