300kb程度の大量のcsvを高速に読み込みたい。

前提・実現したいこと

大量(3,574個程度)のcsvファイルを高速に読み込みたいです。
Pythonの勉強も兼ねて,現在過去10年程度の期間において、自分の作った株取引ルールが機能するかを検証するためのプログラムを作成中です。そのためにcsvで保存されたデータをなるべく早く読み込みたいです。

現在は xarrayを用いて3次元データとして扱おうとしておりますがより高速な方法がありましたら教えていただけたら幸いです。

使用しているデータは株価データ集 for 日本株時系列データ 2000年-2017年6月30日です。

発生している問題・エラーメッセージ

Ipythonで%time , %run -p で動作時間を計測した結果 
570秒～1500秒もの時間がかかっており,xarray.concat()だけで40秒程度かかっております。

一例

8383269 function calls (8141048 primitive calls) in 905.298 seconds
   Ordered by: internal time
   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
       25  384.667   15.387  384.667   15.387 {built-in method numpy.core.multiarray.concatenate}
        1  244.721  244.721  711.806  711.806 combine.py:286(_dataarray_concat)
       24  130.215    5.426  130.215    5.426 {method 'acquire' of '_thread.lock' objects}
        1   55.747   55.747  904.727  904.727 read_data.py:3(<module>)
        1   13.966   13.966   13.966   13.966 {built-in method pandas._libs.lib.infer_datetimelike_array}
     3960    7.479    0.002    8.485    0.002 indexing.py:480(__setitem__)
    11878    6.137    0.001    6.137    0.001 {built-in method pandas._libs.lib.array_equivalent_object}

該当のソースコード

import os
import numpy as np
import xarray as xr
import pandas as pd
from multiprocessing import Pool
import numba

_path = os.path.abspath(os.path.dirname(__file__)) + '/st-jp-2000-2017.6/dd_full'
_ref = pd.read_csv(os.path.abspath(os.path.dirname(__file__)) + '/st-jp-2000-2017.6/dd/1301.CSV',
                   index_col=0, parse_dates=True,
                   names=["Open", "High", "Low", "Close", "Volume", "margin selling", "margin debt"])


@numba.jit
def in_parallel():
    global _path
    files = os.listdir(_path)
    p = Pool()
    stock_db = (p.map(csv_to_xarray, files))
    p.close()
    p.join()
    print("loading complete")
    return stock_db


def in_serial():
    global _path
    files = os.listdir(_path)
    stock_db = [csv_to_xarray(file) for file in files]
    print("loading complete")
    return stock_db


@numba.jit
def csv_to_xarray(file):
    """
    :type file: str
    :rtype: DataArray
    """
    global _ref
    global _path
    data = pd.read_csv(_path + '/' + file, index_col=0, parse_dates=True,
                       names=["Open", "High", "Low", "Close", "Volume", "margin selling", "margin debt"])

    data = adjust_index_length(data, _ref)

    da = xr.DataArray(data.values.reshape(len(data.index), 1, len(data.columns)),
                      coords=[data.index, [file[0:4]],
                              ["Open", "High", "Low", "Close", "Volume", "margin selling", "margin debt"]],
                      dims=["date", "code", "values"])
    return da


@numba.jit
def adjust_index_length(data, ref):
    """
    :type ref: DataFrame
    :type data: DataFrame
    :rtype: DataFrame
    """
    time_diff = set(ref.index) - set(data.index)
    if len(time_diff) == 0:
        data.drop(set(data.index) - set(ref.index), inplace=True)
        return data.sort_index()

    else:
        df = pd.DataFrame(index=time_diff, columns=["Open", "High", "Low", "Close", "Volume",
                                                                       "margin selling", "margin debt"])
        df = df.append(data)
        return df.sort_index()


if __name__ == '__main__':  # ここで この処理を行わないとサブプロセスが再帰的に生成される?(Winだけ?)
    __spec__ = "ModuleSpec(name='builtins', loader=<class '_frozen_importlib.BuiltinImporter'>)"

    print(xr.concat(in_parallel(), dim='code'))
    #print(xr.concat(in_serial(), dim='code'))

試したこと

multiprocessingを用いて並列に走らせてみて,ディスク使用率は常時100%になっていることを確認しました。また,numbaの使用を検討中であります。
そもそもpythonだけですべて行わず,元データの選別等をC等で行うことも検討しております。

補足情報(言語/FW/ツール等のバージョンなど)

現在の動作環境は以下の通りです。
core i3-6100T 3.2GHz
Ram ddr3 8GB

Windows 10
Anaconda
Python 3.6

今後 core i7 ないし Ryzen 7を積んだpcに乗り換える予定があります。