pythonでthread処理を走らせたい

Question

大量のmap型が格納されているitems(リスト)を
parseしてdynamodb(データベース)に書き込みたいです。

実装してみましたが、いまいち性能効果が見られません。
どのように改善すべきでしょうか？
(そもそもマルチスレッドがうまく実装できているのかもわかりません)

"""This is sample program."""
import logging
import boto3
from concurrent.futures import ThreadPoolExecutor

LOGGER = logging.getLogger()
LOGGER.setLevel(logging.INFO)
DYNAMO = boto3.resource('dynamodb')

def lambda_handler():

    items = [
        {
            'user_name': 'user1',
            'blog': 'blog1',
            'count': '111',
        },
        {
            'user_name': 'user2',
            'blog': 'blog2',
            'count': '112',
        },
        {
            'user_name': 'user3',
            'blog': 'blog3',
            'count': '113',
        }            
    ]
    """
    DynamoDB put item
    """
    try:
        table_name = "test-batch"

        # put items (use Batch Writing)
        table = DYNAMO.Table(table_name)
        
        process_list = [] 
        with ThreadPoolExecutor() as executor: 
            with table.batch_writer(overwrite_by_pkeys=['user_name', 'blog']) as batch:
                for item in items:
                    process_list.append(executor.submit(batch.put_item(Item=item)))
                for process in process_list:
                    print(process.result())
        return "end"
    except Exception as error:
        LOGGER.error(error)
        raise error

if __name__ == "__main__":
    lambda_handler()

for i in range(3):みたいに
配下の関数を3回実行するような処理の場合の
並列処理はイメージできますが、リンク内容
上記の1つのitems に対して1000以上オブジェクトがぶらついているときに
どのように分割して処理させるものでしょうか？

Answer 1

マルチスレッドなどの並列処理を行って性能が上がるかどうかは、コーディング以前に、そのアプリケーションの性質によります。
チューニングをするのならば、性能測定ツールを使ってどこで待たされているのかをチェックするべきです。

ただ、一般的には、データベース関連のアプリケーションはデータベースアクセスがボトルネックになって、多くの場合は並列化しても性能が上がりません。なぜならば、CPU内の計算処理や主記憶のメモリアクセスに比べて、ハードディスクやSSDなどのストレージは遅い上に、データベースの整合性維持のための排他制御が行われるのでさらに遅いためです。

Comments

[pokemonta]

table.batch_writerで配列分DB書き込みしている部分で時間がかかっています。
(全体の95%以上を占める。)
この書き込み処理部分を並列化したいです。