csv.DictReaderからJsonファイル化後に出来るNone:部分を削除したいです。

Question

CSVファイルをJson化し、Google BigQueryにストリーミングでデータを入れる際に、一部Nullデータが原因でうまくデータが入らないので、こちらを排除したいです。
Null部分の排除の方法を教えて頂けないでしょうか？
下のコードでは今扱っているデータ（列数３０）より少ない列数１０ほどの物でストリーミングでデータを挿入を確認できています。
また、Jsonに対する知識不足で大変申し訳ないのですが、他のデータはキーと値が対になっているようなのですが、なぜ最後にNull：というデータ群ができてしまっているのでしょうか??

エラー文
挿入先にNullというフィールドはないよと出ております。

print(json_rows)
↓

def stream_data():
    # BigQuery
    client = bigquery.Client()
    project_id = 'test_project'
    dataset_name = 'test'
    table_name = "test"
    full_table_name = dataset_name + '.' + table_name
  
    json_rows = [] 
    with open('./test.csv','r') as f:
        for line in csv.DictReader(f,skipinitialspace=False,quoting=csv.QUOTE_NONE):
            line_json = dict(line)
            json_rows.append(line_json)

    errors = client.insert_rows_json(
        full_table_name,json_rows,row_ids=[row['luid'] for row in json_rows]
    )　//特定カラムの重複データ排除

    if errors == []:
        print("New rows have been added.")
    else:
        print("Encountered errors while inserting rows: {}".format(errors))
    
    print("end")

schedule.every(0.5).seconds.do(stream_data)

while True:
    schedule.run_pending()
    time.sleep(0.1)

Answer 1

下記のようにフィールドの数よりもデータの数の方が多くなっていることが考えられます。
test.csv

a, b, c
11,12,13,14
21,22,23,24
31,32,33,34
41,42,43,44,1,2020-12-31,,,,1,2020-12-31

test.py

import csv 
with open('./test.csv', 'r') as f:
    for line in csv.DictReader(f):
        print(line)

出力結果

{'a': '11', 'b': '12', 'c': '13', None: ['14']}
{'a': '21', 'b': '22', 'c': '23', None: ['24']}
{'a': '31', 'b': '32', 'c': '33', None: ['34']}
{'a': '41', 'b': '42', 'c': '43', None: ['44', '1', '2020-12-31', '', '', '', '1', '2020-12-31']}

省略されたフィールドはデフォルトでNoneになります。
省略されているフィールドをNone以外にするには、restkeyに適当な文字列等を指定します。
https://docs.python.org/ja/3/library/csv.html#csv.DictReader

    for line in csv.DictReader(f, restkey="Field_1"):
        print(line)

Comments

[amaturePy]

ありがとうございます！
参考にさせて頂きます！

Answer 2

del関数でNoneを削除することで解決いたしました。
コードはいかになります。

with open('./test.csv','r') as f:
        for line in csv.DictReader(f):
            del line[None]
            line_json = dict(line)
            json_rows.append(line_json)