deeplabで量子化すると精度が激しく落ちる

こちらで書かれているやり方を試しています。
https://github.com/tensorflow/models/blob/master/research/deeplab/g3doc/quantize.md#quantization-aware-training

300Kくらい学習させ、ある程度精度のある学習データに以下の訓練を追加しました。エラーなく終了して検出も一応できるようになったのですが、生成されたtfliteで検出してみると量子化前の半分以下の検出精度になってしまいます。

追加学習
!python train.py \ --logtostderr \ --training_number_of_steps=$RETRAIN_STEPS \ --train_split="train" \ --model_variant="mobilenet_v2" \ --output_stride=16 \ --train_crop_size="513,513" \ --train_batch_size=2 \ --dataset_dir=$TFRECORD_PATH \ --dataset="pascal_voc_seg" \ --base_learning_rate=3e-5 \ --initialize_last_layer \ --quantize_delay_step=0 \ --tf_initial_checkpoint=$CKPT_PATH \ --train_logdir=$QUANT_TRAIN_DIR_PATH \ --label_weights=1 \ --label_weights=2 \ --label_weights=0 \ --label_weights=0 \ --label_weights=0 \ --label_weights=0 \ --label_weights=0 \ --label_weights=0 \ --label_weights=0 \ --label_weights=0 \ --label_weights=0 \ --label_weights=0 \ --label_weights=0 \ --label_weights=0 \ --label_weights=0 \ --label_weights=0 \ --label_weights=0 \ --label_weights=0 \ --label_weights=0 \ --label_weights=0 \ --label_weights=0

label_weightsフラグは事前の訓練時に入れていたので引き続き入れていますが、あまり精度には影響ないようです。

step数は2Kから20Kぐらいまで段階的に試しましたが、どれも追加訓練前のような精度は出ませんでした。ちなみに、10Kを超えたあたりから検出自体ほぼされなくなります。

Loss率は最終的には 0.16~0.17 あたりまで落ちます。

上記レポジトリに書いてるとおりにやってるつもりなのですが、この段階で何か読み違えているのでしょうか？

以下tfliteに変換までのやり方です。

pbへの変換
!python export_model.py \ --checkpoint_path=$QUANT_TRAIN_FILE \ --quantize_delay_step=0 \ --export_path=$PB_EXPORT_PATH

tfliteへの変換
!tflite_convert \ --graph_def_file=$PB_EXPORT_PATH \ --output_file=$TFLITE_EXPORT_PATH \ --output_format=TFLITE \ --input_shape=1,513,513,3 \ --input_arrays="MobilenetV2/MobilenetV2/input" \ --inference_type=QUANTIZED_UINT8 \ --inference_input_type=QUANTIZED_UINT8 \ --std_dev_values=128 \ --mean_values=128 \ --change_concat_input_ranges=true \ --output_arrays="ArgMax"

よろしくお願いします！