画像にどんな色が使われているのかの調査

Question

###実現したいこと
入力された画像をk-means法で減色し画像に使われている色を抽出したいです。
例えば下の画像なら(48, 153, 233), (65, 192, 134), (114, 98, 218), (192, 188, 65)を出力したいです。

###発生している問題
入力する画像が上の画像なら正常に動作するのですが画像によってはエラーが発生してしまいます。

該当のソースコード

import numpy as np
import cv2
from matplotlib import pyplot as plt

img = cv2.imread('tree.jpg')

# マスキングして白の背景を取り除く
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
threshold_value = 200
ret, threshold_img = cv2.threshold(gray, threshold_value, 255, cv2.THRESH_BINARY)
threshold_img = ~threshold_img
masked_img = cv2.cvtColor(threshold_img, cv2.COLOR_GRAY2BGR)
img = masked_img & img


# メディアンフィルタで端をなめらかにする。
threshold_img = cv2.medianBlur(threshold_img, 7)

# 輪郭抽出を実行する。
contours, hierarchy = cv2.findContours(
    threshold_img, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE
)

for cnt in contours:
  mask = np.zeros_like(img)
  cv2.drawContours(mask, [cnt], -1, color=(255, 255, 255), thickness=-1)
  masked = img & mask

  colors = masked.reshape(-1, 3)
  colors = colors[(colors != 0).all(axis=1)]

  k = 1
  criteria = cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 10, 1.0
  ret, label, center = cv2.kmeans(
      colors.astype(np.float32), k, None, criteria, 10, cv2.KMEANS_RANDOM_CENTERS
  )

  # 画像を表示する。
  ax1.imshow(cv2.cvtColor(masked, cv2.COLOR_BGR2RGB))
  ax1.set_axis_off()

  print("center", center)

#####使用画像

発生するエラー

center [[113.]]
---------------------------------------------------------------------------
error                                     Traceback (most recent call last)
<ipython-input-19-37cc64ede3fd> in <module>()
     34   criteria = cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 10, 1.0
     35   ret, label, center = cv2.kmeans(
---> 36       colors.astype(np.float32), k, None, criteria, 10, cv2.KMEANS_RANDOM_CENTERS
     37   )
     38 

error: OpenCV(4.1.2) /io/opencv/modules/core/src/kmeans.cpp:241: error: (-2:Unspecified error) in function 'double cv::kmeans(cv::InputArray, int, cv::InputOutputArray, cv::TermCriteria, int, int, cv::OutputArray)'
> Number of clusters should be more than number of elements (expected: 'N >= K'), where
>     'N' is 0
> must be greater than or equal to
>     'K' is 1

補足

Colaboratoryで特になにもカスタムなどせず上記を動かしています。
エラー以外でもここの処理はこうした方がいい、みたいのがあったら指摘してくださると嬉しいです。