顏色特征是人類感知和區分不同物體的一種基本視覺特征，是一種全局特征，描述了圖像或圖像區域所對應的景物的表面性質。顏色特征對于圖像的旋轉、平移、尺度變化都不敏感，表現出較強的魯棒性。顏色模型主要有HSV、RGB、HSI、CHL、LAB、CMY等。常用的特征提取與匹配方法有：

顏色直方圖(color histogram)是最常用的表達顏色特征的方法，它能簡單描述一幅圖像中顏色的全局分布，即不同色彩在整幅圖像中所占的比例，特別適用于描述那些難以自動分割的圖像和不需要考慮物體空間位置的圖像，且計算簡單，對圖像中的對象的平移和旋轉變化不敏感；但它無法描述圖像中顏色的局部分布及每種色彩所處的空間位置。

當顏色特征并不能取遍所有取值時，在統計顏色直方圖時會出現一些零值，這些零值對計算直方圖的相交帶來很大影響，使得計算的結果不能正確反映兩幅圖像之間的顏色差別。為解決上述問題，可利用累積直方圖法。

顏色直方圖法是一種全局顏色特征提取與匹配方法，無法區分局部顏色信息。顏色集是對顏色直方圖的一種近似，首先將圖像從RGB顏色空間轉化成視覺均衡的顏色空間(如HSV空間)，并將顏色空間量化成若干個柄(bin)。然后，用色彩自動分割技術將圖像分為若干區域，每個區域用量化顏色空間的某個顏色分量來索引，從而將圖像表達為一個二進制的顏色索引集。在圖像匹配中，比較不同圖像顏色集之間的距離和色彩區域的空間關系。因為顏色集表達為二進制的特征向量，可經構造二分查找樹來加快檢索速度，這對于大規模的圖像集合十分有利。

顏色矩(color moments)是另一種簡單而有效的顏色特征提取與匹配方法。該方法的數學基礎在于：圖像中任何的顏色分布均可以用它的矩來表示。由于顏色分布信息主要集中在低階顏色矩中，因此僅采用顏色的一階中心矩、二階中心矩和三階中心矩就可以表達圖像的顏色特征，它們分別表示圖像的平均顏色、標準方差和三次根非對稱性。該方法的另一個優點是它無需對顏色特征進行向量化。但因為沒有考慮像素的空間位置，該方法仍存在精確度和準確度不足的缺點。

其核心思想是：將屬于直方圖每一個柄的像素分成兩部分，如果該柄內的某些像素所占據的連續區域的面積大于給定的閾值，則該區域內的像素作為聚合像素，否則作為非聚合像素。

在目前圖像處理的硬件條件下，直接對彩色圖像的處理與分析是復雜而又耗時的，因此對彩色圖像的處理通常都是先轉化為灰度圖像，然后再按照灰度圖像處理方法進行處理。