色ヒストグラム

画像処理と写真撮影において、色ヒストグラムは画像内の色の分布を表すものです。デジタル画像の場合、色ヒストグラムは画像の色空間（すべての可能な色の集合）にわたる固定された色範囲のリストの各色を持つピクセルの数を表します。

色ヒストグラムはあらゆる種類の色空間で作成できますが、この用語はRGBやHSVなどの3次元空間で使用されることが多いです。単色画像の場合は、代わりに強度ヒストグラムという用語が使用されることがあります。各ピクセルが任意の数の測定値（例えば、RGBの3つの測定値を超える）で表されるマルチスペクトル画像の場合、色ヒストグラムはN次元です（Nは測定された測定値の数です）。各測定値には光スペクトルの独自の波長範囲があり、その一部は可視スペクトルの外側にある場合があります。

色値の集合が十分に小さい場合、それぞれの色は単独で範囲に配置される可能性があり、その場合ヒストグラムは、それぞれの色を持つピクセルの数を表すものになります。多くの場合、空間は適切な数の範囲に分割され、規則的なグリッドとして配置され、各範囲には多くの類似した色値が含まれます。色ヒストグラムは、色空間上で定義された滑らかな関数として表現され、ピクセル数を近似して表示することもできます。

他の種類のヒストグラムと同様に、カラーヒストグラムは、基礎となるカラー値の連続分布の近似値として表示できる統計です。

概要

色ヒストグラムは、 RGB、RGB色度、またはその他の任意の次元の色空間など、さまざまな色空間の画像から構築できる柔軟な構造です。画像のヒストグラムは、まず画像内の色を複数のビンに離散化し、各ビンの画像ピクセル数を数えることによって作成されます。たとえば、赤青色度ヒストグラムは、まずRGB値をR+G+Bで割って色ピクセル値を正規化し、次に正規化されたRとBの座標をそれぞれN個のビンに量子化することで作成できます。4つのビン（N =4）に分割された赤青色度の2次元ヒストグラムは、次の表のようなヒストグラムになる可能性があります

		赤
		0～63	64～127	128～191	192～255
青	0～63	43	78	18	0
	64～127	45	67	33	2
	128～191	127	58	25	8
	192～255	140	47	47	13

ヒストグラムはN次元にすることができます。表示は難しくなりますが、上記の例の3次元カラーヒストグラムは、4つの独立した赤と青のヒストグラムと考えることができます。4つのヒストグラムのそれぞれには、緑のビン（0～63、64～127、128～191、192～255）の赤と青の値が含まれています。

ヒストグラムは、画像内のデータの分布を簡潔にまとめたものです。画像の色ヒストグラムは、視野軸を中心とした並進および回転に対して比較的不変であり、視野角による変化も緩やかです。^[1] 2枚の画像のヒストグラムシグネチャを比較し、一方の画像の色内容をもう一方の画像と照合することで、色ヒストグラムは、シーン内における位置と回転が不明な物体を認識する問題に特に適しています。重要なのは、RGB画像を照明不変のrg-色度空間に変換することで、ヒストグラムがさまざまな光量レベルでも適切に機能することです。

1. ヒストグラムとは何ですか?

ヒストグラムは、画像内のピクセル数をグラフで表したものです。簡単に説明すると、ヒストグラムは棒グラフで、X軸はトーンスケール（左が黒、右が白）を表し、Y軸はトーンスケールの特定の領域における画像内のピクセル数を表します。例えば、輝度ヒストグラムのグラフは、各輝度レベル（黒から白まで）のピクセル数を示しており、ピクセル数が多いほど、特定の輝度レベルにおけるピークが高くなります。

2. カラーヒストグラムとは何ですか?

画像の色ヒストグラムは、画像内の色の構成分布を表します。画像に現れる様々な色の種類と、それぞれの色の種類に含まれるピクセル数を示します。色ヒストグラムと輝度ヒストグラムの関係は、色ヒストグラムは「3つの輝度ヒストグラム」として表現することもでき、それぞれの輝度ヒストグラムは赤、緑、青の各色チャンネルの輝度分布を示します。

色ヒストグラムの特徴

色ヒストグラムは、色の空間的な位置に関係なく、異なる種類の色の数の割合のみに焦点を当てています。色ヒストグラムの値は統計から得られます。色ヒストグラムは、色の統計的な分布と画像の本質的な色調を示します。

一般に、画像の前景と背景の色の分布は異なるため、ヒストグラムには二峰性の分布が見られる場合があります。

輝度ヒストグラムだけを見ると完璧なヒストグラムというものは存在せず、一般的にヒストグラムを見れば露出オーバーかどうかは分かりますが、ヒストグラムだけ見ると画像が露出オーバーだと思っても、実際にはそうではない場合があります。

色ヒストグラムの形成原理

カラーヒストグラムの作成は比較的簡単です。上記の定義から、3つのRGBチャンネルそれぞれについて、256スケールごとにピクセル数を数え、3つの個別の棒グラフにプロットするだけで済みます。

一般的に、色ヒストグラムはRGBやHSVなどの特定の色空間に基づいています。画像内の異なる色のピクセルを計算する際、色空間が広い場合は、まず色空間をいくつかの小さな区間に分割します。それぞれの区間はビンと呼ばれます。このプロセスは色量子化と呼ばれます。そして、各ビンのピクセル数を数えることで、画像の色ヒストグラムが得られます。

原則の具体的な手順は例 1 で確認できます。

例

例1

次の猫の画像（元の画像と、ヒストグラムを分かりやすくするために256色に減色された画像）を考えると、次のデータは4つのビンを使用してRGB色空間の色ヒストグラムを表しています

ビン0は強度0～63に対応する

ビン1は64～127

ビン2は128～191、ビン3は192～255です。

赤	緑	青	ピクセル数
ビン0	ビン0	ビン0	7414
ビン0	ビン0	ビン1	230
ビン0	ビン0	ビン2	0
ビン0	ビン0	ビン3	0
ビン0	ビン1	ビン0	8
ビン0	ビン1	ビン1	372
ビン0	ビン1	ビン2	88
ビン0	ビン1	ビン3	0
ビン0	ビン2	ビン0	0
ビン0	ビン2	ビン1	0
ビン0	ビン2	ビン2	10
ビン0	ビン2	ビン3	1
ビン0	ビン3	ビン0	0
ビン0	ビン3	ビン1	0
ビン0	ビン3	ビン2	0
ビン0	ビン3	ビン3	0
ビン1	ビン0	ビン0	891
ビン1	ビン0	ビン1	13
ビン1	ビン0	ビン2	0
ビン1	ビン0	ビン3	0
ビン1	ビン1	ビン0	592
ビン1	ビン1	ビン1	3462
ビン1	ビン1	ビン2	355
ビン1	ビン1	ビン3	0
ビン1	ビン2	ビン0	0
ビン1	ビン2	ビン1	101
ビン1	ビン2	ビン2	882
ビン1	ビン2	ビン3	16
ビン1	ビン3	ビン0	0
ビン1	ビン3	ビン1	0
ビン1	ビン3	ビン2	0
ビン1	ビン3	ビン3	0
ビン2	ビン0	ビン0	1146
ビン2	ビン0	ビン1	0
ビン2	ビン0	ビン2	0
ビン2	ビン0	ビン3	0
ビン2	ビン1	ビン0	2552
ビン2	ビン1	ビン1	9040
ビン2	ビン1	ビン2	47
ビン2	ビン1	ビン3	0
ビン2	ビン2	ビン0	0
ビン2	ビン2	ビン1	8808
ビン2	ビン2	ビン2	53110
ビン2	ビン2	ビン3	11053
ビン2	ビン3	ビン0	0
ビン2	ビン3	ビン1	0
ビン2	ビン3	ビン2	170
ビン2	ビン3	ビン3	17533
ビン3	ビン0	ビン0	11
ビン3	ビン0	ビン1	0
ビン3	ビン0	ビン2	0
ビン3	ビン0	ビン3	0
ビン3	ビン1	ビン0	856
ビン3	ビン1	ビン1	1376
ビン3	ビン1	ビン2	0
ビン3	ビン1	ビン3	0
ビン3	ビン2	ビン0	0
ビン3	ビン2	ビン1	3650
ビン3	ビン2	ビン2	6260
ビン3	ビン2	ビン3	109
ビン3	ビン3	ビン0	0
ビン3	ビン3	ビン1	0
ビン3	ビン3	ビン2	3415
ビン3	ビン3	ビン3	53929

例2

カメラでの応用：

最近では、写真を撮るときに3色のヒストグラムを表示する機能を備えたカメラもあります

3つのRGBカラーヒストグラムそれぞれにおいて、クリップ（スケールの黒側または白側のスパイク）を調べることができます。3つのRGBチャンネルのいずれかに1つ以上のクリッピングが見つかった場合、その色のディテールが失われていることになります。

これを説明するために、次の例を考えてみましょう。

R、G、Bの3つのチャンネルはそれぞれ0から255（8ビット）までの値を持つことが分かっています。そこで、輝度範囲が0から255の写真を考えてみましょう。
撮影した写真が互いに隣接する 4 つのブロックで構成されており、元の写真の 4 つのブロックそれぞれの輝度スケールを 10、100、205、245 に設定するとします。したがって、画像は右端の図のようになります。
次に、写真を少し露出オーバーにして、例えば各ブロックの輝度スケールを10ずつ上げます。すると、新しい写真の4つのブロックの輝度スケールはそれぞれ20、110、215、255になります。すると、画像は右から2番目の図のようになります。2つの図に大きな違いはなく、画像全体が明るくなっていることだけが分かります（各ブロックのコントラストは同じままです）。
さて、元の写真を再び露出オーバーにします。今回は各ブロックの輝度スケールを50ずつ増加させます。つまり、新しい写真の4つのブロックそれぞれの輝度スケールは、60、150、255、255になります。新しい画像は右から3番目の図のようになります。最後のブロックのスケールが295ではなく255になっていることに注意してください。255は上限のスケールであるため、最後のブロックがクリップされているからです。この結果、最後の2つのブロックのコントラストが失われ、どのような調整を行っても画像を復元できなくなります。

結論として、ヒストグラムを表示するカメラで写真を撮るときは、細部が失われないように、画像内の最も明るいトーンを常にヒストグラムの最大スケール 255 未満に保つようにしてください。

欠点と他のアプローチ

分類におけるヒストグラムの主な欠点は、表現が対象物体の色に依存し、形状やテクスチャが考慮されないことです。異なる物体内容を持つ2枚の画像で、偶然色情報を共有している場合、色ヒストグラムは同一になる可能性があります。逆に、空間情報や形状情報がなければ、色ヒストグラムの比較だけでは、類似した物体であっても色が異なる場合、区別がつかない可能性があります。赤と白のカップと赤と白の皿を区別することはできません。言い換えれば、ヒストグラムベースのアルゴリズムには一般的な「カップ」という概念がなく、赤と白のカップのモデルは、それ以外は同一の青と白のカップが与えられた場合には役に立ちません。もう一つの問題は、色ヒストグラムが照明強度の変化や量子化誤差などのノイズ干渉に対して非常に敏感であることです。高次元（ビン）の色ヒストグラムもまた、別の問題です。色ヒストグラムの特徴空間の中には、100次元を超えるものも少なくありません。^[2]

提案されている解決策としては、色ヒストグラム交差、色定数インデックス、累積色ヒストグラム、二次距離、色相関図などがあります。インデックス作成や分類にヒストグラムを使用することには欠点もありますが、リアルタイムシステムで色を使用することにはいくつかの利点があります。その一つは、色情報は他の不変量と比較して計算が高速であることです。いくつかの事例では、色は位置と外観が既知の物体を識別するための効率的な方法となり得ることが示されています。

カラーヒストグラムデータと画像内の物体の物理的特性との関係についてのさらなる研究では、物体の色と照明だけでなく、表面粗さや画像の形状にも関連し、照明と物体の色の推定精度が向上することが示されています。^[3]

通常、画像の類似度評価の計算には、ユークリッド距離、ヒストグラム交差、コサイン距離、または二次距離が使用されます。^[4]これらの値はいずれも、それ自体では2つの画像の類似度を反映するものではなく、他の類似値と比較する場合にのみ有用です。これが、コンテンツベース画像検索の実用的な実装において、データベース内のすべての画像について計算を完了する必要がある理由であり、これらの実装の主な欠点となっています。

代表的なカラー画像コンテンツに対するもう 1 つのアプローチは、2 次元カラーヒストグラムです。2 次元カラーヒストグラムは、ピクセルペアの色 (照明コンポーネントだけでなく) 間の関係を考慮します。^[5] 2 次元カラーヒストグラムは 2 次元配列です。各次元のサイズは、色量子化の段階で使用された色の数です。これらの配列は行列として扱われ、各要素にはピクセルペアの正規化された数が格納され、各色は各ピクセル近傍の要素のインデックスに対応します。2 次元カラーヒストグラムの比較では、上記のように構築されたランダムベクトル(つまり、多次元ランダム値) であるため、相関を計算することが推奨されます。最終的な画像セットを作成するときは、相関係数の降順で画像を並べる必要があります。

相関係数は色ヒストグラムの比較にも使用できます。相関係数を用いた検索結果は、他の指標を用いた場合よりも優れています。^[6]

連続データの強度ヒストグラム

強度ヒストグラムの考え方は、実関数で表される音声信号や 2 次元ドメインを持つ関数で表される画像などの連続データに一般化できます。

（ルベーグ空間を参照）とすると、累積ヒストグラム演算子は次のように定義されます。は集合のルベーグ測度です。は実関数です。（非累積）ヒストグラムは、その導関数として定義されます。 $f\in L^{1}(\mathbb {R}^{n})$ $H$ $H(f)(y)=\mu \{x:f(x)\leq y\}.$ $\mu$ $H(f)$ $h(f)=H(f)'$

参考文献

^ シャピロ、リンダ・G.、ストックマン、ジョージ・C.「コンピュータビジョン」プレンティス・ホール、2003年ISBN 0-13-030796-3
^ シャンヤン・ワン、ジュンフェン・ウー、ホンイン・ヤン「局所特徴領域の色ヒストグラムに基づくロバスト画像検索」シュプリンガー・オランダ、2009年 ISSN 1573-7721
^ 色ヒストグラムの解剖学; Novak, CL; Shafer, SA; Computer Vision and Pattern Recognition, 1992. Proceedings CVPR '92., 1992 IEEE Computer Society Conference on 15–18 June 1992 Page(s):599–605 doi :10.1109/CVPR.1992.223129
^ 統合空間および特徴画像システム：検索、分析、圧縮、スミス、JR、コロンビア大学大学院、1997年
^ 2Dカラーヒストグラムによる画像検索の有効性評価; Bashkov, EA; Kostyukova, NS; Journal of Automation and Information Sciences, 2006 (6) Page(s): 84–89
^ 色ヒストグラム相関を用いたコンテンツベース画像検索; Bashkov, EA; Shozda, NS; Graphicon Proceedings, 2002 ページ: [1] 2012年7月7日Wayback Machineにアーカイブ

外部リンク

3Dカラーインスペクター/カラーヒストグラム（Kai Uwe Barthel作）（無料Javaアプレット）
スタンフォード大学の画像ベース検索に関する学生プロジェクト - 方程式とアプリケーションのより詳細な考察
カラーヒストグラムとカラークラウドをプロットするためのMATLAB/Octaveコード - ソースコードは他の言語に移植できます

[1] シャピロ、リンダ・G.、ストックマン、ジョージ・C.「コンピュータビジョン」プレンティス・ホール、2003年ISBN 0-13-030796-3

[2] シャンヤン・ワン、ジュンフェン・ウー、ホンイン・ヤン「局所特徴領域の色ヒストグラムに基づくロバスト画像検索」シュプリンガー・オランダ、2009年 ISSN 1573-7721

[3] 色ヒストグラムの解剖学; Novak, CL; Shafer, SA; Computer Vision and Pattern Recognition, 1992. Proceedings CVPR '92., 1992 IEEE Computer Society Conference on 15–18 June 1992 Page(s):599–605 doi :10.1109/CVPR.1992.223129

[4] 統合空間および特徴画像システム：検索、分析、圧縮、スミス、JR、コロンビア大学大学院、1997年

[5] 2Dカラーヒストグラムによる画像検索の有効性評価; Bashkov, EA; Kostyukova, NS; Journal of Automation and Information Sciences, 2006 (6) Page(s): 84–89

[6] 色ヒストグラム相関を用いたコンテンツベース画像検索; Bashkov, EA; Shozda, NS; Graphicon Proceedings, 2002 ページ: [1] 2012年7月7日Wayback Machineにアーカイブ