tf-idf

情報検索において、TF-IDF（用語頻度-逆文書頻度、TF*IDF、TFIDF、TF-IDF、またはTf-idf ）は、コレクションまたはコーパス内の文書に対する単語の重要度の尺度であり、一部の単語は一般に頻繁に出現するという事実を考慮して調整されています。^{[ 1 ]} bag-of-wordsモデルと同様に、文書を語順のない単語の多重集合としてモデル化します。これは、単語の重みをコーパスの残りの部分に依存させることで、 単純なbag-of-wordsモデルを改良したものです。

tf-idfは情報検索、テキストマイニング、ユーザーモデリングの検索で重み付け係数としてよく使われていました。2015年に実施された調査では、デジタルライブラリのテキストベースのレコメンデーションシステムの83％がtf-idfを使用していました。 ^{[ 2 ]} tf-idf重み付けスキームのバリエーションは、ユーザークエリが与えられたドキュメントの関連性をスコアリングしてランク付けするための中心的なツールとして、検索エンジンでよく使われていました。応用検索エンジン最適化の実践では、 tf-idfはウェブページ内の用語の重要性を分析し、セマンティックSEOテクニックをサポートするための方法として説明されています。^{[ 3 ]}最も単純なランキング関数の1つは、各クエリ用語のtf-idfを合計することによって計算されます。より洗練された多くのランキング関数は、この単純なモデルの変形です。

動機

カレン・スパーク・ジョーンズ（1972）は、逆文書頻度（IDF）と呼ばれる用語の特殊性の統計的解釈を考案し、これは用語の重み付けの基礎となった。^{[ 4 ]}

用語の詳細度は、その用語が出現する文書の数の逆関数として定量化できます。

たとえば、シェイクスピアの 37 の戯曲におけるいくつかの単語の df (文書頻度) と idf は次のように表されます。

言葉	DF	国際連合
ロミオ	1	1.57
サラダ	2	1.27
ファルスタッフ	4	0.966
森	12	0.489
戦い	21	0.246
ウィット	34	0.037
バカ	36	0.012
良い	37	0
甘い	37	0

「ロミオ」「ファルスタッフ」「サラダ」はごく少数の劇にしか登場しないため、これらの単語を見ればどの劇か大体推測できます。一方、「good」と「sweet」はどの劇にも登場しますが、どの劇かは全く分かりません。

意味

1. tf-idfは、単語頻度と逆文書頻度という2つの統計量の積です。これらの統計量の正確な値を決定する方法はいくつかあります。
2. ドキュメントまたは Web ページ内のキーワードまたはフレーズの重要性を定義することを目的とした式。

語頻度（tf）重みのバリエーション

重み付け方式	tf重量
バイナリ	${\displaystyle {0,1}}$
生のカウント	${\displaystyle f_{t,d}}$
用語頻度	${\displaystyle f_{t,d}{\Bigg /}{\sum _{t'\in d}{f_{t',d}}}}$
対数正規化	${\displaystyle \log(1+f_{t,d})}$
二重正規化0.5	${\displaystyle 0.5+0.5\cdot {\frac {f_{t,d}}{\max _{\{t'\in d\}}{f_{t',d}}}}}$
二重正規化K	${\displaystyle K+(1-K){\frac {f_{t,d}}{\max _{\{t'\in d\}}{f_{t',d}}}}}$

用語頻度

用語頻度tf( t , d )は文書d内の用語tの相対頻度である。

${\displaystyle \mathrm {tf} (t,d)={\frac {f_{t,d}}{\sum _{t'\in d}{f_{t',d}}}}}$、

ここで、 f _{t , d}は文書中の用語の生の出現回数、すなわち文書dにおける用語tの出現回数です。分母は文書dにおける用語の総数（同じ用語の出現をそれぞれ個別にカウント）であることに注意してください。用語頻度を定義する方法は他にもいくつかあります。^{[ 5 ] : 128}

• 生のカウント自体: tf( t , d ) = f _{t , d}
• ブール値の「頻度」: t がdに出現する場合はtf( t , d ) = 1、それ以外の場合は 0。
• 対数スケールの頻度: tf( t , d ) = log(1 ₊ ft _{, d} ) ; ^{[ 6 ]}
• 長い文書への偏りを防ぐために、頻度を拡張します。たとえば、生の頻度を文書内で最も頻繁に出現する用語の生の頻度で割ります。

${\displaystyle \mathrm {tf} (t,d)=0.5+0.5\cdot {\frac {f_{t,d}}{\max\{f_{t',d}:t'\in d\}}}}$

逆文書頻度

逆文書頻度（IDF）重みのバリエーション

重み付け方式	IDF重量（） ${\displaystyle n_{t}=|\{d\in D:t\in d\}|}$
単項	1
逆文書頻度	${\displaystyle \log {\frac {N}{n_{t}}}=-\log {\frac {n_{t}}{N}}}$
逆文書頻度スムース	${\displaystyle \log \left({\frac {N}{1+n_{t}}}\right)+1}$
逆文書頻度最大値	${\displaystyle \log \left({\frac {\max _{\{t'\in d\}}n_{t'}}{1+n_{t}}}\right)}$
確率的逆文書頻度	${\displaystyle \log {\frac {N-n_{t}}{n_{t}}}}$

さまざまな逆ドキュメント頻度関数のプロット: 標準、平滑、確率。

逆文書頻度は、単語が提供する情報量、つまり全文書におけるその単語の一般的または稀な頻度を表す指標です。これは、その単語を含む文書の割合を対数で割ったものです（文書の総数をその単語を含む文書の数で割り、その商の対数をとることで得られます）。

${\displaystyle \mathrm {idf} (t,D)=\log {\frac {N}{n_{t}}}}$

と

• ${\displaystyle D}$: コーパス内のすべての文書の集合である
• ${\displaystyle N={|D|}}$: コーパス内の文書の総数
• ${\displaystyle n_{t}=|\{d\in D:t\in d\}|}$ : 用語が出現する文書の数（つまり）。用語がコーパスに存在しない場合、ゼロ除算が発生します。そのため、分子を、分母を に調整するのが一般的です。 ${\displaystyle t}$ ${\displaystyle \mathrm {tf} (t,d)\neq 0}$ ${\displaystyle 1+N}$ ${\displaystyle 1+|\{d\in D:t\in d\}|}$

用語頻度 - 逆文書頻度

用語頻度逆文書頻度（tf-idf）重みのバリエーション

重み付け方式	tf-idf
カウントIDF	${\displaystyle f_{t,d}\cdot \log {\frac {N}{n_{t}}}}$
二重正規化IDF	${\displaystyle \left(0.5+0.5{\frac {f_{t,q}}{\max _{t}f_{t,q}}}\right)\cdot \log {\frac {N}{n_{t}}}}$
対数正規化-IDF	${\displaystyle (1+\log f_{t,d})\cdot \log {\frac {N}{n_{t}}}}$

tf-idfは次のように計算されます。

${\displaystyle \mathrm {tfidf} (t,d,D)=\mathrm {tf} (t,d)\cdot \mathrm {idf} (t,D)}$

tf-idfにおける高い重みは、（特定の文書における）用語頻度が高く、文書全体におけるその用語の文書頻度が低い場合に達成されます。したがって、重みは共通する用語を除外する傾向があります。idfの対数関数内の比率は常に1以上であるため、idf（およびtf-idf）の値は0以上になります。用語がより多くの文書に出現するにつれて、対数内の比率は1に近づき、idfとtf-idfは0に近づきます。

idfの正当性

IDFは、1972年の論文でカレン・スパーク・ジョーンズによって「用語の特異性」として導入されました。ヒューリスティックとしては優れた成果を上げてきましたが、その理論的根拠はその後少なくとも30年間、多くの研究者が情報理論的根拠を探ろうとするなど、依然として問題となっていました。^{[ 7 ]}

シュペルク・ジョーンズ自身の説明は、ジップの法則との関連以外には、あまり理論的には提示されていない。^{[ 7 ]}与えられた文書dに用語tが含まれる確率を相対的な文書頻度として 推定することによって、IDFを確率論的な立場に置こうとする試みがなされてきた。 ^{[ 8 ]}

${\displaystyle P(t|D)={\frac {|\{d\in D:t\in d\}|}{N}},}$

idfを次のように定義できる。

${\displaystyle {\begin{aligned}\mathrm {idf} &=-\log P(t|D)\\&=\log {\frac {1}{P(t|D)}}\\&=\log {\frac {N}{|\{d\in D:t\in d\}|}}\end{aligned}}}$

つまり、逆文書頻度は、「逆」相対文書頻度の対数です。

この確率的解釈は、自己情報量の解釈と同じ形をとる。しかしながら、このような情報理論的概念を情報検索の問題に適用すると、必要な確率分布に適した事象空間を定義しようとするときに問題が生じる。文書だけでなく、クエリや用語も考慮する必要があるからである。^{[ 7 ]}

情報理論との関連

語頻度と逆文書頻度はどちらも情報理論に基づいて定式化することができ、文書の共同情報量の観点からそれらの積がなぜ意味を持つのかを理解するのに役立ちます。分布に関する特徴的な仮定は、以下のとおりです。 ${\displaystyle p(d,t)}$

${\displaystyle p(d|t)={\frac {1}{|\{d\in D:t\in d\}|}}}$

相澤によれば、この仮定とその意味は「TF-IDFが採用するヒューリスティックを表している」とのことである。^{[ 9 ]}

コーパス内の「ランダムに選択された」文書の条件付きエントロピーは、特定の用語が含まれているという条件付き（すべての文書が選択される確率が等しいと仮定）で、次のようになります。 ${\displaystyle D}$ ${\displaystyle t}$

${\displaystyle H({\cal {D}}|{\cal {T}}=t)=-\sum _{d}p_{d|t}\log p_{d|t}=-\log {\frac {1}{|\{d\in D:t\in d\}|}}=\log {\frac {|\{d\in D:t\in d\}|}{|D|}}+\log |D|=-\mathrm {idf} (t)+\log |D|}$

表記法では、と はそれぞれ文書または用語を表す「確率変数」です。相互情報量は次のように表すことができます 。 ${\displaystyle {\cal {D}}}$ ${\displaystyle {\cal {T}}}$

${\displaystyle M({\cal {T}};{\cal {D}})=H({\cal {D}})-H({\cal {D}}|{\cal {T}})=\sum _{t}p_{t}\cdot (H({\cal {D}})-H({\cal {D}}|W=t))=\sum _{t}p_{t}\cdot \mathrm {idf} (t)}$

最後のステップは、文書の（ランダムな）選択に関して、用語を抽出する無条件確率を展開して、次式を得ることです。 ${\displaystyle p_{t}}$

${\displaystyle M({\cal {T}};{\cal {D}})=\sum _{t,d}p_{t|d}\cdot p_{d}\cdot \mathrm {idf} (t)=\sum _{t,d}\mathrm {tf} (t,d)\cdot {\frac {1}{|D|}}\cdot \mathrm {idf} (t)={\frac {1}{|D|}}\sum _{t,d}\mathrm {tf} (t,d)\cdot \mathrm {idf} (t).}$

この式は、すべての可能な用語と文書のTf-idfを合計すると、それらの結合分布のすべての特殊性を考慮した文書と用語間の相互情報量が回復されることを示しています。^{[ 9 ]}したがって、各Tf-idfは用語x文書のペアに付随する「情報ビット」を保持しています。

統計理論との関連

TF-IDFは、基礎となるコーパス文書が特定の理想的な仮定を満たしている場合、フィッシャーの正確検定の片側定式化から得られる負の対数変換されたp値と密接に関連している。^{[ 10 ]}

tf-idfの例

2 つのドキュメントのみで構成されるコーパスの用語カウント テーブルがあるとします。

「これはサンプルAです。」

「これはまた別の例、また別の例、例です。」

文書1

学期	用語数
これ	1
は	1
1つの	2
サンプル	1

文書2

学期	用語数
これ	1
は	1
別の	2
例	3

「this」という用語のtf-idfの計算は次のように実行されます。

生の頻度形式では、tf は各文書における「this」の出現頻度です。各文書において「this」は1回出現しますが、文書2にはより多くの単語が含まれているため、相対頻度は小さくなります。

${\displaystyle \mathrm {tf} ({\mathsf {''this''}},d_{1})={\frac {1}{5}}=0.2}$

${\displaystyle \mathrm {tf} ({\mathsf {''this''}},d_{2})={\frac {1}{7}}\approx 0.14}$

IDFはコーパスごとに一定であり、 「this」という単語を含む文書の割合を表します。この場合、2つの文書からなるコーパスがあり、そのすべてに「this」という単語が含まれています。

${\displaystyle \mathrm {idf} ({\mathsf {''this''}},D)=\log \left({\frac {2}{2}}\right)=0}$

したがって、「this」という単語の tf-idf はゼロであり、この単語がすべてのドキュメントに出現するため、あまり有益ではないことを意味します。

${\displaystyle \mathrm {tfidf} ({\mathsf {''this''}},d_{1},D)=0.2\times 0=0}$

${\displaystyle \mathrm {tfidf} ({\mathsf {''this''}},d_{2},D)=0.14\times 0=0}$

「example」という単語はさらに興味深いです。この単語は 3 回出現しますが、2 番目のドキュメントにのみ出現します。

${\displaystyle \mathrm {tf} ({\mathsf {''example''}},d_{1})={\frac {0}{5}}=0}$

${\displaystyle \mathrm {tf} ({\mathsf {''example''}},d_{2})={\frac {3}{7}}\approx 0.429}$

${\displaystyle \mathrm {idf} ({\mathsf {''example''}},D)=\log \left({\frac {2}{1}}\right)=0.301}$

ついに、

${\displaystyle \mathrm {tfidf} ({\mathsf {''example''}},d_{1},D)=\mathrm {tf} ({\mathsf {''example''}},d_{1})\times \mathrm {idf} ({\mathsf {''example''}},D)=0\times 0.301=0}$

${\displaystyle \mathrm {tfidf} ({\mathsf {''example''}},d_{2},D)=\mathrm {tf} ({\mathsf {''example''}},d_{2})\times \mathrm {idf} ({\mathsf {''example''}},D)=0.429\times 0.301\approx 0.129}$

( 10 を底とする対数を使用)。

条件を超えて

tf-idfの考え方は、用語以外の実体にも適用されます。1998年には、idfの概念が引用に適用されました。^{[ 11 ]}著者らは、「非常にまれな引用が2つの文書で共有されている場合、多数の文書による引用よりも高い重み付けをすべきだ」と主張しました。さらに、tf-idfは、動画内のオブジェクトマッチングを行う目的で「視覚的な単語」に適用され、^{[ 12 ]}、そして文章全体に適用されました。^{[ 13 ]}しかし、tf-idfの概念は、すべてのケースにおいて、単純なtfスキーム（idfなし）よりも効果的であるとは証明されませんでした。tf-idfを引用に適用した場合、研究者たちは、idf要素を含まない単純な引用数重み付けと比べて、改善が見られないことを発見しました。^{[ 14 ]}

デリバティブ

tf-idf から派生した用語重み付け方式は数多くある。その 1 つが TF-PDF (用語出現頻度 * 比例文書出現頻度) である。^{[ 15 ]} TF-PDF は、メディアで新たなトピックを特定するという文脈で 2001 年に導入された。PDF コンポーネントは、異なるドメインで用語が出現する頻度の差を測定する。別の派生方式は TF-IDuF である。TF-IDuF では、^{[ 16 ]} idf は検索または推奨される文書コーパスに基づいて計算されない。その代わりに、idf はユーザーの個人的な文書コレクションに基づいて計算される。著者らは、TF-IDuF は tf-idf と同等に効果的であるが、ユーザーモデリングシステムがグローバルな文書コーパスにアクセスできない場合などにも適用できると報告している。DELTA TF-IDF ^{[ 17 ]}派生方式は、肯定的な感情と否定的な感情など、2 つの特定のクラスにわたる用語の重要度の差を使用する。例えば、「素晴らしい」といった単語に、肯定的なレビューでは高いスコアを割り当て、否定的なレビューでは低いスコアを割り当てるといったことが可能です。これにより、文書の感情を強く示す単語を特定しやすくなり、テキスト分類タスクの精度向上につながる可能性があります。

参照

• 単語埋め込み
• カルバック・ライブラー距離
• 潜在ディリクレ分布
• 潜在意味解析
• 相互情報
• 名詞句
• オカピ BM25
• ページランク
• ベクトル空間モデル
• 単語数
• SMART情報検索システム

参考文献

1. Rajaraman, A.; Ullman, JD (2011). 「データマイニング」(PDF) .大規模データセットのマイニング. pp.  1– 17. doi : 10.1017/CBO9781139058452.002 . ISBN 978-1-139-05845-2。
2. Breitinger, Corinna; Gipp, Bela; Langer, Stefan (2015-07-26). 「研究論文推薦システム：文献調査」 . International Journal on Digital Libraries . 17 (4): 305– 338. doi : 10.1007/s00799-015-0156-0 . ISSN 1432-5012 . S2CID 207035184 .  
3. Ansary, Ayub (2025年2月24日). 「TF-IDFとセマンティックSEO」 . ayubansary.com . 2025年11月20日閲覧。
4. Spärck Jones, K. (1972). 「用語の特異性の統計的解釈と検索への応用」. Journal of Documentation . 28 (1): 11– 21. CiteSeerX 10.1.1.115.8343 . doi : 10.1108/eb026526 . S2CID 2996187 .  
5. Manning, CD; Raghavan, P.; Schutze, H. (2008). 「スコアリング、用語の重み付け、そしてベクトル空間モデル」(PDF) .情報検索入門. p. 100. doi : 10.1017/CBO9780511809071.007 . ISBN 978-0-511-80907-1。
6. 「TFIDF統計 | SAX-VSM」。
7. Robertson, S. (2004). 「逆文書頻度の理解：IDFの理論的議論について」. Journal of Documentation . 60 (5): 503– 520. doi : 10.1108/00220410410560582 .
8. 『情報検索入門』の「実際の確率推定」も参照してください。
9. 相澤明子 (2003). 「TF-IDF尺度の情報理論的観点」.情報処理・管理. 39 (1): 45– 65. doi : 10.1016/S0306-4573(02)00021-3 . S2CID 45793141 . 
10. Sheridan, Paul; Ahmed, Zeyad; Farooque, Aitazaz A. (2025-07-29). 「TF-IDF項重み付けスキームのFisherの正確検定による正当性」 . The American Statistician : 1–24 . arXiv : 2507.15742 . doi : 10.1080/00031305.2025.2539241 .
11. Bollacker, Kurt D.; Lawrence, Steve; Giles, C. Lee (1998-01-01). 「CiteSeer」.第2回自律エージェント国際会議 - AGENTS '98 議事録. pp.  116– 123. doi : 10.1145/280765.280786 . ISBN 978-0-89791-983-8. S2CID  3526393 .
12. Sivic, Josef; Zisserman, Andrew (2003-01-01). 「Video Google: 動画内のオブジェクトマッチングのためのテキスト検索アプローチ」Proceedings Ninth IEEE International Conference on Computer Vision . ICCV '03. pp. 1470–. doi : 10.1109/ICCV.2003.1238663 . ISBN 978-0-7695-1950-0. S2CID  14457153 .
13. 関 洋平. 「新聞記事からのtf/idfと位置重み付けによる文抽出」(PDF) . 国立情報学研究所.
14. Beel, Joeran; Breitinger, Corinna (2017). 「CC-IDF引用重み付けスキームの評価 - 文献への『逆文書頻度』（IDF）の適用効果はどの程度か？」(PDF) .第12回IConference議事録. 2020年9月22日時点のオリジナル（PDF）からアーカイブ。 2017年1月29日閲覧。
15. Khoo Khyou Bun; Bun, Khoo Khyou; Ishizuka, M. (2001). 「新興トピック追跡システム」.電子商取引とWebベース情報システムの高度な問題に関する第3回国際ワークショップ議事録. WECWIS 2001. pp.  2– 11. CiteSeerX 10.1.1.16.7986 . doi : 10.1109/wecwis.2001.933900 . ISBN  978-0-7695-1224-2. S2CID  1049263 .
16. Langer, Stefan; Gipp, Bela (2017). 「TF-IDuF: ユーザーの個人文書コレクションに基づくユーザーモデリングのための新しい用語重み付けスキーム」(PDF) . IConference .
17. Martineau, Justin; Finin, Tim (2009). 「Delta TFIDF: 感情分析のための改良された特徴空間」 .第3回国際AAAIウェブ・ソーシャルメディア会議議事録. ICWSM. サンノゼ、カリフォルニア州: AAAI. doi : 10.1609/icwsm.v3i1.13979 .

• Salton, G ; McGill, MJ (1986).現代情報検索入門. McGraw-Hill . ISBN 978-0-07-054484-0。
• Salton, G. ; Fox, EA; Wu, H. (1983). 「拡張ブール情報検索」. Communications of the ACM . 26 (11): 1022– 1036. doi : 10.1145/182.358466 . hdl : 1813/6351 . S2CID  207180535 .
• Salton, G. ; Buckley, C. (1988). 「自動テキスト検索における用語重み付けアプローチ」(PDF) .情報処理と管理. 24 (5): 513– 523. doi : 10.1016/0306-4573(88)90021-0 . hdl : 1813/6721 . S2CID  7725217 .
• Wu, HC; Luk, RWP; Wong, KF; Kwok, KL (2008). 「TF-IDFの用語重みを関連性判断として解釈する」. ACM Transactions on Information Systems . 26 (3): 1. doi : 10.1145/1361684.1361686 . hdl : 10397/10130 . S2CID  18303048 .

外部リンクと参考文献

• Gensimはベクトル空間モデリング用の Python ライブラリで、tf-idf 重み付けが含まれています。
• 検索エンジンの解剖学 2009年3月10日アーカイブWayback Machine
• Luceneで使用されるtf-idfおよび関連定義
• scikit-learnのTfidfTransformer
• Text to Matrix Generator (TMG) MATLABツールボックスは、テキストマイニング(TM)における様々なタスク、具体的にはi) インデックス作成、ii) 検索、iii) 次元削減、iv) クラスタリング、v) 分類に使用できます。インデックス作成ステップでは、TF-IDFを含むローカルおよびグローバルな重み付け手法を適用できます。
• 用語頻度の説明用語頻度の説明

「 https://en.wikipedia.org/w/index.php?title=Tf–idf&oldid=1330830647」より取得