知識抽出

構造化および非構造化ソースからの知識の創造

知識抽出とは、構造化情報源（リレーショナルデータベース、XML）および非構造化情報源（テキスト、文書、画像）から知識を創造することです。得られる知識は、機械が読み取り・解釈可能な形式で、推論を容易にする形で表現されていなければなりません。知識抽出は情報抽出（NLP）やETL（データウェアハウス）と方法論的には類似していますが、主な基準は、抽出結果が構造化情報の作成やリレーショナルスキーマへの変換を超えるものであることです。既存の形式知識の再利用（識別子やオントロジーの再利用）か、ソースデータに基づくスキーマの生成が必要です。

RDB2RDF W3Cグループ^{[1]は現在、}リレーショナルデータベースからリソース記述フレームワーク（RDF）を抽出するための言語の標準化に取り組んでいます。知識抽出のもう一つの一般的な例としては、Wikipediaの構造化データへの変換と、既存の知識へのマッピングが挙げられます（DBpediaおよびFreebaseを参照）。

概要

RDFやOWLといった知識表現言語の標準化以降、この分野では多くの研究が行われてきました。特に、リレーショナルデータベースのRDFへの変換、アイデンティティ解決、知識発見、オントロジー学習といった分野が注目されています。一般的なプロセスでは、情報抽出から抽出、変換、ロード（ETL）といった従来の手法を用いて、ソースから取得したデータを構造化形式に変換します。そのため、データベースがどのように相互作用し、学習し合うかを理解する必要があります。

このトピックにおけるアプローチを分類するために、以下の基準を使用することができる（そのうちのいくつかはリレーショナルデータベースからの抽出のみを考慮している）: ^[2]

ソース	対象となるデータソース: テキスト、リレーショナル データベース、XML、CSV
博覧会	抽出された知識はどのように明示化されますか（オントロジーファイル、セマンティックデータベース）？どのようにクエリを実行できますか？
同期	知識抽出プロセスはダンプを生成するために一度だけ実行されるか、それとも結果はソースと同期されるか？静的か動的か。結果への変更は書き戻されるか（双方向か）
語彙の再利用	このツールは、抽出において既存の語彙を再利用することができます。例えば、表の列「firstName」をfoaf:firstNameにマッピングできます。一部の自動アプローチでは語彙のマッピングができません。
自動化	抽出の支援/自動化の程度。手動、GUI、半自動、自動。
ドメインオントロジーが必要	マッピングには既存のオントロジーが必要です。そのため、マッピングを作成するか、ソースからスキーマを学習します（オントロジー学習）。

例

エンティティリンク

1. DBpedia Spotlight、OpenCalais、Dandelion dataTXT、Zemanta API、Extractiv、PoolParty Extractorは、名前付きエンティティ認識を介してフリーテキストを分析し、名前解決を介して候補の曖昧性を解消し、見つかったエンティティをDBpediaナレッジリポジトリ^[3]にリンクします（Dandelion dataTXTデモまたはDBpedia SpotlightウェブデモまたはPoolParty Extractorデモ）。

オバマ大統領は水曜日、昨年の経済刺激策に盛り込まれた学生に対する減税措置を延長するよう議会に要請し、この政策はより手厚い支援を提供するものだと主張した。

オバマ大統領はDBpediaのLinkedDataリソースにリンクされているため、詳細情報が自動的に取得され、セマンティック推論エンジンは、例えば、言及されているエンティティが人物型（FOAF（ソフトウェア）を使用）および米国大統領型（YAGOを使用）であると推論できます。反例：エンティティのみを認識したり、Wikipediaの記事やその他のターゲットにリンクしたりする手法は、構造化データや形式知識のさらなる取得を提供しません。

リレーショナルデータベースからRDFへ

1. Triplify、D2R Server、Ultrawrap Archived 2016-11-27 at the Wayback Machine、Virtuoso RDF Views はリレーショナルデータベースを RDF に変換するツールです。このプロセスでは、変換中に既存の語彙とオントロジーを再利用できます。 usersという典型的なリレーショナルテーブルを変換する場合、1つの列 (例: name ) または列の集合 (例: first_nameとlast_name ) が、作成されたエンティティの URI を提供する必要があります。通常は主キーが使用されます。その他のすべての列は、このエンティティとの関係として抽出できます。^[4]次に、正式に定義されたセマンティクスを持つプロパティが使用 (および再利用) され、情報が解釈されます。たとえば、marriedToというユーザーテーブルの列は対称関係として定義でき、列homepage はfoaf:homepage というFOAF 語彙のプロパティに変換できるため、逆機能プロパティとして修飾されます。これにより、 userテーブルの各エントリをfoaf:Person クラス（オントロジー Population）のインスタンスにすることができます。さらに、 status_idからドメイン知識（オントロジー形式）を作成することもできます。これは、手動で作成したルール（status_idが 2 の場合、エントリは Teacher クラスに属します）または（半）自動手法（オントロジー学習）によって行うことができます。変換例を以下に示します。

名前	結婚した	ホームページ	ステータスID
ピーター	メアリー	https://example.org/Peters_page [永久リンク切れ]	1
クラウス	エヴァ	https://example.org/Claus_page [永久リンク切れ]	2

: Peter  : marriedTo  : Mary  .  : marriedTo  a  owl : SymmetricProperty  .  : Peter  foaf :ホームページ <https://example.org/Peters_page>  .  : Peter  a  foaf : Person  .  : Peter  a  : Student  .  : Claus  a  : Teacher  .

構造化ソースからRDFへの抽出

RDB テーブル/ビューから RDF エンティティ/属性/値への 1:1 マッピング

問題領域のRDB表現を構築する際、多くの場合、出発点は実体関連図（ERD）です。通常、各エンティティはデータベーステーブルとして表現され、エンティティの各属性はテーブル内の列となり、エンティティ間の関係は外部キーによって示されます。各テーブルは通常、特定のエンティティクラスを定義し、各列はその属性の1つです。テーブルの各行は、主キーによって一意に識別されるエンティティインスタンスを記述します。テーブル行は全体としてエンティティセットを記述します。同じエンティティセットをRDFで表現すると、次のようになります。

• 表の各列は属性（述語など）である。
• 各列の値は属性値（つまりオブジェクト）です
• 各行キーはエンティティID（つまり、件名）を表します。
• 各行はエンティティインスタンスを表す
• 各行 (エンティティ インスタンス) は、共通の主題 (エンティティ ID) を持つトリプルのコレクションによって RDF で表されます。

したがって、RDF セマンティクスに基づいて同等のビューをレンダリングするための基本的なマッピング アルゴリズムは次のようになります。

1. 各テーブルにRDFSクラスを作成する
2. すべての主キーと外部キーをIRIに変換する
3. 各列に述語IRIを割り当てる
4. 各行にrdf:type述語を割り当て、それを表に対応するRDFSクラスIRIにリンクする
5. 主キーまたは外部キーの一部ではない各列について、主キーの IRI を主語、列の IRI を述語、列の値を目的語として含むトリプルを構築します。

この基本的な、あるいは直接的なマッピングに関する初期の言及は、ティム・バーナーズ＝リーによるERモデルとRDFモデルの比較に見出すことができます。^[4]

リレーショナルデータベースからRDFへの複雑なマッピング

上で述べた 1:1 マッピングはレガシーデータを RDF として直接的に公開しますが、追加の改良を加えることで、特定のユース ケースに対する RDF 出力の有用性を向上させることができます。通常、エンティティ リレーションシップ ダイアグラム (ERD) をリレーショナル テーブルに変換するときに情報が失われるため (詳細はオブジェクト リレーショナル インピーダンス ミスマッチに記載)、リバース エンジニアリングする必要があります。概念的には、抽出のアプローチは 2 つの方向から考えられます。最初の方向では、特定のデータベース スキーマから OWL スキーマを抽出または学習します。初期のアプローチでは、1:1 マッピングを改良するために、手動で作成した一定量のマッピング ルールが使用されていました。^{[5] [6] [7]より複雑な方法では、図式的な情報を誘導するためにヒューリスティックまたは学習アルゴリズムが採用されています (方法は}オントロジー学習と重複します)。 SQLスキーマ^[8]に固有の構造から情報を抽出しようとするアプローチ（例えば外部キーの分析）もあれば、テーブルの内容と値を分析して概念階層を作成するアプローチ^[9]（例えば、値の少ない列はカテゴリの候補となる）もあります。後者のアプローチは、スキーマとその内容を既存のドメインオントロジーにマッピングしようとするものです（オントロジーのアライメントも参照）。しかし、多くの場合、適切なドメインオントロジーは存在しないため、まず作成する必要があります。

XML

XMLはツリー構造であるため、あらゆるデータはグラフ構造のRDFで簡単に表現できます。XML2RDFは、RDFの空白ノードを用いてXML要素と属性をRDFプロパティに変換するアプローチの一例です。しかし、リレーショナルデータベースの場合、このトピックはより複雑です。リレーショナルテーブルでは、主キーは抽出されたトリプルの主語となる理想的な候補です。しかし、XML要素は、コンテキストに応じて、トリプルの主語、述語、または目的語に変換できます。XMLをRDFに手動で変換するには、標準的な変換言語であるXSLTを使用できます。

方法/ツールの調査

名前	データソース	データの説明	データ同期	マッピング言語	語彙の再利用	マッピングオートマット。	必須ドメインオントロジー	GUIを使用
リレーショナルデータのRDFへの直接マッピング	リレーショナルデータ	SPARQL/ETL	動的	—	間違い	自動	間違い	間違い
CSV2RDF4LOD	CSV	ETL	静的	RDF	真実	マニュアル	間違い	間違い
CoNLL-RDF	TSV、CoNLL	SPARQL/RDFストリーム	静的	なし	真実	自動（ドメイン固有、言語技術のユースケースでは行間の関係を保持）	間違い	間違い
RDF変換	区切りテキストファイル	ETL	静的	RDF/DAML	真実	マニュアル	間違い	真実
D2Rサーバー	RDB	スパーQL	双方向	D2Rマップ	真実	マニュアル	間違い	間違い
ダーツグリッド	RDB	独自のクエリ言語	動的	ビジュアルツール	真実	マニュアル	間違い	真実
データマスター	RDB	ETL	静的	独自の	真実	マニュアル	真実	真実
Google Refine の RDF 拡張機能	CSV、XML	ETL	静的	なし		半自動	間違い	真実
クレクスター	XML	ETL	静的	xslt	真実	マニュアル	真実	間違い
マポント	RDB	ETL	静的	独自の	真実	マニュアル	真実	間違い
メタモルフォーゼ	RDB	ETL	静的	独自のXMLベースのマッピング言語	真実	マニュアル	間違い	真実
マッピングマスター	CSV	ETL	静的	マッピングマスター	真実	GUI	間違い	真実
ODEマップスター	RDB	ETL	静的	独自の	真実	マニュアル	真実	真実
OntoWiki CSV インポータープラグイン - DataCube & Tabular	CSV	ETL	静的	RDFデータキューブ語彙	真実	半自動	間違い	真実
プールパーティー エクストラクター (PPX)	XML、テキスト	リンクトデータ	動的	RDF（SKOS）	真実	半自動	真実	間違い
RDBToOnto	RDB	ETL	静的	なし	間違い	自動では、ユーザーは結果を微調整する機会も得られる	間違い	真実
RDF 123	CSV	ETL	静的	間違い	間違い	マニュアル	間違い	真実
RDOTE	RDB	ETL	静的	SQL	真実	マニュアル	真実	真実
リレーショナル.OWL	RDB	ETL	静的	なし	間違い	自動	間違い	間違い
T2LD	CSV	ETL	静的	間違い	間違い	自動	間違い	間違い
RDFデータキューブ語彙	スプレッドシート内の多次元統計データ			データキューブの語彙	真実	マニュアル	間違い
TopBraidコンポーザー	CSV	ETL	静的	SKOS	間違い	半自動	間違い	真実
トリプリファイ	RDB	リンクトデータ	動的	SQL	真実	マニュアル	間違い	間違い
Ultrawrap 2016年11月27日アーカイブ - Wayback Machine	RDB	SPARQL/ETL	動的	R2RML	真実	半自動	間違い	真実
Virtuoso RDF ビュー	RDB	スパーQL	動的	メタスキーマ言語	真実	半自動	間違い	真実
名人スポンジ	構造化および半構造化データソース	スパーQL	動的	Virtuoso PL & XSLT	真実	半自動	間違い	間違い
VisAVis	RDB	RDQL	動的	SQL	真実	マニュアル	真実	真実
XLWrap: スプレッドシートから RDF へ	CSV	ETL	静的	TriG構文	真実	マニュアル	間違い	間違い
XMLからRDFへ	XML	ETL	静的	間違い	間違い	自動	間違い	間違い

自然言語ソースからの抽出

ビジネス文書に含まれる情報の大部分（約80% ^[10]）は自然言語で符号化されているため、非構造化されています。非構造化データは知識抽出にとってむしろ課題となるため、より洗練された手法が必要とされますが、一般的に構造化データと比較して結果が悪くなる傾向があります。しかし、抽出された知識を大量に取得できる可能性は、抽出の複雑さの増加と品質の低下を補うはずです。以下では、自然言語ソースは、データがプレーンテキストとして非構造化形式で提供される情報源として理解されます。指定されたテキストがマークアップ文書（HTML文書など）にさらに埋め込まれている場合、前述のシステムは通常、マークアップ要素を自動的に削除します。

言語注釈/自然言語処理（NLP）

知識抽出の前処理として、1つまたは複数のNLPツールによる言語アノテーションの実行が必要になる場合があります。NLPワークフロー内の個々のモジュールは通常、ツール固有の入出力フォーマットに基づいて構築されますが、知識抽出の文脈では、言語アノテーションを表現するための構造化されたフォーマットが適用されます。

知識抽出に関連する一般的な NLP タスクには次のようなものがあります。

• 品詞タグ付け
• 見出し語化（LEMMA）または語幹化（STEM）
• 語義の曖昧性解消（WSD、以下の意味注釈に関連）
• 固有表現抽出（NER、下記のIEも参照）
• 構文解析、多くの場合構文依存性（DEP）を採用
• 浅い構文解析（CHUNK）：パフォーマンスが問題となる場合、チャンク化により名詞やその他のフレーズを高速に抽出できる。
• アナフォラ解決（下記のIEの共参照解決を参照。ただし、ここではエンティティの言及とそのエンティティの抽象的な表現の間ではなく、テキストの言及の間にリンクを作成するタスクとして見ています）
• 意味的役割ラベル付け（SRL、関係抽出に関連する。後述する意味的注釈と混同しないように）
• 談話解析（異なる文間の関係、実際のアプリケーションではほとんど使用されない）

NLPでは、このようなデータは通常TSV形式（タブ区切りのCSV形式）で表現され、CoNLL形式と呼ばれることもあります。知識抽出ワークフローでは、このようなデータのRDFビューが以下のコミュニティ標準に従って作成されています。

• NLP交換フォーマット（NIF、多くの頻繁に使用される注釈の種類用）^{[11] [12]}
• ウェブアノテーション（WA、エンティティリンクによく使用される）^[13]
• CoNLL-RDF（元々TSV形式で表現された注釈用）^{[14] [15]}

その他のプラットフォーム固有の形式としては、

• LAPPS交換フォーマット（LIF、LAPPSグリッドで使用される）^{[16] [17]}
• NLPアノテーションフォーマット（NAF、NewsReaderワークフロー管理システムで使用）^{[18] [19]}

従来の情報抽出（IE）

伝統的な情報抽出^[20]は自然言語処理技術の一つであり、典型的には自然言語テキストから情報を抽出し、適切な方法で構造化する。識別すべき情報の種類は、処理を開始する前にモデルで指定する必要があるため、伝統的な情報抽出のプロセス全体はドメイン依存的である。IEは以下の5つのサブタスクに分割される。

• 固有表現抽出（NER）
• 共参照解決（CO）
• テンプレート要素構築（TE）
• テンプレート関係構築（TR）
• テンプレートシナリオ制作（ST）

固有表現認識のタスクは、テキストに含まれるすべての固有表現を認識し、分類することです（固有表現を定義済みのカテゴリに割り当てること）。これは、文法に基づく手法や統計モデルを適用することで実現されます。

共参照解決は、NERによって認識されたテキスト内の同値エンティティを識別します。関連する同値関係には2種類あります。1つ目は、2つの異なる表現エンティティ（例：IBM EuropeとIBM）間の関係、2つ目はエンティティとそのアナフォリック参照（例：itとIBM）間の関係です。どちらの種類も共参照解決によって認識できます。

テンプレート要素の構築中に、IE システムは NER と CO によって認識されるエンティティの記述プロパティを識別します。これらのプロパティは、赤や大きいなどの一般的な品質に対応します。

テンプレート関係構築は、テンプレート要素間に存在する関係を識別します。これらの関係は、works-for や located-in など、いくつかの種類がありますが、ドメインと値域の両方がエンティティに対応するという制約があります。

テンプレート シナリオでは、テキストで説明されている生成イベントは、NER と CO によって認識されるエンティティと TR によって識別される関係に関して識別され、構造化されます。

オントロジーベースの情報抽出（OBIE）

オントロジーに基づく情報抽出^[10]は情報抽出のサブフィールドであり、少なくとも1つのオントロジーを用いて自然言語テキストから情報を抽出するプロセスをガイドする。OBIEシステムは、従来の情報抽出手法を用いて、テキスト中で使用されるオントロジーの概念、インスタンス、関係を識別し、処理後にオントロジーに構造化される。したがって、入力オントロジーは抽出される情報のモデルを構成する。^[21]

オントロジー学習（OL）

オントロジー学習とは、自然言語テキストから対応するドメイン用語を抽出することを含む、オントロジーの自動または半自動的な作成です。オントロジーを手作業で構築するのは非常に労力と時間がかかるため、このプロセスを自動化する大きな動機があります。

セマンティックアノテーション（SA）

セマンティックアノテーション^{[22]では、自然言語テキストにメタデータ（多くの場合}RDFaで表現される）が付加され、含まれる用語の意味が機械で理解可能になる。このプロセスは一般的に半自動で行われ、語彙用語と例えばオントロジーの概念との関連が確立されるという意味で知識が抽出される。こうして、処理された文脈における用語の意図された意味に関する知識が得られ、その結果、テキストの意味は推論可能な機械可読データに基づいている。セマンティックアノテーションは、通常、以下の2つのサブタスクに分けられる。

1. 用語抽出
2. エンティティリンク

用語抽出レベルでは、テキストから語彙用語が抽出されます。この目的のために、トークナイザーはまず単語の境界を決定し、略語を解決します。その後、ドメイン固有の語彙集を用いて、テキストから概念に対応する用語を抽出し、エンティティリンクでそれらをリンクします。

エンティティリンキング^[23]では、原文から抽出された語彙用語と、オントロジーやDBpediaなどの知識ベースから抽出された概念との間にリンク が確立されます。このリンクでは、語彙集を用いて、用語の複数の意味に適切な候補概念が検出されます。最後に、用語の文脈が分析され、最も適切な曖昧性解消が決定され、用語が正しい概念に割り当てられます。

知識抽出の文脈における「セマンティック アノテーション」は、自然言語処理で理解されるセマンティック パース(「セマンティック アノテーション」とも呼ばれる) と混同しないように注意してください。セマンティック パースでは、自然言語の完全で機械可読な表現を目指しますが、知識抽出の意味でのセマンティック アノテーションでは、その非常に基本的な側面のみを扱います。

ツール

自然言語テキストから知識を抽出するツールを分類するには、次の基準を使用できます。

ソース	ツールで処理できる入力形式はどれですか (例: プレーン テキスト、HTML、PDF)?
アクセスパラダイム	ツールはデータ ソースをクエリできますか、それとも抽出プロセスにダンプ全体が必要ですか?
データ同期	抽出プロセスの結果はソースと同期されていますか?
出力オントロジーを使用する	ツールは結果をオントロジーにリンクしますか?
マッピング自動化	抽出プロセスはどの程度自動化されていますか (手動、半自動、自動)?
オントロジーが必要	ツールには抽出のためのオントロジーが必要ですか?
GUIを使用	このツールはグラフィカル ユーザー インターフェイスを提供していますか?
アプローチ	ツールではどのアプローチ (IE、OBIE、OL、または SA) が使用されますか?
抽出されたエンティティ	ツールによって抽出できるエンティティの種類 (名前付きエンティティ、概念、関係など) は何ですか?
応用技術	どのような技術が適用されますか (例: NLP、統計的手法、クラスタリング、機械学習)?
出力モデル	ツールの結果を表すために使用されるモデルはどれですか (例: RDF または OWL)?
サポートされているドメイン	どの分野がサポートされていますか (例: 経済や生物学)?
サポートされている言語	どの言語を処理できますか (例: 英語またはドイツ語)?

次の表は、自然言語ソースから知識を抽出するためのいくつかのツールの特徴を示しています。

名前	ソース	アクセスパラダイム	データ同期	出力オントロジーを使用する	マッピング自動化	オントロジーが必要	GUIを使用	アプローチ	抽出されたエンティティ	応用技術	出力モデル	サポートされているドメイン	サポートされている言語
[1] [24]	プレーンテキスト、HTML、XML、SGML	ごみ	いいえ	はい	自動	はい	はい	IE	名前付きエンティティ、関係、イベント	言語規則	独自の	ドメイン非依存	英語、スペイン語、アラビア語、中国語、インドネシア語
アルケミーAPI [25]	プレーンテキスト、HTML				自動		はい	南アフリカ					多言語
アニー[26]	プレーンテキスト	ごみ				はい	はい	IE		有限状態アルゴリズム			多言語
アジア[27]	プレーンテキスト	ごみ			半自動		はい	OL	概念、概念階層	NLP、クラスタリング
強度徹底抽出[28]					自動			IE	名前付きエンティティ、関係、イベント	NLP
タンポポAPI	プレーンテキスト、HTML、URL	休む	いいえ	いいえ	自動	いいえ	はい	南アフリカ	名前付きエンティティ、概念	統計的手法	JSON	ドメイン非依存	多言語
DBpediaスポットライト[29]	プレーンテキスト、HTML	ダンプ、SPARQL	はい	はい	自動	いいえ	はい	南アフリカ	各単語への注釈、非ストップワードへの注釈	NLP、統計的手法、機械学習	RDFa	ドメイン非依存	英語
エンティティ分類器.eu	プレーンテキスト、HTML	ごみ	はい	はい	自動	いいえ	はい	IE、OL、SA	各単語への注釈、非ストップワードへの注釈	規則ベースの文法	XML	ドメイン非依存	英語、ドイツ語、オランダ語
フレッド[30]	プレーンテキスト	ダンプ、REST API	はい	はい	自動	いいえ	はい	IE、OL、SA、オントロジー設計パターン、フレームセマンティクス	（複数）語のNIFまたはEarMark注釈、述語、インスタンス、構成意味論、概念分類、フレーム、意味役割、迂言関係、イベント、モダリティ、時制、エンティティリンク、イベントリンク、感情	NLP、機械学習、ヒューリスティックルール	RDF/OWL	ドメイン非依存	英語、その他の言語は翻訳により
iドキュメント[31]	HTML、PDF、DOC	スパーQL		はい			はい	オビー	インスタンス、プロパティ値	NLP		個人、ビジネス
NetOwlエクストラクター[32]	プレーンテキスト、HTML、XML、SGML、PDF、MS Office	ごみ	いいえ	はい	自動	はい	はい	IE	名前付きエンティティ、関係、イベント	NLP	XML、JSON、RDF-OWL、その他	複数のドメイン	英語、アラビア語、中国語（簡体字および繁体字）、フランス語、韓国語、ペルシア語（ペルシア語およびダリー語）、ロシア語、スペイン語
OntoGen 2010年3月30日アーカイブWayback Machine [33]					半自動		はい	OL	概念、概念階層、非分類的関係、インスタンス	NLP、機械学習、クラスタリング
オントラーン[34]	プレーンテキスト、HTML	ごみ	いいえ	はい	自動	はい	いいえ	OL	概念、概念階層、インスタンス	NLP、統計的手法	独自の	ドメイン非依存	英語
OntoLearn リローデッド	プレーンテキスト、HTML	ごみ	いいえ	はい	自動	はい	いいえ	OL	概念、概念階層、インスタンス	NLP、統計的手法	独自の	ドメイン非依存	英語
オントサイフォン[35]	HTML、PDF、DOC	ダンプ、検索エンジンのクエリ	いいえ	はい	自動	はい	いいえ	オビー	概念、関係、インスタンス	NLP、統計的手法	RDF	ドメイン非依存	英語
オントエックス[36]	プレーンテキスト	ごみ	いいえ	はい	半自動	はい	いいえ	オビー	インスタンス、データ型プロパティ値	ヒューリスティックベースの方法	独自の	ドメイン非依存	言語に依存しない
オープンカレー	プレーンテキスト、HTML、XML	ごみ	いいえ	はい	自動	はい	いいえ	南アフリカ	エンティティへの注釈、イベントへの注釈、事実への注釈	NLP、機械学習	RDF	ドメイン非依存	英語、フランス語、スペイン語
プールパーティーエクストラクター[37]	プレーンテキスト、HTML、DOC、ODT	ごみ	いいえ	はい	自動	はい	はい	オビー	名前付きエンティティ、概念、関係、テキストを分類する概念、エンリッチメント	NLP、機械学習、統計手法	RDF、OWL	ドメイン非依存	英語、ドイツ語、スペイン語、フランス語
ロソカ	プレーンテキスト、HTML、XML、SGML、PDF、MS Office	ごみ	はい	はい	自動	いいえ	はい	IE	固有表現抽出、エンティティ解決、関係抽出、属性、概念、マルチベクトル感情分析、ジオタグ、言語識別	NLP、機械学習	XML、JSON、POJO、RDF	複数のドメイン	200以上の言語に対応
スクービー	プレーンテキスト、HTML	ごみ	いいえ	はい	自動	いいえ	いいえ	オビー	インスタンス、プロパティ値、RDFSタイプ	NLP、機械学習	RDF、RDFa	ドメイン非依存	英語、ドイツ語
セムタグ[38] [39]	HTML	ごみ	いいえ	はい	自動	はい	いいえ	南アフリカ		機械学習	データベースレコード	ドメイン非依存	言語に依存しない
スマートな修正	プレーンテキスト、HTML、PDF、DOC、電子メール	ごみ	はい	いいえ	自動	いいえ	はい	オビー	名前付きエンティティ	NLP、機械学習	独自の	ドメイン非依存	英語、ドイツ語、フランス語、オランダ語、ポーランド語
テキスト2オント[40]	プレーンテキスト、HTML、PDF	ごみ	はい	いいえ	半自動	はい	はい	OL	概念、概念階層、非分類的関係、インスタンス、公理	NLP、統計的手法、機械学習、ルールベース手法	フクロウ	ドメイン非依存	英語、ドイツ語、スペイン語
テキスト変換[41]	プレーンテキスト、HTML、PDF、PostScript	ごみ			半自動	はい	はい	OL	概念、概念階層、非分類的関係、概念を参照する語彙実体、関係を参照する語彙実体	NLP、機械学習、クラスタリング、統計手法			ドイツ語
その針	プレーンテキスト	ごみ			自動		いいえ		概念、関係、階層	NLP、独自仕様	JSON	複数のドメイン	英語
ウィキマシン[42]	プレーンテキスト、HTML、PDF、DOC	ごみ	いいえ	はい	自動	はい	はい	南アフリカ	固有名詞への注釈、普通名詞への注釈	機械学習	RDFa	ドメイン非依存	英語、ドイツ語、スペイン語、フランス語、ポルトガル語、イタリア語、ロシア語
シングファインダー[43]								IE	名前付きエンティティ、関係、イベント				多言語

知識の発見

知識発見とは、大量のデータから、データに関する知識 とみなせるパターンを自動的に探索するプロセスを指します。 ^{[44]入力データから知識}を導き出す プロセスとも呼ばれます。知識発見はデータマイニング分野から発展したものであり、方法論と用語の両面でデータマイニングと密接に関連しています。^[45]

データマイニングの最もよく知られた分野は知識発見であり、これはデータベースにおける知識発見（KDD）とも呼ばれます。他の多くの知識発見形式と同様に、入力データの抽象化を行います。このプロセスを通じて得られた知識は、さらなる利用や発見に利用できる追加データとなる可能性があります。知識発見の成果は多くの場合、実用的なものではありませんが、ドメイン駆動型データマイニング[46]などの手法は、実用的^な知識と洞察を発見し、提供することを目指しています。

知識発見のもう一つの有望な応用分野は、既存のソフトウェア成果物の理解を伴うソフトウェア近代化、弱点発見、コンプライアンスの分野です。このプロセスは、リバースエンジニアリングの概念に関連しています。通常、既存のソフトウェアから得られた知識は、必要に応じて特定のクエリを実行できるモデルの形式で提示されます。エンティティ関係は、既存のソフトウェアから得られた知識を表すためによく使用される形式です。オブジェクト管理グループ(OMG)は、既存のコードで知識発見を実行する目的でソフトウェア資産とその関係のオントロジーを定義する知識発見メタモデル(KDM)の仕様を開発しました。既存のソフトウェア システムからの知識発見 (ソフトウェア マイニングとも呼ばれます) は、データ マイニングと密接に関連しています。既存のソフトウェア成果物には、リスク管理とビジネス価値に関する莫大な価値が含まれており、ソフトウェア システムの評価と進化の鍵となるからです。個々のデータ セットをマイニングする代わりに、ソフトウェア マイニングでは、プロセス フロー (データ フロー、制御フロー、呼び出しマップなど)、アーキテクチャ、データベース スキーマ、ビジネス ルール/用語/プロセスなどのメタデータに焦点を当てます。

入力データ

• データベース
  • リレーショナルデータ
  • データベース
  • 文書倉庫
  • データウェアハウス
• ソフトウェア
  • ソースコード
  • 設定ファイル
  • ビルドスクリプト
• 文章
  • コンセプトマイニング
• グラフ
  • 分子マイニング
• シーケンス
  • データストリームマイニング
  • 概念ドリフト下での時間変動データストリームからの学習
• ウェブ

出力形式

• データモデル
• メタデータ
• メタモデル
• オントロジー
• 知識表現
• ナレッジタグ
• ビジネスルール
• 知識発見メタモデル（KDM）
• ビジネスプロセスモデリング表記法（BPMN）
• 中間表現
• リソース記述フレームワーク（RDF）
• ソフトウェアメトリクス

参照

• クラスター分析
• データ考古学

さらに読む

• Chicco, D; Masseroli, M (2016). 「オントロジーに基づく遺伝子機能アノテーションの予測と優先順位付け」 . IEEE/ACM Transactions on Computational Biology and Bioinformatics . 13 (2): 248– 260. doi :10.1109/TCBB.2015.2459694. PMID  27045825. S2CID  2795344.

参考文献

1. RDB2RDFワーキンググループ、ウェブサイト: http://www.w3.org/2001/sw/rdb2rdf/、憲章: http://www.w3.org/2009/08/rdb2rdf-charter、R2RML: RDBからRDFへのマッピング言語: http://www.w3.org/TR/r2rml/
2. LOD2 EU 成果物 3.1.1 構造化ソースからの知識抽出 http://static.lod2.eu/Deliverables/deliverable-3.1.1.pdf 2011年8月27日アーカイブ、Wayback Machine
3. 「Life in the Linked Data Cloud」www.opencalais.com。2009年11月24日時点のオリジナルからのアーカイブ。 2009年11月10日閲覧。WikipediaにはDBpediaというLinked Dataの双子が存在します。DBpediaはWikipediaと同じ構造化された情報を持っていますが、機械可読形式に変換されています。
4. Tim Berners-Lee (1998)、「セマンティックウェブ上のリレーショナルデータベース」。2011年2月20日閲覧。
5. Hu et al. (2007)、「リレーショナルデータベーススキーマとオントロジー間の単純なマッピングの発見」、第6回国際セマンティックウェブ会議 (ISWC 2007)、第2回アジアセマンティックウェブ会議 (ASWC 2007) 論文集、LNCS 4825、225‐238ページ、韓国釜山、2007年11月11日‐15日。http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.97.6934&rep=rep1&type=pdf
6. R. Ghawi、N. Cullot (2007)、「セマンティック相互運用性のためのデータベース・オントロジーマッピング生成」。第3回データベース相互運用性に関する国際ワークショップ (InterDB 2007) http://le2i.cnrs.fr/IMG/publications/InterDB07-Ghawi.pdf
7. Li et al. (2005)「セマンティックウェブのための半自動オントロジー獲得手法」WAIM、Lecture Notes in Computer Science 第3739巻、209-220ページ。Springer. doi :10.1007/11563952_19
8. Tirmizi他 (2008)、「SQLアプリケーションのセマンティックウェブへの変換」、コンピュータサイエンス講義ノート、第5181巻/2008号 (データベースおよびエキスパートシステムアプリケーション)。http://citeseer.ist.psu.edu/viewdoc/download;jsessionid=15E8AB2A37BD06DAE59255A1AC3095F0?doi=10.1.1.140.3169&rep=rep1&type=pdf
9. Farid Cerbah (2008). 「リレーショナルデータベースからの高度構造化セマンティックリポジトリの学習」, The Semantic Web: Research and Applications, Lecture Notes in Computer Science, Volume 5021, Springer, Berlin / Heidelberg http://www.tao-project.eu/resources/publications/cerbah-learning-highly-structured-semantic-repositories-from-relational-databases.pdf 2011年7月20日アーカイブ, Wayback Machine
10. Wimalasuriya, Daya C.; Dou, Dejing (2010). 「オントロジーベースの情報抽出：入門と最新アプローチの概説」, Journal of Information Science , 36(3), p. 306 - 323, http://ix.cs.uoregon.edu/~dou/research/papers/jis09.pdf (取得日: 2012年6月18日).
11. 「NLP Interchange Format (NIF) 2.0 - 概要とドキュメント」. persistence.uni-leipzig.org . 2020年6月5日閲覧。
12. Hellmann, Sebastian; Lehmann, Jens; Auer, Sören; Brümmer, Martin (2013). 「Linked Dataを用いたNLPの統合」. Alani, Harith; Kagal, Lalana; Fokoue, Achille; Groth, Paul; Biemann, Chris; Parreira, Josiane Xavier; Aroyo, Lora; Noy, Natasha; Welty, Chris (編). The Semantic Web – ISWC 2013 . Lecture Notes in Computer Science. Vol. 7908. ベルリン、ハイデルベルク：Springer. pp.  98– 113. doi : 10.1007/978-3-642-41338-4_7 . ISBN 978-3-642-41338-4。
13. Verspoor, Karin ; Livingston, Kevin (2012年7月). 「セマンティックウェブにおける言語アノテーションの学術アノテーション形式への適応に向けて」.第6回言語アノテーションワークショップ議事録. 済州島（韓国）: 計算言語学協会: 75–84 .
14. acoli-repo/conll-rdf、ACoLi、2020-05-27、2020-06-05取得
15. Chiarcos, Christian; Fäth, Christian (2017). 「CoNLL-RDF: NLPフレンドリーな方法でリンクされたコーパス」. Gracia, Jorge; Bond, Francis; McCrae, John P.; Buitelaar, Paul; Chiarcos, Christian; Hellmann, Sebastian (編).言語、データ、知識. コンピュータサイエンス講義ノート. 第10318巻. シュプリンガー・インターナショナル・パブリッシング. pp.  74– 88. doi :10.1007/978-3-319-59888-8_6. ISBN 978-3-319-59888-8。
16. Verhagen, Marc; Suderman, Keith; Wang, Di; Ide, Nancy; Shi, Chunqi; Wright, Jonathan; Pustejovsky, James (2016). 「LAPPS交換フォーマット」. 村上洋平; Lin, Donghui (編).ワールドワイド言語サービスインフラストラクチャ. コンピュータサイエンス講義ノート. 第9442巻. シュプリンガー・インターナショナル・パブリッシング. pp.  33– 47. doi :10.1007/978-3-319-31468-6_3. ISBN 978-3-319-31468-6。
17. 「言語アプリケーショングリッド | 自然言語処理の開発と研究のためのWebサービスプラットフォーム」。2020年6月5日閲覧。
18. newsreader/NAF、NewsReader、2020年5月25日、 2020年6月5日閲覧
19. Vossen, Piek; Agerri, Rodrigo; Aldabe, Itziar; Cybulska, Agata; van Erp, Marieke; Fokkens, Antske; Laparra, Egoitz; Minard, Anne-Lyse; Palmero Aprosio, Alessio; Rigau, German; Rospocher, Marco (2016-10-15). 「NewsReader: クロスリンガル読み取りマシンにおける知識リソースの利用により、大量のニュースストリームからより多くの知識を生成する」Knowledge-Based Systems . 110 : 60– 85. doi : 10.1016/j.knosys.2016.07.013 . ISSN  0950-7051.
20. Cunningham, Hamish (2005). 「情報抽出の自動化」, Encyclopedia of Language and Linguistics , 2, p. 665 - 677, http://gate.ac.uk/sale/ell2/ie/main.pdf (2012年6月18日閲覧).
21. Chicco, D; Masseroli, M (2016). 「オントロジーに基づく遺伝子機能アノテーションの予測と優先順位付け」 . IEEE/ACM Transactions on Computational Biology and Bioinformatics . 13 (2): 248– 260. doi :10.1109/TCBB.2015.2459694. PMID  27045825. S2CID  2795344.
22. Erdmann, M.; Maedche, Alexander; Schnurr, H.-P.; Staab, Steffen (2000). 「手動から半自動セマンティックアノテーションへ：オントロジーベースのテキストアノテーションツールについて」, Proceedings of the COLING , http://www.ida.liu.se/ext/epa/cis/2001/002/paper.pdf (2012年6月18日閲覧).
23. Rao, Delip; McNamee, Paul; Dredze, Mark (2011). 「エンティティリンク：ナレッジベース内の抽出エンティティの検索」『マルチソース、マルチリンガル情報抽出および要約』、http://www.cs.jhu.edu/~delip/entity-linking.pdf ^{[ permanent dead link ]} (取得日：2012年6月18日).
24. Rocket Software, Inc. (2012). 「テキストから情報を抽出する技術」、http://www.rocketsoftware.com/products/aerotext Archived 2013-06-21 at the Wayback Machine (取得日: 2012年6月18日).
25. Orchestr8 (2012):「AlchemyAPI の概要」、http://www.alchemyapi.com/api、Wayback Machineで 2016 年 5 月 13 日にアーカイブ(取得日: 2012 年 6 月 18 日)。
26. シェフィールド大学 (2011). 「ANNIE: ほぼ新しい情報抽出システム」, http://gate.ac.uk/sale/tao/splitch6.html#chap:annie (2012年6月18日閲覧).
27. ILP Network of Excellence. 「ASIUM (LRI)」、http://www-ai.ijs.si/~ilpnet2/systems/asium.html (2012年6月18日取得).
28. Attensity (2012). 「Exhaustive Extraction」、http://www.attensity.com/products/technology/semantic-server/exhaustive-extraction/ 2012年7月11日アーカイブ、Wayback Machine (2012年6月18日取得).
29. Mendes, Pablo N.; Jakob, Max; Garcia-Sílva, Andrés; Bizer; Christian (2011). 「DBpedia Spotlight: Shedding Light on the Web of Documents」, Proceedings of the 7th International Conference on Semantic Systems , p. 1 - 8, http://www.wiwiss.fu-berlin.de/en/institute/pwo/bizer/research/publications/Mendes-Jakob-GarciaSilva-Bizer-DBpediaSpotlight-ISEM2011.pdf Archived 2012-04-05 at the Wayback Machine (retrieved: 18.06.2012).
30. ガンガミ、アルド;プレスッティ、ヴァレンティーナ。レフォルジャート・レクペロ、ディエゴ。ヌッツォレーゼ、アンドレア・ジョバンニ。ドライッキオ、フランチェスコ。モンジョヴィ、ミサエル (2016)。 「FRED を使用したセマンティック Web マシン読み取り」、セマンティック Web ジャーナル、doi :10.3233/SW-160240、http://www.semantic-web-journal.net/system/files/swj1379.pdf
31. Adrian, Benjamin; Maus, Heiko; Dengel, Andreas (2009). 「iDocument: オントロジーを用いたテキスト情報抽出」, http://www.dfki.uni-kl.de/~maus/dok/AdrianMausDengel09.pdf (2012年6月18日閲覧).
32. SRA International, Inc. (2012). 「NetOwl Extractor」、http://www.sra.com/netowl/entity-extraction/、Wayback Machineで2012年9月24日にアーカイブ（2012年6月18日取得）。
33. Fortuna, Blaz; Grobelnik, Marko; Mladenic, Dunja (2007). 「OntoGen: Semi-automatic Ontology Editor」, Proceedings of the 2007 conference on Human interface, Part 2 , p. 309 - 318, http://analytics.ijs.si/~blazf/papers/OntoGen2_HCII2007.pdf Archived 2013-09-18 at the Wayback Machine (retrieved: 18.06.2012).
34. Missikoff, Michele; Navigli, Roberto; Velardi, Paola (2002). 「Webオントロジー学習とエンジニアリングへの統合アプローチ」Computer , 35(11), p. 60 - 63, http://wwwusers.di.uniroma1.it/~velardi/IEEE_C.pdf Archived 2017-05-19 at the Wayback Machine (retrieved: 18.06.2012).
35. McDowell, Luke K.; Cafarella, Michael (2006). 「Ontology-driven Information Extraction with OntoSyphon」, Proceedings of the 5th international conference on The Semantic Web , p. 428 - 444, http://turing.cs.washington.edu/papers/iswc2006McDowell-final.pdf (2012年6月18日閲覧).
36. Yildiz, Burcu; Miksch, Silvia (2007). 「ontoX - オントロジー駆動型情報抽出法」, Proceedings of the 2007 international conference on Computational science and its applications , 3, p. 660 - 673, http://publik.tuwien.ac.at/files/pub-inf_4769.pdf Archived 2017-07-05 at the Wayback Machine (retrieved: 18.06.2012).
37. semanticweb.org (2011). 「PoolParty Extractor」、http://semanticweb.org/wiki/PoolParty_Extractor、Wayback Machineで2016年3月4日にアーカイブ（2012年6月18日取得）。
38. Dill, Stephen; Eiron, Nadav; Gibson, David; Gruhl, Daniel; Guha, R.; Jhingran, Anant; Kanungo, Tapas; Rajagopalan, Sridhar; Tomkins, Andrew; Tomlin, John A.; Zien, Jason Y. (2003). 「SemTag and Seeker: Bootstraping the Semantic Web via Automated Semantic Annotation」, Proceedings of the 12th international conference on World Wide Web , p. 178 - 186, http://www2003.org/cdrom/papers/refereed/p831/p831-dill.html (2012年6月18日閲覧).
39. Uren, Victoria; Cimiano, Philipp; Iria, José; Handschuh, Siegfried; Vargas-Vera, Maria; Motta, Enrico; Ciravegna, Fabio (2006). 「知識管理のためのセマンティックアノテーション：要件と最新技術の概観」『Webセマンティクス：ワールドワイドウェブ上の科学、サービス、エージェント』 4(1), p. 14 - 28, http://staffwww.dcs.shef.ac.uk/people/J.Iria/iria_jws06.pdf ^{[ permanent dead link ]} , (取得日：2012年6月18日).
40. Cimiano, Philipp; Völker, Johanna (2005). 「Text2Onto - オントロジー学習とデータ駆動型変化発見のためのフレームワーク」, Proceedings of the 10th International Conference of Applications of Natural Language to Information Systems , 3513, p. 227 - 238, http://www.cimiano.de/Publications/2005/nldb05/nldb05.pdf (2012年6月18日閲覧).
41. Maedche, Alexander; Volz, Raphael (2001). 「オントロジー抽出およびメンテナンスフレームワーク Text-To-Onto」, IEEE International Conference on Data Mining の議事録, http://users.csc.calpoly.edu/~fkurfess/Events/DM-KM-01/Volz.pdf (2012年6月18日取得).
42. Machine Linking. 「Linked Open Dataクラウドに接続します」、http://thewikimachine.fbk.eu/html/index.html、Wayback Machineに2012年7月19日アーカイブ（2012年6月18日閲覧）。
43. Inxight Federal Systems (2008). 「Inxight ThingFinder および ThingFinder Professional」、http://inxightfedsys.com/products/sdks/tf/、Wayback Machineに2012年6月29日アーカイブ（2012年6月18日取得）。
44. Frawley William. F. et al. (1992), "Knowledge Discovery in Databases: An Overview", AI Magazine (Vol 13, No 3), 57-70 (オンライン版: http://www.aaai.org/ojs/index.php/aimagazine/article/viewArticle/1011 Archived 2016-03-04 at the Wayback Machine )
45. Fayyad U. et al. (1996), "From Data Mining to Knowledge Discovery in Databases", AI Magazine (Vol 17, No 3), 37-54 (オンライン版: http://www.aaai.org/ojs/index.php/aimagazine/article/viewArticle/1230 2016年5月4日アーカイブ、Wayback Machine
46. Cao, L. (2010). 「ドメイン駆動型データマイニング：課題と展望」. IEEE Transactions on Knowledge and Data Engineering . 22 (6): 755– 769. CiteSeerX 10.1.1.190.8427 . doi :10.1109/tkde.2010.32. S2CID  17904603. 

「https://en.wikipedia.org/w/index.php?title=Knowledge_extraction&oldid=1319475699」より取得