リンク腐敗

リンク腐敗(リンクデス、リンクブレイク、参照腐敗とも呼ばれる)とは、ハイパーリンクが時間の経過とともに、リソースが新しいアドレスに移転されたり、恒久的に利用できなくなったりして、当初のターゲットであるファイル、ウェブページ、またはサーバーを指し示さなくなる現象です。意図したターゲットに解決されなくなったリンクは、壊れたリンクまたはデッドリンクと呼ばれることがあります。
リンクロスの発生率は、インターネットの情報保存能力に大きく影響するため、研究対象となっています。リンクロスの発生率の推定値は、研究によって大きく異なります。情報専門家は、リンクロスによって重要なアーカイブデータが消失し、法制度や学術研究に影響を及ぼす可能性があると警告しています。
有病率
多くの研究により、ワールド ワイド ウェブ内、 URLを使用してウェブ コンテンツを引用する学術文献内、およびデジタル ライブラリ内におけるリンク腐敗の蔓延が調査されています。
2023年に行われたミリオンダラーホームページの外部リンクに関する調査では、リンクの27%はリダイレクトなしでサイトが読み込まれ、45%はリダイレクトされ、28%はさまざまなエラーメッセージが返されたことが判明しました。[ 1 ]
2002年の研究では、デジタル図書館におけるリンクの劣化はウェブ上よりもかなり遅いことが示唆されています。論文によると、1年後には約3%のオブジェクトがアクセスできなくなり、[ 2 ]半減期はほぼ23年 に達します。
2003年の調査によると、ウェブ上では毎週200リンクのうち約1リンクが切れており、[ 3 ]半減期は138週間と推定されています。この割合は、2016~2017年にYahoo!ディレクトリ(21年間の開発を経て2014年に更新を停止)のリンクを対象に行われた調査によってほぼ裏付けられ、ディレクトリのリンクの半減期は2年であることが示されました。[ 4 ]
2004年の研究では、Webリンクのサブセット(特定のファイルタイプを対象とするリンクや学術機関がホストするリンクなど)の半減期は劇的に異なる可能性があることが示されました。[ 5 ]出版用に選択されたURLは、平均的なURLよりも寿命が長いようです。 Weblockによる2015年の研究では、3つの主要なオープンアクセス出版社の全文コーパスにある参考文献からの180,000を超えるリンクを分析し、半減期が約14年であることがわかりました。[ 6 ]これは、 D-Lib Magazineの記事で引用されたURLの半数が出版後10年経ってもアクティブであったという2005年の研究を概ね裏付けています。[ 7 ]他の研究では、学術文献でのリンク腐敗率が高いことがわかりましたが、通常は半減期は4年以上であると示唆されています。[ 8 ] [ 9 ] 2013年にBMCバイオインフォマティクスで発表された研究では、トムソン・ロイターのWeb of Science引用索引から抄録内の約15,000のリンクを分析し、ウェブページの平均寿命は9.3年で、アーカイブされているのはわずか62%であることがわかりました。[ 10 ] 1996年から2019年の間に公開されたニューヨークタイムズの記事の外部リンクに関する2021年の研究では、半減期は約15年であることがわかりました(コンテンツのトピックによって大きなばらつきがあります)。ただし、機能的なリンクの13%は元のコンテンツにつながらなくなり、コンテンツドリフトと呼ばれる現象が発生していることが指摘されています。[ 11 ]
2013年の調査によると、米国最高裁判所の判決文のリンクの49%が機能していないことが判明した。[ 12 ]
2023年に米国のCOVID-19ダッシュボードを調査した研究では、2021年2月に利用可能だった州のダッシュボードの23%が、2023年4月には以前のURLでは利用できなくなっていたことが判明しました。[ 13 ]
ピュー・リサーチ・センターの調査によると、2023年には2013年のページのうち38%が消失していた。また、2023年には英語版Wikipedia記事の54%の「参考文献」セクションにリンク切れがあり、ニュース記事の23%がリンク切れのURLにリンクされていた。[ 14 ]
原因
リンクロスはいくつかの理由で発生します。対象のウェブページが削除された可能性があります。対象ページをホストするサーバーが故障したり、サービスから削除されたり、新しいドメイン名に移転したりする可能性があります。1999年にはすでに、ハードドライブに保存できるデータの量を考えると、「1つのディスク障害はアレクサンドリア図書館の焼失に匹敵する可能性がある」と指摘されていました。[ 15 ]ドメイン名の登録が失効したり、別の当事者に譲渡されたりする可能性があります。いくつかの原因により、リンクがターゲットを見つけられず、 HTTP 404 などのエラーが返されます。他の原因により、リンク作成者が意図したコンテンツとは異なるターゲットコンテンツにリンクされることがあります。
リンクが壊れるその他の理由としては、次のようなものが挙げられます。
- URL の変更を伴うウェブサイトの再構築(例:
domain.net/pine_treeに移動されるdomain.net/tree/pine) - 以前は無料だったコンテンツを有料コンテンツに移行すること[ 13 ]
- PHPなどのコードの動作が異なるサーバーアーキテクチャの変更
- 設計により変化する検索結果などの動的なページコンテンツ
- 対象ページおよび/またはそのコンテンツの削除
- リンク内にユーザー固有の情報(ログイン名など)が存在するかどうか
- コンテンツフィルタやファイアウォールによる意図的なブロック
- ドメイン名登録の有効期限
予防と検出
リンク腐敗を防ぐための戦略としては、コンテンツが存続する可能性が高い場所に配置すること、リンクが壊れる可能性が低いリンクを作成すること、既存のリンクを維持するための措置を講じること、ターゲットが移動または削除されたリンクを修復することに重点を置くことができます。
時間の経過とともに変化しないURLを作成することは、リンクロスを防ぐための基本的な方法です。予防策は、ティム・バーナーズ=リーをはじめとするウェブの先駆者たちによって推進されてきました。[ 16 ]
リンクの著者に関する戦略には次のようなものがあります。
- 二次情報源ではなく一次情報源へのリンクを貼り、安定したサイトを優先する[ 5 ]
- 研究者の個人ページにあるリソースへのリンクを避ける[ 7 ]
- クリーンなURLを使用するか、URLの正規化やURLの正規化を採用する[ 17 ]
- パーマリンクやARK、 DOI、ハンドルシステム参照、PURL、コンテンツアドレス指定などの永続的な識別子を使用する[ 18 ]
- ウェブページ以外の文書へのリンクを避ける[ 17 ]
- ディープリンクを避ける
- Internet Archive、[ 19 ] WebCite、[ 20 ] archive.today、Perma.cc、[ 21 ] Amber、[ 22 ] Arweave [ 23 ]などのウェブアーカイブへのリンク
既存のリンクの保護に関する戦略には次のようなものがあります。
- HTTP 301などのリダイレクトメカニズムを使用して、ブラウザーとクローラーを再配置されたコンテンツに自動的に誘導します。
- 同じサイト内のコンテンツが移転されたときにリンクを自動的に更新したり、リンクを正規のURLに自動的に置き換えたりできるコンテンツ管理システムを使用する[ 24 ]
- HTTP 404ページへの検索リソースの統合[ 25 ]
リンク切れの検出は、手動で行うことも自動で行うこともできます。自動化された方法としては、コンテンツ管理システムのプラグインや、XenuのLink Sleuthのようなスタンドアロンのリンク切れチェッカーなどがあります。自動チェックでは、ソフト404を返すリンクや、200 OKを返すもののコンテンツが変更されたリンクを検出できない場合があります。[ 26 ]
参照
- アーカイブチーム – ウェブアーカイブとデジタル保存に特化したグループ
- 死んだインターネット理論
- デジタル保存 – デジタル資産を長期的にアクセス可能に保つための実践
- インフォデミック – 正確な情報と不正確な情報の急速な拡散
- 失われたメディア – アクセスできないメディアの総称
- ソフトウェアの劣化 – 時間の経過によるソフトウェアの劣化または使用不能
参考文献
- ^ Szymura, Sav (2023年9月11日). 「リンク腐敗:それは何であり、どうすれば防ぐことができるのか?」 Wolfenden . 2024年8月2日時点のオリジナルよりアーカイブ。2024年8月2日閲覧。
- ^ Nelson, Michael L.; Allen, B. Danette (2002). 「デジタル図書館におけるオブジェクトの永続性と可用性」 . D-Lib Magazine . 8 (1). doi : 10.1045/january2002-nelson . 2020年7月19日時点のオリジナルよりアーカイブ。 2019年9月24日閲覧。
- ^ Fetterly, Dennis; Manasse, Mark; Najork, Marc ; Wiener, Janet (2003). 「Webページの進化に関する大規模研究」 . Proceedings of the 12th international conference on World Wide Web . 2011年7月9日時点のオリジナルよりアーカイブ。 2010年9月14日閲覧。
- ^ヴァン・デル・グラーフ、ハンス。「リンクの半減期は2年」。ZOMDirのブログ。2017年10月17日時点のオリジナル記事よりアーカイブ。 2019年1月31日閲覧。
- ^ a bケーラー、ウォレス (2004). 「ウェブページの長期研究の続き:文書の永続性に関する考察」情報研究9 ( 2). 2017年9月11日時点のオリジナルよりアーカイブ。2019年1月31日閲覧。
- ^ 「All-Time Weblock Report」 2015年8月. 2016年3月4日時点のオリジナルよりアーカイブ。 2016年1月12日閲覧。
- ^ a b McCown, Frank; Chan, Sheffan; Nelson, Michael L.; Bollen, Johan (2005). 「D-Lib MagazineにおけるWeb参照の可用性と永続性」(PDF) .第5回国際Webアーカイブ・ワークショップおよびデジタル保存(IWAW'05)議事録.オリジナル(PDF)から2012年7月17日にアーカイブ. 2005年10月12日閲覧.
- ^ Spinellis, Diomidis (2003). 「Web参照の衰退と失敗」 . Communications of the ACM . 46 (1): 71– 77. CiteSeerX 10.1.1.12.9599 . doi : 10.1145/602421.602422 . S2CID 17750450. 2020年7月23日時点のオリジナルよりアーカイブ。2007年9月29日閲覧。
- ^ Steve Lawrence、David M. Pennock、Gary William Flake他 (2001年3月). 「科学研究におけるウェブ参照の持続性」. Computer . 34 (3): 26– 31. CiteSeerX 10.1.1.97.9695 . doi : 10.1109/2.901164 . ISSN 0018-9162 . Wikidata Q21012586 .
- ^ Hennessey, Jason; Xijin Ge, Steven (2013). 「リンク減衰と緩和技術の有効性に関する学際的研究」 . BMC Bioinformatics . 14 (Suppl 14): S5. doi : 10.1186/1471-2105-14-S14-S5 . PMC 3851533. PMID 24266891 .
- ^ 「ウェブの短命性がハイパーリンクに及ぼす影響」コロンビア・ジャーナリズム・レビュー。2021年8月2日時点のオリジナルよりアーカイブ。 2021年8月2日閲覧。
- ^ Garber, Megan (2013年9月23日). 「最高裁の判決で引用されたリンクの49%は壊れている」 . The Atlantic . 2024年1月10日時点のオリジナルよりアーカイブ。 2024年1月10日閲覧。
- ^ a b Adams, Aaron M.; Chen, Xiang; Li, Weidong; Chuanrong, Zhang (2023年7月27日). 「パンデミックの正常化:州政府のCOVID-19ダッシュボードにおける地図作成上の問題の探究」 . Journal of Maps . 19 (5): 1– 9. Bibcode : 2023JMaps..19Q...1A . doi : 10.1080/17445647.2023.2235385 .
- ^ Chapekis, Athena; Bestvater, Samuel; Remy, Emma; Rivero, Gonzalo (2024年5月17日). 「オンラインコンテンツが消えるとき」 . Pew Research Center . 2024年5月18日時点のオリジナルよりアーカイブ。 2024年5月19日閲覧。
- ^ McGranaghan, Matthew (1999). 「Web、地図作成、そして信頼」 . Cartographic Perspectives (32): 3– 5. doi : 10.14714/CP32.624 . 2023年12月7日時点のオリジナルよりアーカイブ。 2023年12月7日閲覧。
- ^ Berners-Lee, Tim (1998). 「クールなURIは変わらない」 . 2000年3月2日時点のオリジナルよりアーカイブ。 2019年1月31日閲覧。
- ^ a b Kille, Leighton Walter (2014年11月8日). 「インターネットにおける「リンク腐敗」の深刻化とメディアおよびオンラインパブリッシャーのベストプラクティス」 . Journalist's Resource, Harvard Kennedy School. 2015年1月12日時点のオリジナルよりアーカイブ。 2015年1月16日閲覧。
- ^ Sicilia, Miguel-Angel, et al. 「分散型永続識別子:不変ハンドラーの基本モデル」(Wayback Machineに2023年5月10日アーカイブ)Procedia computer science 146 (2019): 123-130。
- ^ 「インターネットアーカイブ:無料の書籍、映画、音楽、ウェイバックマシンのデジタルライブラリ」 2001年3月10日. 1997年1月26日時点のオリジナルよりアーカイブ。 2013年10月7日閲覧。
- ^ Eysenbach, Gunther; Trudel, Mathieu (2005). 「Going, going, still there: Using the WebCite service to permanently archive cited web pages」 . Journal of Medical Internet Research . 7 (5): e60. doi : 10.2196/jmir.7.5.e60 . PMC 1550686. PMID 16403724 .
- ^ Zittrain, Jonathan; Albert, Kendra; Lessig, Lawrence (2014年6月12日). 「Perma: 法務文献引用におけるリンクと参照の腐敗の問題のスコープ設定と対処」(PDF) . Legal Information Management . 14 (2): 88– 99. doi : 10.1017/S1472669614000255 . S2CID 232390360. 2020年11月1日時点のオリジナルよりアーカイブ(PDF) . 2020年6月10日閲覧。
- ^ 「ハーバード大学バークマンセンター、ブロガーとウェブサイト所有者がウェブを利用できるようにするための「相互支援」ツール「Amber」をリリース | バークマンセンター」cyber.law.harvard.edu。2016年2月2日時点のオリジナルよりアーカイブ。 2016年1月28日閲覧。
- ^ 「Arweave - コミュニティ主導のエコシステム」 arweave.org . 2023年3月15日時点のオリジナルよりアーカイブ。2023年3月15日閲覧。
- ^ Rønn-Jensen, Jesper (2007年10月5日). 「ソフトウェアはユーザーエラーとリンクロスを排除する」 . Justaddwater.dk. 2007年10月11日時点のオリジナルよりアーカイブ。2007年10月5日閲覧。
- ^ Mueller, John (2007-12-14). 「Google ツールバーの最新機能に関するお知らせ」 . Google Webmaster Central ブログ. 2008年9月13日時点のオリジナルよりアーカイブ。 2008年7月9日閲覧。
- ^ Bar-Yossef, Ziv; Broder, Andrei Z.; Kumar, Ravi; Tomkins, Andrew (2004). 「Sic transit gloria telae: towards an understand of the Web's decay」. Proceedings of the 13th international conference on World Wide Web – WWW '04 . pp. 328– 337. CiteSeerX 10.1.1.1.9406 . doi : 10.1145/988672.988716 . ISBN 978-1581138443。
さらに読む
- マークウェル, ジョン; ブルックス, デイビッド W. (2002). 「壊れたリンク:教育用WWWハイパーリンクの短命な性質」.科学教育技術ジャーナル. 11 (2): 105– 108. Bibcode : 2002JSEdT..11..105M . doi : 10.1023/A:1014627511641 . S2CID 60802264 .
- ダニエル・ゴメス、マリオ・J・シルバ (2006). 「Web上の情報永続性のモデリング」(PDF) .第6回国際Webエンジニアリング会議議事録. ICWE'06.オリジナル(PDF)から2011年7月16日時点のアーカイブ。 2010年9月14日閲覧。
- デラヴァッレ, ロバート P.; ヘスター, エリック J.; ハイリヒ, ローレン F.; ドレイク, アマンダ L.; クンツマン, ジェフ W.; グレーバー, マーラ; シリング, リサ M. (2003). 「消えゆくインターネット文献:失われたインターネット文献」 . Science . 302 (5646): 787– 788. doi : 10.1126/science.1088234 . PMID 14593153. S2CID 154604929 .
- ケーラー、ウォレス (1999). 「WebページとWebサイトの一貫性と永続性の分析」アメリカ情報科学学会誌. 50 (2): 162– 180. doi : 10.1002/(SICI)1097-4571(1999)50:2<162::AID-ASI7>3.0.CO;2-B .
- セリット、カーマイン (2005). 「ウェブ上の非永続的な引用の影響:123の学術会議出版物の調査」(PDF) .アメリカ情報科学技術学会誌. 56 (7): 695– 703. CiteSeerX 10.1.1.473.2732 . doi : 10.1002/asi.20159 .
外部リンク
- 将来を見据えたURIの実現
- ニールセン、ヤコブ(1998年6月14日)「リンクロットとの戦い」 。2012年12月23日時点のオリジナルよりアーカイブ。