種子の収集

URLキュー

マルチスレッド化

礼儀正しさ戦略

ロボット.txt

HEADリクエストによりアクセスオーバーヘッドが削減される

過去の更新に基づいて変更の頻度を予測する

サイトマップは更新頻度を示します

トピック固有のページ (権威あるサイト)

コンテンツテキストを分類する

リンクのタイトルテキストを分類する

特徴

分類

コンピューティングおよびストレージのリソース要件を償却します。

複数の URL キュー

ハッシュ配布タスク

一連の相同文書が含まれています

定期的に更新

リリース後に変更されることはほとんどありません

プッシュを購読する

アクティブクローリング（プル）

複数の定義

規格はたくさんあります

有効期限あり (ttl)

Webコンテンツの概要があります

大規模、高効率、低コスト

行ストレージ、列グループをサポート

ハッシュサーバー

ハッシュファイル

ファイル内の位置決め

ほとんどの圧縮アルゴリズムはランダム アクセスをサポートしていません

単一ファイルの圧縮

少量のドキュメント圧縮

盗作

ごみ

特徴

文書のフィンガープリント

メインコンテンツとは関係ありません

通常、ロゴ、広告、写真、ナビゲーションなどが含まれます。

テキストはインデックスの単語頻度統計に干渉する可能性があります

ラベル配布に基づく

DOMツリーに基づくフィルタリング

DOM のビジュアル機能に基づく