クローリング

「クローリング」とは？意味を解説

インターネット上のウェブページを自動的に訪問し、ページの内容を読み込んで分析・データ収集する技術。検索エンジンのロボットがページをインデックスする際に使用されるほか、価格比較サイトやデータマイニング、市場調査などでも活用されます。対象サイトへの負荷に配慮した倫理的な使用が重要です。

例文

• Googleのクローリングにより新しいページが検索結果に追加される。
• クローリング技術を使って競合他社の商品情報を収集する。
• robots.txtでクローリングの許可範囲を制限している。

「クローリング」の言い換え・類語

「クローリング」の対義語

連想語・周辺概念

語源・由来

英語の「crawl（這う・巡る）」に由来。ウェブ上を自動プログラムが這うように移動してデータを集める様子から命名。1990年代の検索エンジン発展とともに一般的な用語となりました。

英語で言うと

「クローリング」との違いを比較する

似た言葉との違い・使い分けを解説しています。