Co je to Crawler?

Crawler - program, který nejčastěji systematicky prochází Internet, sbírá data navštívených webových stránek a dokumentů na nich (texty, metadata, odkazy,...) a plní jimi databáze internetových vyhledávačů. Odkazy, sebrané na stránce, crawler využívá pro své další procházení Internetu.

Méně časté jsou crawlery, využívané správci webů pro kontrolu validity odkazů nebo HTML kódu. Jiný typ crawleru umožňuje stahovat webové stránky do lokálního úložiště pro prohlížení offline.