Googlebot

Der Googlebot ist der Crawler von Google, er durchsucht Webseiten nach geänderten und neuen Inhalten. So werden Änderungen, neue Seiten und alte Links erkannt und in den Index aufgenommen.