Gary Illyes von Google gab einen offenen Überblick über den Googlebot und erklärte, dass es Hunderte von Crawlern gibt, die nicht öffentlich dokumentiert sind.
Der Beitrag Google sagt, dass sie Hunderte undokumentierter Crawler einsetzen erschien zuerst im Search Engine Journal.