Apple hat in einem Support-Dokument nun offenbart, dass das Unternehmen einen Crawler verwendet, um sich ein Bild vom Internet zu machen. Was Webmaster schon eine Weile vermuteten, wird damit nun Gewissheit. Laut Apple soll der Crawler einen eigenen Index aufbauen, um Siri und die Spotlight-Suche zu unterstützen.
Ein in der Nacht veröffentlichtes Support-Dokument von Apple verrät, dass das Unternehmen nun einen Applebot hat. Ähnlich wie Googlebot und Bingbot ist es seine Aufgabe, das Internet nach relevanten Informationen zu durchsuchen. Laut Apple wird das für Siri und die Vorschläge in der Spotlight-Suche verwendet. Webmaster können den Bot über die robots.txt konfigurieren, mit Meta-Tags oder auf Wunsch IPs, die mit 17.x.x.x anfangen komplett aussperren.
Der Applebot meldet sich „beispielsweise“ als ein Mac mit OS X 10.10.1, auf dem Safari 8.0.2 verwendet wird. Am Ende der Browserkennung wird immerhin Applebot mit angegeben, sodass Webmaster ggf. reagieren können. Des Weiteren gibt es eine E-Mail-Adresse, unter der man Fragen zum Applebot stellen kann.
Apple nutzte bislang für Suchanfragen in Siri oder Vorschläge bei Spotlight Bing oder Wolfram Alpha. Von daher ist die Etablierung eines eigenen Bots ein gewissermaßen ungewohnter Schritt. Die Kollegen von 9to5mac gehen davon aus, dass Apple außerdem etwas Größeres im Sinn hat, als das Unternehmen bislang beschreibt. Eine eigene Suchmaschine in Konkurrenz zu Google oder Bing erscheint ihnen aber eher unwahrscheinlich.