L'automa tuttelescarpe
L'automa ricerca dati come un motore di ricerca convenzionale. Normalmente i siti permettono l'accesso a tutti gli automi. Se non volete che il vostro sito apparga nei nostri dati possiamo vietare l'acceso con un codice:User-agent: all-shoes Disallow:al file robots.txt.