# Sitemap Sitemap: http://www.stilisticamente.biz/sitemap.xml User-agent: * Disallow: /script Disallow: /cgi-bin/ Disallow: /note/ Disallow: /errordocs/ Disallow: captcha Disallow: menu.php # Alcuni bots sono conosciuti per essere delle seccature, # in particolarequelli che seguono servono per scaricare interi siti # consumando banda senza apportare nessun vantaggio. User-agent: sitecheck.internetseer.com Disallow: / User-agent: Zealbot Disallow: / User-agent: MSIECrawler Disallow: / User-agent: SiteSnagger Disallow: / User-agent: WebStripper Disallow: / User-agent: WebCopier Disallow: / User-agent: Fetch Disallow: / User-agent: Teleport Disallow: / User-agent: TeleportPro Disallow: / User-agent: WebZIP Disallow: / User-agent: linko Disallow: / User-agent: HTTrack Disallow: / User-agent: Microsoft.URL.Control Disallow: / User-agent: Xenu Disallow: / User-agent: larbin Disallow: / User-agent: libwww Disallow: / User-agent: ZyBORG Disallow: / # # Wget, nella sua modalità ricorsiva è un problema frequente. # Si prega di leggere la pagina man e utilizzare in modo appropriato, c'è una # opzione chiamat --wait con essa è possibile impostare il ritardo tra le visite. # User-agent: wget Disallow: / # # Il 'grub' si è sempre comportato molto male. # User-agent: grub-client Disallow: / # # Non segue le direttive di robots.txt, quindi a che serve? # User-agent: k2spider Disallow: /