E ae galera.  (Post inútil, viu?)

Esse vai ser um post-relâmpago só para comentar que tenho um vício: ver o /robots.txt de sites que eu goste ou não goste. rsrsrsrs

Pensando nisso e no clima de comprei-o-ingresso-pro-show-daqui, olha o que achei no robots.txt do site do Guns N’ Roses:

User-agent: *
Allow: /

#
# dotbot is wreckless.
#
User-agent: dotbot
Disallow: /

#
# Yahoo bot is evil.
#
User-agent: Slurp
Disallow: /

#
# Yahoo Pipes is for feeds not web pages.
#
User-agent: Yahoo Pipes 1.0
Disallow: /

#
# Slow your roll bing/msn.
#
User-agent: msnbot
Crawl-delay: 10

Ou seja, ele permite geral, menos o DotBot (que é voltado para sites comerciais), o Yahoo que ele acha mal, Yahoo Pipes que é para feed e claro… como amigo do IE não é rápido, ele coloca um delay no BING/MSN!