
Robots.txt do site do Guns!
E ae galera. (Post inútil, viu?)
Esse vai ser um post-relâmpago só para comentar que tenho um vício: ver o /robots.txt de sites que eu goste ou não goste. rsrsrsrs
Pensando nisso e no clima de comprei-o-ingresso-pro-show-daqui, olha o que achei no robots.txt do site do Guns N’ Roses:
User-agent: * Allow: / # # dotbot is wreckless. # User-agent: dotbot Disallow: / # # Yahoo bot is evil. # User-agent: Slurp Disallow: / # # Yahoo Pipes is for feeds not web pages. # User-agent: Yahoo Pipes 1.0 Disallow: / # # Slow your roll bing/msn. # User-agent: msnbot Crawl-delay: 10
Ou seja, ele permite geral, menos o DotBot (que é voltado para sites comerciais), o Yahoo que ele acha mal, Yahoo Pipes que é para feed e claro… como amigo do IE não é rápido, ele coloca um delay no BING/MSN!
Por favor, considere desativar o AdBlock