MENU It's me: Mário!

site-guns

Robots.txt do site do Guns!

OFF 11 de março de 2014 0 comentários
OFF
  • 11 - 03 - 14
  •        
  • 0

E ae galera.  (Post inútil, viu?)

Esse vai ser um post-relâmpago só para comentar que tenho um vício: ver o /robots.txt de sites que eu goste ou não goste. rsrsrsrs

Pensando nisso e no clima de comprei-o-ingresso-pro-show-daqui, olha o que achei no robots.txt do site do Guns N’ Roses:

User-agent: *
Allow: /

#
# dotbot is wreckless.
#
User-agent: dotbot
Disallow: /

#
# Yahoo bot is evil.
#
User-agent: Slurp
Disallow: /

#
# Yahoo Pipes is for feeds not web pages.
#
User-agent: Yahoo Pipes 1.0
Disallow: /

#
# Slow your roll bing/msn.
#
User-agent: msnbot
Crawl-delay: 10

Ou seja, ele permite geral, menos o DotBot (que é voltado para sites comerciais), o Yahoo que ele acha mal, Yahoo Pipes que é para feed e claro… como amigo do IE não é rápido, ele coloca um delay no BING/MSN!

Por favor, considere desativar o AdBlock

Não perca nenhuma novidade, assinando nossa newsletter!



Não se preoculpe, não enviaremos muitos e-mails, nem mostraremos seu e-mail para ninguém. Dúvidas?


Deixe seu comentário! Dúvida sobre como comentar
ou vai postar código? Leia antes.