Forum e-Weblink
System wymiany linków reklamowych - Crosslinking => Informacje systemowe => Wątek zaczęty przez: melus w Grudzień 14, 2007, 14:46:45
-
Jakie boty można z pewnością zablokować bo obiło mi się o uszy że za blokowanie botów można dostać... bana.
Mam w logach takiego oto:
Yeti/0.01 (nhn/1noon, yetibot@naver.com, check robots.txt daily and follow it)"
I chętnie bym go zablokował i mam pytanie jakie boty można poza nim zablokować albo raczej które trzeba wpuszczać i jak powinien wyglądać taki robots.txt
-
tego można ;)
-
a które trzeba wpuszczać??
-
takie które przedstawija sie e-weblink.com :)