Jakie boty można z pewnością zablokować bo obiło mi się o uszy że za blokowanie botów można dostać... bana.
Mam w logach takiego oto:
Yeti/0.01 (nhn/1noon,
yetibot@naver.com, check robots.txt daily and follow it)"
I chętnie bym go zablokował i mam pytanie jakie boty można poza nim zablokować albo raczej które trzeba wpuszczać i jak powinien wyglądać taki robots.txt
