Перейти по ссылке http://robots.txt