Всем привет! В этой статье речь пойдет о таком немаловажном в продвижении сайта файле, как robots.xtx. А если быть конкретнее, то я расскажу вам о том, как его правильно составить. Давайте я сначала объясню, что это за файл, для тех кто не знает и мы пойдем дальше. Robots.txt - это файл, ограничивающий доступ роботов к содержимому вашего сайта или блога. Более подробно об этом вы можете почитать в википедии, если вам интересно. Этот файл нам нужно будет создать в корне нашего блога. Почему его нужно поместить именно в корень сайта? Лично я не знаю. Скорее всего из-за того, что когда поисковый робот заходит на ваш сайт, он впервую очередь ищет этот файл, так как именно в нем он смотрит, какие разделы ему можно индексировать, а какие нет. Кстати, этот файл также указывает на наличие файла sitemap.xml, который упрощает роботам процесс индексации сайта. Если у вас нет этого файла, то прочитайте эту статью.

Создание Robots.txt

1.Зайдите в любой текстовый редактор, и создайте новый файл под название robots.txt 2.Теперь пропишите в нем следующие строки:

[crayon-63516036ab874664439052/] webexpertu.ru замените на название своего блога. Ну вот в принципе и все, файл robots.txt готов, теперь вам осталось загрузить его в корень вашего сайта. Если по каким то причинам вы хотите закрыть сайт полностью от индексации, то очистите наш файл и пропишите в нем следующие строки: [crayon-63516036ab87b952804488/] site.ru замените на название своего блога. Ну вот и все, друзья. Теперь вы знаете, как составлять правильный robots.txt. До встречи в следующих статьях. С Уважение, Александр Сидоренко.