Главная » Статьи » Веб мастеру » Интересное

Как написать robots.txt для WordPress
Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt. Если вы вебмастер, вы должны знать назначение и синтаксис robots.txt. Файл robots.txt — это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.

В этой статье мы обсудим как должен выглядить robots.txt для WordPress.
Начнем с того, что вообще представляет из себя данный файл. Это текстовый файл, который легко можно создать в Блокноте. Имя его, как вы догадались (: robots.txt. Пишется он только мелкими строчными буквами на латинице. Robots.txt или ROBOTS.txt — не верно. Роботы будут игнорировать такой файл.

Теперь обсудим основные функции файла. Их не так много.
User-agent — имя робота. У каждого бота есть такое уникальное имя (User-agent: Yandex).
Disallow — после этой директивы мы и должны указать файл или папку, к которой запрещаем доступ относительно корня вашего сайта. Разрешается указывать только одну папку или имя файла
(Disallow: /admin).
Создадим файл robots.txt и поместим в него следующий код:
Код
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.ваш домен.org.ua
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://www.ваш домен/sitemap.xml

Этими строчками мы запретили роботам индексировать системные папки (wp-admin, wp-includes, wp-content), страницы с информацией по тегам, rss feed, поисковые результаты. Но, указали точный путь до папки с мультимедиа файлами и карты сайта. Вот и все. Файл готов. Если же вы хотите узнать больше информации о файле robots.txt, то обязательно посетите ресурс robotstxt.org.ru
Категория: Интересное | Добавил: туссин (20.03.2014)
Просмотров: 1460 | Комментарии: 1 | Теги: robots.txt, wordpress | Рейтинг: 0.0/0
Всего комментариев: 1
аватар отсутствует
OFFLINE
Максим
02.06.2020 - 18:05
Like | 0
№1
89268297746
Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]

Disqus comments

comments powered by Disqus
Гипер-ссылка на источник
HTML
BB-Code
Ссылка

Сообщить о неработающей ссылке

E-mail отправителя *:
Тема *:
Адрес материала *:
Адрес битой ссылки *:
Проверка *:

1
Свернуть
Развернуть чат
Необходима авторизация
0