Главная » Статьи » Веб мастеру » Интересное |
Как написать robots.txt для WordPress
В этой статье мы обсудим как должен выглядить robots.txt для WordPress. Начнем с того, что вообще представляет из себя данный файл. Это текстовый файл, который легко можно создать в Блокноте. Имя его, как вы догадались (: robots.txt. Пишется он только мелкими строчными буквами на латинице. Robots.txt или ROBOTS.txt — не верно. Роботы будут игнорировать такой файл. Теперь обсудим основные функции файла. Их не так много. User-agent — имя робота. У каждого бота есть такое уникальное имя (User-agent: Yandex). Disallow — после этой директивы мы и должны указать файл или папку, к которой запрещаем доступ относительно корня вашего сайта. Разрешается указывать только одну папку или имя файла (Disallow: /admin). Создадим файл robots.txt и поместим в него следующий код: Код User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: */feed Disallow: */comments Host: www.ваш домен.org.ua User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: */feed Disallow: */comments Sitemap: http://www.ваш домен/sitemap.xml Этими строчками мы запретили роботам индексировать системные папки (wp-admin, wp-includes, wp-content), страницы с информацией по тегам, rss feed, поисковые результаты. Но, указали точный путь до папки с мультимедиа файлами и карты сайта. Вот и все. Файл готов. Если же вы хотите узнать больше информации о файле robots.txt, то обязательно посетите ресурс robotstxt.org.ru | |
Просмотров: 1460 | Комментарии: 1 | | |
Всего комментариев: 1 | |
| |
Disqus comments
comments powered by DisqusHTML | |
BB-Code | |
Ссылка |