Как написать robots.txt для WordPress - Интересное - Веб мастеру - Полезные статьи для веб мастера - Web-Mas Portal

Главная » Статьи » Веб мастеру » Интересное

Как написать robots.txt для WordPress

Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt. Если вы вебмастер, вы должны знать назначение и синтаксис robots.txt. Файл robots.txt — это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д. В этой статье мы обсудим как должен выглядить robots.txt для WordPress. Начнем с того, что вообще представляет из себя данный файл. Это текстовый файл, который легко можно создать в Блокноте. Имя его, как вы догадались (: robots.txt. Пишется он только мелкими строчными буквами на латинице. Robots.txt или ROBOTS.txt — не верно. Роботы будут игнорировать такой файл. Теперь обсудим основные функции файла. Их не так много. User-agent — имя робота. У каждого бота есть такое уникальное имя (User-agent: Yandex). Disallow — после этой директивы мы и должны указать файл или папку, к которой запрещаем доступ относительно корня вашего сайта. Разрешается указывать только одну папку или имя файла (Disallow: /admin). Создадим файл robots.txt и поместим в него следующий код: Код User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: /trackback Disallow: /feed Disallow: /comments Host: www.ваш домен.org.ua User-agent: Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: /trackback Disallow: /feed Disallow: */comments Sitemap: http://www.ваш домен/sitemap.xml Этими строчками мы запретили роботам индексировать системные папки (wp-admin, wp-includes, wp-content), страницы с информацией по тегам, rss feed, поисковые результаты. Но, указали точный путь до папки с мультимедиа файлами и карты сайта. Вот и все. Файл готов. Если же вы хотите узнать больше информации о файле robots.txt, то обязательно посетите ресурс robotstxt.org.ru
1 2 3 4 5 Категория: Интересное \| Добавил: туссин (20.03.2014)
Просмотров: 1420 \| Комментарии: 1 \| Теги: robots.txt, wordpress \| Рейтинг: 0.0/0

Комментарии
Вконтакте
Facebook
Disqus
Ссылки
Битая сылка

Всего комментариев: 1
Порядок вывода комментариев: OFFLINE javascript:;" rel="nofollow" onclick="window.open('/index/8-16666', 'up16666', 'scrollbars=1,top=0,left=0,resizable=1,width=700,height=375'); return false; Максим 02.06.2020 - 18:05 Like \| 0 №1 89268297746

Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]

Disqus comments

comments powered by Disqus

Гипер-ссылка на источник

HTML
BB-Code
Ссылка

Сообщить о неработающей ссылке

1

Свернуть

Развернуть чат

Необходима авторизация

0