X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> robots.txt
Palundra
Palundra
Topic Starter сообщение 6.12.2011, 23:34; Ответить: Palundra
Сообщение #1


Старожил
******

Группа: Active User
Сообщений: 1589
Регистрация: 21.2.2011
Из: Россия
Поблагодарили: 297 раз
Репутация:   58  


Подскажите правильный ли такой robots.txt для вордпресс?

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: site.ru

Sitemap: http://site.ru/sitemap.xml
Sitemap: http://site.ru/sitemap.xml.gz


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
jack
jack
сообщение 6.12.2011, 23:50; Ответить: jack
Сообщение #2


----------------
*******

Группа: Super Moderator
Сообщений: 7863
Регистрация: 22.3.2009
Из: глины
Поблагодарили: 10734 раза
Репутация:   591  


Palundra, я ещё и /wp-content/uploads закрываю
Тут смотря какая структура у сайта.


--------------------
Stimul-Cash и RX-Partners - лидеры фарма бизнеса!

Официальный канал MaulTalk в Telegram


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bat
bat
сообщение 8.12.2011, 6:19; Ответить: bat
Сообщение #3


Участник
***

Группа: User
Сообщений: 113
Регистрация: 8.9.2010
Поблагодарили: 14 раз
Репутация:   3  


У меня еще такие записи:
Disallow: /cgi-bin
Disallow: /wp-content/cache


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
install
install
сообщение 8.12.2011, 6:26; Ответить: install
Сообщение #4


Яндекс ЛОХ
*******


Группа: Active User
Сообщений: 3530
Регистрация: 28.5.2009
Из: Нижневартовска
Поблагодарили: 1376 раз
Репутация:   201  


(bat @ 8.12.2011, 8:19) *
/cgi-bin

а для чего эта папка?
Всегда ее удаляю, может не надо?


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bat
bat
сообщение 8.12.2011, 7:00; Ответить: bat
Сообщение #5


Участник
***

Группа: User
Сообщений: 113
Регистрация: 8.9.2010
Поблагодарили: 14 раз
Репутация:   3  


(install @ 8.12.2011, 6:26) *
а для чего эта папка?
Всегда ее удаляю, может не надо?

Если php работает под apache то она не нужна, а если php в режиме cgi, то она нужна т.к. служит для хранения серверных скриптов.
Закрываю от ботов пс потому что основные поисковики индексируют cgi-скрипты и иногда ставят их релевантнее страниц сайта.

Сообщение отредактировал bat - 8.12.2011, 7:04


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
mark3000
mark3000
сообщение 8.12.2011, 10:39; Ответить: mark3000
Сообщение #6


Бывалый
****

Группа: User
Сообщений: 357
Регистрация: 17.12.2009
Поблагодарили: 56 раз
Репутация:   3  


Может конечно глупо, но я еще и страницы и теги (page, tags) закрываю. То есть остаются только посты и категории + sitemap надо прописать если есть.


--------------------
LINKOSCOP 4 - работа с внутренней перелинковкой + утилиты для работы.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
stundr
stundr
сообщение 9.12.2011, 15:07; Ответить: stundr
Сообщение #7


Новичок
*

Группа: User
Сообщений: 25
Регистрация: 21.11.2011
Поблагодарили: 1 раз
Репутация:   0  


а подскажите как должен выглядеть robots.txt для вордпресс со стандартной схемой ссылок site.ru/?p=5170
я вот думаю, если закрывать, теги, архивы, категории, то что же будет индексировать яндекс? записи же находятся в категориях/архивах.

Сообщение отредактировал stundr - 9.12.2011, 15:09


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Bagdadn
Bagdadn
сообщение 11.12.2011, 12:31; Ответить: Bagdadn
Сообщение #8


Новичок
*

Группа: User
Сообщений: 23
Регистрация: 6.12.2011
Поблагодарили: 11 раз
Репутация:   0  


Надо из первого примера убрать:Disallow: /*?* и Disallow: /*?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47507 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 511 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1194 26.9.2017, 13:16
автор: kstnews
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 619 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики.
0 regem 696 1.3.2017, 3:20
автор: regem


 



RSS Текстовая версия Сейчас: 17.12.2017, 5:58
Дизайн