X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> robot.txt правильно ли его составление?
errrol
errrol
Topic Starter сообщение 4.3.2011, 20:33; Ответить: errrol
Сообщение #1


Доброго времени уважаемые. Блог на WP посмотрел через панель Я вебмастер , что-то много страниц закрыто у меня в файле" робот тхт"

Посмотрите пожалуйста ткните если где не так.

Буду признателен Вам за помощь уважаемые .



User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.primer.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://primer/sitemap.xml
Sitemap: http://primer.ru/sitemap.xml.gz

Сообщение отредактировал errrol - 4.3.2011, 20:34


--------------------
3
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
samunris
samunris
сообщение 4.3.2011, 20:44; Ответить: samunris
Сообщение #2


Юзаю такой роботс:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
KipiaSoft
KipiaSoft
сообщение 4.3.2011, 20:45; Ответить: KipiaSoft
Сообщение #3


Много?
Да по моему маловато будет. Если сайт на WP будет, то еще страницы с генерированные тэгами, календарем, и.т.д закрывать нужно.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Reader
Reader
сообщение 4.3.2011, 20:51; Ответить: Reader
Сообщение #4


Я бы начал с названия)) robots.txt

По сабжу

User-agent: *
Disallow: /cgi-bin
# запрещаем индексацию системных папок
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
# запрещаем индексацию страницы входа и регистрации
Disallow: /wp-login.php
Disallow: /wp-register.php
# запрещаем индексацию трекбеков и rss-ленты
Disallow: /trackback
Disallow: /feed
Disallow: /rss
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: /xmlrpc.php
# запрещаем индексацию архива автора
Disallow: /author*
# запрещаем индексацию постраничных комментариев
Disallow: */comments
Disallow: */comment-page*
# запрещаем индексацию результатов поиска и других возможных лишних страниц
Disallow: /*?*
Disallow: /*?
# разрешаем индексацию вложений
Allow: /wp-content/uploads

Host: сайт.ру

Sitemap: http:// сайт.ру /sitemap.xml


Отсюда, используя гугл.

Сообщение отредактировал Reader - 4.3.2011, 20:53


--------------------


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
errrol
errrol
Topic Starter сообщение 4.3.2011, 21:29; Ответить: errrol
Сообщение #5


Большое спасибо за подробный ответ. Добавил с свой robots некоторый пункты, и открыл доступ к папке аплод.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
boricov
boricov
сообщение 5.3.2011, 14:13; Ответить: boricov
Сообщение #6


Вообще сами разработчики рекомендуют файл robots.txt такой как я описал в своей статье. Не знаю правда это или нет. Файл robots.txt для wordpress
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Maxsmart
Maxsmart
сообщение 5.3.2011, 14:27; Ответить: Maxsmart
Сообщение #7


Если не ошибаюсь, то Reader забыл вписать в роботс запрет о индексации тегов, рубрик, это тоже немаловажно...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Reader
Reader
сообщение 7.3.2011, 9:36; Ответить: Reader
Сообщение #8


(Maxsmart @ 5.3.2011, 16:27) *
Если не ошибаюсь, то Reader забыл вписать в роботс запрет о индексации тегов, рубрик, это тоже немаловажно...

Запрещать к индексации рубрики вообще не вижу смысла. Что касается тегов, то если их делать как удобный элемент навигации, то Яндекс спокойно относится к их наличию. Если их делать для количества страниц, то закрывать от индексации также нет смысла.

boricov, а блог с анкором "отсюда" все равно на порядок выше в серпе biggrin.gif

Сообщение отредактировал Reader - 7.3.2011, 9:37


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
gaishnik007
gaishnik007
сообщение 7.3.2011, 9:52; Ответить: gaishnik007
Сообщение #9


Юзаю роботс как у Reader.. Всё гуд! Рубрики открыты smile.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
boricov
boricov
сообщение 7.3.2011, 9:57; Ответить: boricov
Сообщение #10


Reader ты умник?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыТы умеешь лить траф с FB? Мы монетизируем его через Телеграм на ИНДИИ.
0 Sirbet 493 14.2.2023, 21:39
автор: Sirbet
Открытая тема (нет новых ответов) Заказать Копирайтинг | Проработка Семантического ядра | Составление ТЗ
0 yehCANA 920 19.9.2022, 18:33
автор: yehCANA
Открытая тема (нет новых ответов) Требуется ТЗ-мейкер (составление плана статьи)
0 Gusman 848 6.5.2022, 15:08
автор: Gusman
Открытая тема (нет новых ответов) Учимся правильно отвечать
17 falken 21555 13.7.2020, 18:13
автор: falken
Открытая тема (нет новых ответов) Составление семантического ядра для сайта.
1 Coremix 7493 26.5.2020, 23:02
автор: Kiloan_Frost


 



RSS Текстовая версия Сейчас: 28.3.2024, 11:59
Дизайн