X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Проблемы с robots.txt
Din
Din
Topic Starter сообщение 4.9.2011, 18:15; Ответить: Din
Сообщение #1


Участник
***

Группа: User
Сообщений: 136
Регистрация: 2.8.2009
Из: Астрахань
Поблагодарили: 40 раз
Репутация:   6  


Проблема в следующем, гугл индексирует все rss хотя они закрыты от индексации, посмотрите может быть найдете косяки в robots.



Развернуть/Свернуть



User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: site.com

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Sitemap: http://site.com/sitemap.xml





Сообщение отредактировал Din - 4.9.2011, 18:17
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
metkram
metkram
сообщение 4.9.2011, 19:07; Ответить: metkram
Сообщение #2


Старожил
******

Группа: Active User
Сообщений: 1123
Регистрация: 15.2.2010
Из: Украина
Поблагодарили: 364 раза
Репутация:   38  


Мне кажется надо добавить еще Disallow: /feed/


Сегодня тоже ковырял роботс, вот только у меня индексирует ответы на комменты


--------------------
Купи и эту строчку
Купи и эту строчку
Комплексный прогон сайтов ru и en


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
LihKo
LihKo
сообщение 4.9.2011, 19:43; Ответить: LihKo
Сообщение #3


Завсегдатай
*****

Группа: Active User
Сообщений: 594
Регистрация: 12.5.2009
Из: NN
Поблагодарили: 163 раза
Репутация:   36  


(Din @ 4.9.2011, 18:15) *
Проблема в следующем, гугл индексирует все rss

Пару примеров из кеша ПС можно посмотреть, а то не совсем понятно что закрывать от индексации(понятно что фиды, но по каким урлам?)


--------------------
В реальности, не все так, как кажется очевидным ...
@ Shell-init: permission denied


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Din
Din
Topic Starter сообщение 4.9.2011, 19:53; Ответить: Din
Сообщение #4


Участник
***

Группа: User
Сообщений: 136
Регистрация: 2.8.2009
Из: Астрахань
Поблагодарили: 40 раз
Репутация:   6  


(LihKo @ 4.9.2011, 19:43) *
Пару примеров из кеша ПС можно посмотреть, а то не совсем понятно что закрывать от индексации(понятно что фиды, но по каким урлам?)

Конеш можно.
Вот такие
сайт.com/total-commander.html/feed
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
LihKo
LihKo
сообщение 4.9.2011, 20:30; Ответить: LihKo
Сообщение #5


Завсегдатай
*****

Группа: Active User
Сообщений: 594
Регистрация: 12.5.2009
Из: NN
Поблагодарили: 163 раза
Репутация:   36  


(Din @ 4.9.2011, 19:53) *
Конеш можно.
Вот такие
сайт.com/total-commander.html/feed


Думаю, правильнее будет тогда так:
Disallow: /*/feed


После того, как добавите, проверьте по панели вебмастера Гугла (Доступ для сканера).
* Есть один минус. Гугл загружает robots.txt с задержками, т.е. изменения не сразу сможите проверить.
Лучший вариант будет, в панели вебмастера Яндекса.

** Попробовал на своем тестовом "кролике". Директива работает(создал подобную страницу), доступ закрыт.
*** Есть еще один момент. Страница _может быть проиндексирована_(кде-то читал это в хелпах, сейчас не стал искать ..), даже если она запрещена в robots.txt, НО на эту страницу есть внешняя ссылка, по которой может перейти поисковый бот.(что-то типа того... почитайте хелпы в панели ВМ).


--------------------
В реальности, не все так, как кажется очевидным ...
@ Shell-init: permission denied


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Din
Din
Topic Starter сообщение 5.9.2011, 13:43; Ответить: Din
Сообщение #6


Участник
***

Группа: User
Сообщений: 136
Регистрация: 2.8.2009
Из: Астрахань
Поблагодарили: 40 раз
Репутация:   6  


(LihKo @ 4.9.2011, 20:30) *
Думаю, правильнее будет тогда так:
Disallow: /*/feed


После того, как добавите, проверьте по панели вебмастера Гугла (Доступ для сканера).
* Есть один минус. Гугл загружает robots.txt с задержками, т.е. изменения не сразу сможите проверить.
Лучший вариант будет, в панели вебмастера Яндекса.

** Попробовал на своем тестовом "кролике". Директива работает(создал подобную страницу), доступ закрыт.
*** Есть еще один момент. Страница _может быть проиндексирована_(кде-то читал это в хелпах, сейчас не стал искать ..), даже если она запрещена в robots.txt, НО на эту страницу есть внешняя ссылка, по которой может перейти поисковый бот.(что-то типа того... почитайте хелпы в панели ВМ).

Ок, спасибо большое за помощь буду юзать.


Еще появилась одна проблема, может у кого была, гоша как то неправильно пишет кол-во страниц в поиске.
Дело в следующем, на первой странице выдает.
Результатов: примерно 106 (0,07 сек.)
А если перейти на вторую страницу с результатами то уже
Результатов: 16, страница 2 (0,15 сек.)
Да и нет такой надписи что гоша скрыл похожие результаты.
Может кто сталкивался с этим.
Да, правильно должно быть 16 результатов.

Сообщение отредактировал Din - 5.9.2011, 13:52
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47506 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 511 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) Проблемы с merchant.webmoney.ru
4 deather 578 12.10.2017, 15:46
автор: phoenix_kys
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1194 26.9.2017, 13:16
автор: kstnews
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 619 8.3.2017, 1:56
автор: PavelMarty


 



RSS Текстовая версия Сейчас: 16.12.2017, 22:59
Дизайн