X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Проблемы с robots.txt
Din
Din
Topic Starter сообщение 4.9.2011, 18:15; Ответить: Din
Сообщение #1


Проблема в следующем, гугл индексирует все rss хотя они закрыты от индексации, посмотрите может быть найдете косяки в robots.



Развернуть/Свернуть



User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: site.com

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Sitemap: http://site.com/sitemap.xml





Сообщение отредактировал Din - 4.9.2011, 18:17
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
metkram
metkram
сообщение 4.9.2011, 19:07; Ответить: metkram
Сообщение #2


Мне кажется надо добавить еще Disallow: /feed/


Сегодня тоже ковырял роботс, вот только у меня индексирует ответы на комменты


--------------------
Купи и эту строчку
Купи и эту строчку
Комплексный прогон сайтов ru и en


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
LihKo
LihKo
сообщение 4.9.2011, 19:43; Ответить: LihKo
Сообщение #3


(Din @ 4.9.2011, 18:15) *
Проблема в следующем, гугл индексирует все rss

Пару примеров из кеша ПС можно посмотреть, а то не совсем понятно что закрывать от индексации(понятно что фиды, но по каким урлам?)


--------------------
В реальности, не все так, как кажется очевидным ...
@ Shell-init: permission denied


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Din
Din
Topic Starter сообщение 4.9.2011, 19:53; Ответить: Din
Сообщение #4


(LihKo @ 4.9.2011, 19:43) *
Пару примеров из кеша ПС можно посмотреть, а то не совсем понятно что закрывать от индексации(понятно что фиды, но по каким урлам?)

Конеш можно.
Вот такие
сайт.com/total-commander.html/feed
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
LihKo
LihKo
сообщение 4.9.2011, 20:30; Ответить: LihKo
Сообщение #5


(Din @ 4.9.2011, 19:53) *
Конеш можно.
Вот такие
сайт.com/total-commander.html/feed


Думаю, правильнее будет тогда так:
Disallow: /*/feed


После того, как добавите, проверьте по панели вебмастера Гугла (Доступ для сканера).
* Есть один минус. Гугл загружает robots.txt с задержками, т.е. изменения не сразу сможите проверить.
Лучший вариант будет, в панели вебмастера Яндекса.

** Попробовал на своем тестовом "кролике". Директива работает(создал подобную страницу), доступ закрыт.
*** Есть еще один момент. Страница _может быть проиндексирована_(кде-то читал это в хелпах, сейчас не стал искать ..), даже если она запрещена в robots.txt, НО на эту страницу есть внешняя ссылка, по которой может перейти поисковый бот.(что-то типа того... почитайте хелпы в панели ВМ).


--------------------
В реальности, не все так, как кажется очевидным ...
@ Shell-init: permission denied


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Din
Din
Topic Starter сообщение 5.9.2011, 13:43; Ответить: Din
Сообщение #6


(LihKo @ 4.9.2011, 20:30) *
Думаю, правильнее будет тогда так:
Disallow: /*/feed


После того, как добавите, проверьте по панели вебмастера Гугла (Доступ для сканера).
* Есть один минус. Гугл загружает robots.txt с задержками, т.е. изменения не сразу сможите проверить.
Лучший вариант будет, в панели вебмастера Яндекса.

** Попробовал на своем тестовом "кролике". Директива работает(создал подобную страницу), доступ закрыт.
*** Есть еще один момент. Страница _может быть проиндексирована_(кде-то читал это в хелпах, сейчас не стал искать ..), даже если она запрещена в robots.txt, НО на эту страницу есть внешняя ссылка, по которой может перейти поисковый бот.(что-то типа того... почитайте хелпы в панели ВМ).

Ок, спасибо большое за помощь буду юзать.


Еще появилась одна проблема, может у кого была, гоша как то неправильно пишет кол-во страниц в поиске.
Дело в следующем, на первой странице выдает.
Результатов: примерно 106 (0,07 сек.)
А если перейти на вторую страницу с результатами то уже
Результатов: 16, страница 2 (0,15 сек.)
Да и нет такой надписи что гоша скрыл похожие результаты.
Может кто сталкивался с этим.
Да, правильно должно быть 16 результатов.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


Сообщение отредактировал Din - 5.9.2011, 13:52
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
138 Akira 78612 12.8.2019, 21:28
автор: neonix
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Строительная тематика.
7 regem 7587 28.3.2019, 18:31
автор: regem
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 2187 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики.
0 regem 8335 1.3.2017, 3:20
автор: regem
Открытая тема (нет новых ответов) Проблемы с версткой. Сайт поплыл.
1 igor1337 4210 3.9.2016, 19:41
автор: -Ruslaner___-


 



RSS Текстовая версия Сейчас: 28.3.2024, 18:47
Дизайн