Помощник
|
Проблемы с robots.txt |
Din
|
Сообщение
#1
|
||
|
|
||
|
|||
metkram |
4.9.2011, 19:07;
Ответить: metkram
Сообщение
#2
|
|
Мне кажется надо добавить еще Disallow: /feed/
Сегодня тоже ковырял роботс, вот только у меня индексирует ответы на комменты -------------------- Купи и эту строчку Комплексный прогон сайтов ru и en |
|
|
LihKo |
4.9.2011, 19:43;
Ответить: LihKo
Сообщение
#3
|
|
Проблема в следующем, гугл индексирует все rss Пару примеров из кеша ПС можно посмотреть, а то не совсем понятно что закрывать от индексации(понятно что фиды, но по каким урлам?) -------------------- @ Shell-init: permission denied |
|
|
Din
|
Сообщение
#4
|
|
|
|
|
LihKo |
4.9.2011, 20:30;
Ответить: LihKo
Сообщение
#5
|
|
Конеш можно. Вот такие сайт.com/total-commander.html/feed Думаю, правильнее будет тогда так: Disallow: /*/feed После того, как добавите, проверьте по панели вебмастера Гугла (Доступ для сканера). * Есть один минус. Гугл загружает robots.txt с задержками, т.е. изменения не сразу сможите проверить. Лучший вариант будет, в панели вебмастера Яндекса. ** Попробовал на своем тестовом "кролике". Директива работает(создал подобную страницу), доступ закрыт. *** Есть еще один момент. Страница _может быть проиндексирована_(кде-то читал это в хелпах, сейчас не стал искать ..), даже если она запрещена в robots.txt, НО на эту страницу есть внешняя ссылка, по которой может перейти поисковый бот.(что-то типа того... почитайте хелпы в панели ВМ). -------------------- @ Shell-init: permission denied |
|
|
Din
|
Сообщение
#6
|
|
|
Думаю, правильнее будет тогда так: Disallow: /*/feed После того, как добавите, проверьте по панели вебмастера Гугла (Доступ для сканера). * Есть один минус. Гугл загружает robots.txt с задержками, т.е. изменения не сразу сможите проверить. Лучший вариант будет, в панели вебмастера Яндекса. ** Попробовал на своем тестовом "кролике". Директива работает(создал подобную страницу), доступ закрыт. *** Есть еще один момент. Страница _может быть проиндексирована_(кде-то читал это в хелпах, сейчас не стал искать ..), даже если она запрещена в robots.txt, НО на эту страницу есть внешняя ссылка, по которой может перейти поисковый бот.(что-то типа того... почитайте хелпы в панели ВМ). Ок, спасибо большое за помощь буду юзать. Еще появилась одна проблема, может у кого была, гоша как то неправильно пишет кол-во страниц в поиске. Дело в следующем, на первой странице выдает. Результатов: примерно 106 (0,07 сек.) А если перейти на вторую страницу с результатами то уже Результатов: 16, страница 2 (0,15 сек.) Да и нет такой надписи что гоша скрыл похожие результаты. Может кто сталкивался с этим. Да, правильно должно быть 16 результатов.
Сообщение отредактировал Din - 5.9.2011, 13:52 |
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ |
138 | Akira | 79083 | 12.8.2019, 21:28 автор: neonix |
|
Куплю места для размещения TXT+URL Строительная тематика. | 7 | regem | 7642 | 28.3.2019, 18:31 автор: regem |
|
Срочно требуется специалист по robots.txt Разовая работа |
1 | tankoff | 2206 | 8.3.2017, 1:56 автор: PavelMarty |
|
Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики. | 0 | regem | 8347 | 1.3.2017, 3:20 автор: regem |
|
Проблемы с версткой. Сайт поплыл. | 1 | igor1337 | 4251 | 3.9.2016, 19:41 автор: -Ruslaner___- |
Текстовая версия | Сейчас: 24.4.2024, 1:52 |