Помощник
|
Почему google индексирует страницы вида, http://сайт/пост/feed |
MeTrA
|
Сообщение
#1
|
||
|
|
||
|
|||
funkydance |
30.7.2012, 0:40;
Ответить: funkydance
Сообщение
#2
|
|
А эти правила для Гугл Бота прописаны?
Если стоит User-agent: Google или * то на ваш вопрос ответит только гугл |
|
|
kauak |
30.7.2012, 0:48;
Ответить: kauak
Сообщение
#3
|
|
Несколько выдержек из справки для вебмастеров от Google:
Файл robots.txt ограничивает доступ роботов, сканирующих Интернет для поисковых систем, к вашему сайту. Перед обращением к страницам сайта эти роботы автоматически ищут файл robots.txt, который запрещает им доступ к определенным страницам. Файл robots.txt необходим только в том случае, если на вашем сайте есть содержание, которое не следует включать в индекс поисковых систем. Если вы хотите, чтобы поисковые системы включали в свои индексы все содержание вашего сайта, файл robots.txt (даже пустой) не требуется. Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL-адреса, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project (www.dmoz.org), могут появиться в результатах поиска Google. Чтобы полностью исключить вероятность появления контента страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex. Если робот Googlebot начнет сканировать страницу, то обнаружит метатег noindex и не станет отображать ее в индексе. Обратите внимание: чтобы увидеть тег noindex, мы должны просканировать вашу страницу, поэтому существует небольшая вероятность, что поисковый робот Googlebot не увидит метатег noindex и не отреагирует на него. Кроме того, если вы заблокировали эту страницу с помощью файла robots.txt, мы также не сможем увидеть этот тег. Подробнее тут: http://alaev.info/blog/post/3013 Сообщение отредактировал kauak - 30.7.2012, 0:48 |
|
|
MeTrA
|
Сообщение
#4
|
|
Если стоит User-agent: Google или * то на ваш вопрос ответит только гугл Да для google это прописано в роботс. Нашел в шаблоне темы, закоментированные строчки RSS ленты комментариев, вида http://сайт/пост/feed, может он их индексировал. Но повторюсь они были закоментированы. -------------------- |
|
|
contentforsites |
1.8.2012, 11:48;
Ответить: contentforsites
Сообщение
#5
|
|
|
Потому, что robots.txt не всегда помогает . У самого как-то был подобный случай, только с Яндексом, когда он по каким-то причинам начал индексировать запрещённый в роботсе контент. Когда удалось пробиться в поддержку, ответили, что глюк. Потом страницы пропали.
|
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
⭐⭐⭐ Google Voice | Gmail - OLD аккаунты "SMS и звонки" ⭐⭐⭐ | 14 | Chekon | 4275 | 10.4.2024, 11:07 автор: Chekon |
|
Если статья не в индексе Google - она уникальна или нет? | 5 | uahomka | 1432 | 3.4.2024, 23:56 автор: Liudmila |
|
Google запускает новый браузер элементами искусственного интеллекта | 38 | arendator | 13467 | 21.3.2024, 18:10 автор: Rebex |
|
Сайт не индексируется в Google без добавления ссылок в адурилку | 4 | Nekit | 1082 | 20.3.2024, 21:44 автор: MorKer |
|
Google adwords показывает дробное количество конверсий | 0 | Megaspryt | 754 | 16.3.2024, 23:19 автор: Megaspryt |
Текстовая версия | Сейчас: 18.4.2024, 11:18 |