X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Вопрос по исключению по роботс.тхт
Илюха
Илюха
Topic Starter сообщение 21.4.2011, 7:20; Ответить: Илюха
Сообщение #1


Топовый постер
*******

Группа: Active User
Сообщений: 3894
Регистрация: 11.6.2009
Поблагодарили: 718 раз
Репутация:   107  


У меня такой вопрос, может кто-то сталкивался с этим. На ВП настроены ссылки ЧПУ вида "/%year%/%monthnum%/%day%/%postname%/", но сегодня из выдачи вылетели все страницы, решив разобраться что к чему, заглянул в исключенные яндексом страницы, и увидел там исключенные ссылки вида "http://site.com/?p=1", т.е по сути это сами статьи, только без ЧПУ, причем написано что они запрещены в роботс.тхт.

Так вот вопрос, почему если ссылки ЧПУ вида, а исключил он другого типа, и страницы вылетели все равно?

Теперь другой вопрос, как их вернуть то обратно? В роботсе я не понял где строка которая запрещает индексировать статьи, роботс прилагаю:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */comments
Disallow: /feed
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /tag/
Disallow: /page/
Disallow: /category/*/*
Host: site.com
Sitemap: http://site.com/sitemap.xml


Буду рад если вы поможете мне в этом разобраться.

Сообщение отредактировал Илюха - 21.4.2011, 7:24
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 21.4.2011, 7:44; Ответить: liveman
Сообщение #2


Участник
***


Группа: User
Сообщений: 178
Регистрация: 24.3.2011
Из: 360 км. от столицы Нашей Раши
Поблагодарили: 43 раза
Репутация:   15  


Disallow: /*?*
Disallow: /*?

- исключить все ссылки начинающиеся с любого символа и содержащиеся в себе знак "?", кто Вам этот роботс.тхт составлял?



(Илюха @ 21.4.2011, 7:20) *
решив разобраться что к чему, заглянул в исключенные яндексом страницы, и увидел там исключенные ссылки вида "http://site.com/?p=1", т.е по сути это сами статьи, только без ЧПУ, причем написано что они запрещены в роботс.тхт.

Так вот вопрос, почему если ссылки ЧПУ вида, а исключил он другого типа, и страницы вылетели все равно?


Исключил он у Вас то, что написано в роботс.тхт, а ЧПУ видимо еще не проиндексированы. Как робот повторно пройдет по сайту и увидит измененный адрес - так и добавить Ваши страницы с ЧПУ в выдачу, а пока - что хотели, то и получили .

Сообщение отредактировал liveman - 21.4.2011, 7:47
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Илюха
Илюха
Topic Starter сообщение 21.4.2011, 7:52; Ответить: Илюха
Сообщение #3


Топовый постер
*******

Группа: Active User
Сообщений: 3894
Регистрация: 11.6.2009
Поблагодарили: 718 раз
Репутация:   107  


- исключить все ссылки начинающиеся с любого символа и содержащиеся в себе знак "?", кто Вам этот роботс.тхт составлял?


На сайте разработчиков стоит такой роботс, вроде как я понял это что-бы отсечь дубли, которые создаются со знаком вопроса.

Исключил он у Вас то, что написано в роботс.тхт, а ЧПУ видимо еще не проиндексированы. Как робот повторно пройдет по сайту и увидит измененный адрес - так и добавить Ваши страницы с ЧПУ в выдачу, а пока - что хотели, то и получили .


Странно, но ЧПУ стояли изначально на сайте, в процессе ничего не менялось, это первый сайт где есть такая проблема. Так что теперь делать то посоветуете тогда, вот в чем главный вопрос?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 21.4.2011, 7:58; Ответить: liveman
Сообщение #4


Участник
***


Группа: User
Сообщений: 178
Регистрация: 24.3.2011
Из: 360 км. от столицы Нашей Раши
Поблагодарили: 43 раза
Репутация:   15  


Илюха, а что тут советовать:

- ждите, когда переиндексирует страницы
- закупайтесь ссылками на страницы (естественно адрес с ЧПУ)
- пишите Платонам, что и как, хотя ответ известен - "ждите и все будет".


И вообще у них роботс странный, зачем вот это?
Disallow: /search/*/feed
Disallow: /search/*/*


Если можно просто Disallow: /search/* - запретить все что находится в подкаталоге search

Сообщение отредактировал liveman - 21.4.2011, 8:03


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Илюха
Илюха
Topic Starter сообщение 21.4.2011, 8:00; Ответить: Илюха
Сообщение #5


Топовый постер
*******

Группа: Active User
Сообщений: 3894
Регистрация: 11.6.2009
Поблагодарили: 718 раз
Репутация:   107  


Мда...дела. Так главное и в выдаче то были ссылки с ЧПУ уже) Я честно говоря вообще не понял в чем смысл такого исключения был и откуда он их вообще отыскал, для того чтобы исключить. Отпишу платошам, может что подскажут дельного ещё.

Сообщение отредактировал Илюха - 21.4.2011, 8:02
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SuperRomario
SuperRomario
сообщение 21.4.2011, 9:37; Ответить: SuperRomario
Сообщение #6


Завсегдатай
*****

Группа: Active User
Сообщений: 637
Регистрация: 7.6.2010
Поблагодарили: 156 раз
Репутация:   25  


Илюха, попробуйте в анализатор роботса http://webmaster.yandex.ru/robots.xml добавить свой файл и несколько исключенных (выпавших) страниц и будет видно виноват роботс в выпаде страниц или все же другие факторы.


--------------------
(На Ты)


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Илюха
Илюха
Topic Starter сообщение 21.4.2011, 9:44; Ответить: Илюха
Сообщение #7


Топовый постер
*******

Группа: Active User
Сообщений: 3894
Регистрация: 11.6.2009
Поблагодарили: 718 раз
Репутация:   107  


Вообще написано разрешено, но если добавить те страницы которые исключены со статьями, то пишет "запрещен правилом /*?*", т.е непонятно так-то. Да и вообще в выдаче судя по яндексу 0 страниц, но просматривая позиции я все равно сайт нахожу на местах на некоторых причем со страницами, которые исключены. Тут явно бага какая-то.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 21.4.2011, 10:00; Ответить: liveman
Сообщение #8


Участник
***


Группа: User
Сообщений: 178
Регистрация: 24.3.2011
Из: 360 км. от столицы Нашей Раши
Поблагодарили: 43 раза
Репутация:   15  


(Илюха @ 21.4.2011, 9:44) *
Да и вообще в выдаче судя по яндексу 0 страниц, но просматривая позиции я все равно сайт нахожу на местах на некоторых причем со страницами, которые исключены. Тут явно бага какая-то.


Тут бага нет, просто яндекс выкинул Ваши запрещенные страницы, но в выдаче они еще остались - пару апов и они вылетят из выдачи и со временем заменяться аналогами с ЧПУ, только как и писал выше - наращивайте ссылочное на страницы с ЧПУ-адресом

Сообщение отредактировал liveman - 21.4.2011, 10:02
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Илюха
Илюха
Topic Starter сообщение 21.4.2011, 10:02; Ответить: Илюха
Сообщение #9


Топовый постер
*******

Группа: Active User
Сообщений: 3894
Регистрация: 11.6.2009
Поблагодарили: 718 раз
Репутация:   107  


Тут бага нет, просто яндекс выкинул Ваши запрещенные страницы, но в выдаче они еще остались - пару апов и они вылетят из выдачи и со временем заменяться аналогами с ЧПУ.


Ну ладно если внутренние, так он и главную зарубил или так и должно быть? Со временем у яндекса длиться как-то очень долго) Хотя странно почему он те ссылки посчитал, хотя стоит на сайте ЧПУ.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 21.4.2011, 10:04; Ответить: liveman
Сообщение #10


Участник
***


Группа: User
Сообщений: 178
Регистрация: 24.3.2011
Из: 360 км. от столицы Нашей Раши
Поблагодарили: 43 раза
Репутация:   15  


(Илюха @ 21.4.2011, 10:02) *
Ну ладно если внутренние, так он и главную зарубил или так и должно быть? Со временем у яндекса длиться как-то очень долго) Хотя странно почему он те ссылки посчитал, хотя стоит на сайте ЧПУ.


Поисковикам иногда по фигу на роботс.тхт, они могут и индексировать, то что запрещено. Даже в ФАКе Яндекса это написано (что у них роботы "тупорылые")


А главную выкинул из-за резкого запрета страниц. ПС не любят резких перемен.

Сообщение отредактировал liveman - 21.4.2011, 10:05


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Вопрос к знатокам Instagram
20 SEOMR 4160 30.11.2017, 14:25
автор: DiscordPro
Открытая тема (нет новых ответов) Вопрос про Телеграмм
18 syd2010 1129 28.11.2017, 14:25
автор: PostBrigada
Открытая тема (нет новых ответов) Вопрос по seo для интернет магазина
куда девать продвинутые товары, которые уже не выпускают
13 viktormerke 2352 25.11.2017, 20:06
автор: Mikki
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыАrticle manager вопрос
0 Smile3D 440 24.11.2017, 18:27
автор: Smile3D
Открытая тема (нет новых ответов) Вопрос по трансферу доменов
8 MakDonald 1194 13.11.2017, 11:40
автор: bum


 



RSS Текстовая версия Сейчас: 13.12.2017, 19:30
Дизайн