X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Вопрос по исключению по роботс.тхт
Илюха
Илюха
Topic Starter сообщение 21.4.2011, 7:20; Ответить: Илюха
Сообщение #1


У меня такой вопрос, может кто-то сталкивался с этим. На ВП настроены ссылки ЧПУ вида "/%year%/%monthnum%/%day%/%postname%/", но сегодня из выдачи вылетели все страницы, решив разобраться что к чему, заглянул в исключенные яндексом страницы, и увидел там исключенные ссылки вида "http://site.com/?p=1", т.е по сути это сами статьи, только без ЧПУ, причем написано что они запрещены в роботс.тхт.

Так вот вопрос, почему если ссылки ЧПУ вида, а исключил он другого типа, и страницы вылетели все равно?

Теперь другой вопрос, как их вернуть то обратно? В роботсе я не понял где строка которая запрещает индексировать статьи, роботс прилагаю:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */comments
Disallow: /feed
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /tag/
Disallow: /page/
Disallow: /category/*/*
Host: site.com
Sitemap: http://site.com/sitemap.xml


Буду рад если вы поможете мне в этом разобраться.

Сообщение отредактировал Илюха - 21.4.2011, 7:24
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 21.4.2011, 7:44; Ответить: liveman
Сообщение #2


Disallow: /*?*
Disallow: /*?

- исключить все ссылки начинающиеся с любого символа и содержащиеся в себе знак "?", кто Вам этот роботс.тхт составлял?



(Илюха @ 21.4.2011, 7:20) *
решив разобраться что к чему, заглянул в исключенные яндексом страницы, и увидел там исключенные ссылки вида "http://site.com/?p=1", т.е по сути это сами статьи, только без ЧПУ, причем написано что они запрещены в роботс.тхт.

Так вот вопрос, почему если ссылки ЧПУ вида, а исключил он другого типа, и страницы вылетели все равно?


Исключил он у Вас то, что написано в роботс.тхт, а ЧПУ видимо еще не проиндексированы. Как робот повторно пройдет по сайту и увидит измененный адрес - так и добавить Ваши страницы с ЧПУ в выдачу, а пока - что хотели, то и получили .

Сообщение отредактировал liveman - 21.4.2011, 7:47
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Илюха
Илюха
Topic Starter сообщение 21.4.2011, 7:52; Ответить: Илюха
Сообщение #3


- исключить все ссылки начинающиеся с любого символа и содержащиеся в себе знак "?", кто Вам этот роботс.тхт составлял?


На сайте разработчиков стоит такой роботс, вроде как я понял это что-бы отсечь дубли, которые создаются со знаком вопроса.

Исключил он у Вас то, что написано в роботс.тхт, а ЧПУ видимо еще не проиндексированы. Как робот повторно пройдет по сайту и увидит измененный адрес - так и добавить Ваши страницы с ЧПУ в выдачу, а пока - что хотели, то и получили .


Странно, но ЧПУ стояли изначально на сайте, в процессе ничего не менялось, это первый сайт где есть такая проблема. Так что теперь делать то посоветуете тогда, вот в чем главный вопрос?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 21.4.2011, 7:58; Ответить: liveman
Сообщение #4


Илюха, а что тут советовать:

- ждите, когда переиндексирует страницы
- закупайтесь ссылками на страницы (естественно адрес с ЧПУ)
- пишите Платонам, что и как, хотя ответ известен - "ждите и все будет".


И вообще у них роботс странный, зачем вот это?
Disallow: /search/*/feed
Disallow: /search/*/*


Если можно просто Disallow: /search/* - запретить все что находится в подкаталоге search

Сообщение отредактировал liveman - 21.4.2011, 8:03


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Илюха
Илюха
Topic Starter сообщение 21.4.2011, 8:00; Ответить: Илюха
Сообщение #5


Мда...дела. Так главное и в выдаче то были ссылки с ЧПУ уже) Я честно говоря вообще не понял в чем смысл такого исключения был и откуда он их вообще отыскал, для того чтобы исключить. Отпишу платошам, может что подскажут дельного ещё.

Сообщение отредактировал Илюха - 21.4.2011, 8:02
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SuperRomario
SuperRomario
сообщение 21.4.2011, 9:37; Ответить: SuperRomario
Сообщение #6


Илюха, попробуйте в анализатор роботса http://webmaster.yandex.ru/robots.xml добавить свой файл и несколько исключенных (выпавших) страниц и будет видно виноват роботс в выпаде страниц или все же другие факторы.


--------------------
(На Ты)


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Илюха
Илюха
Topic Starter сообщение 21.4.2011, 9:44; Ответить: Илюха
Сообщение #7


Вообще написано разрешено, но если добавить те страницы которые исключены со статьями, то пишет "запрещен правилом /*?*", т.е непонятно так-то. Да и вообще в выдаче судя по яндексу 0 страниц, но просматривая позиции я все равно сайт нахожу на местах на некоторых причем со страницами, которые исключены. Тут явно бага какая-то.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 21.4.2011, 10:00; Ответить: liveman
Сообщение #8


(Илюха @ 21.4.2011, 9:44) *
Да и вообще в выдаче судя по яндексу 0 страниц, но просматривая позиции я все равно сайт нахожу на местах на некоторых причем со страницами, которые исключены. Тут явно бага какая-то.


Тут бага нет, просто яндекс выкинул Ваши запрещенные страницы, но в выдаче они еще остались - пару апов и они вылетят из выдачи и со временем заменяться аналогами с ЧПУ, только как и писал выше - наращивайте ссылочное на страницы с ЧПУ-адресом

Сообщение отредактировал liveman - 21.4.2011, 10:02
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Илюха
Илюха
Topic Starter сообщение 21.4.2011, 10:02; Ответить: Илюха
Сообщение #9


Тут бага нет, просто яндекс выкинул Ваши запрещенные страницы, но в выдаче они еще остались - пару апов и они вылетят из выдачи и со временем заменяться аналогами с ЧПУ.


Ну ладно если внутренние, так он и главную зарубил или так и должно быть? Со временем у яндекса длиться как-то очень долго) Хотя странно почему он те ссылки посчитал, хотя стоит на сайте ЧПУ.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 21.4.2011, 10:04; Ответить: liveman
Сообщение #10


(Илюха @ 21.4.2011, 10:02) *
Ну ладно если внутренние, так он и главную зарубил или так и должно быть? Со временем у яндекса длиться как-то очень долго) Хотя странно почему он те ссылки посчитал, хотя стоит на сайте ЧПУ.


Поисковикам иногда по фигу на роботс.тхт, они могут и индексировать, то что запрещено. Даже в ФАКе Яндекса это написано (что у них роботы "тупорылые")


А главную выкинул из-за резкого запрета страниц. ПС не любят резких перемен.

Сообщение отредактировал liveman - 21.4.2011, 10:05


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Вопрос - платное размещение баннеров на сайте
10 WGN 3126 14.12.2020, 14:20
автор: Peterson
Открытая тема (нет новых ответов) Вопрос по рекламе в "инстаграме"
Только активные аккаунты могут создавать или редактировать рекламу
8 Zubkov 16021 17.1.2020, 17:49
автор: Forumacc
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыВопрос-ответ о работе форума
307 dos1k 43057 9.11.2019, 17:59
автор: heks
Открытая тема (нет новых ответов) Жена логопед, собрался ей приводить клиентов. Встал вопрос, куда приводить.
В теме перечисление доступного мне продвижения, но с чего начать?
9 memeplex 3693 16.2.2019, 15:45
автор: zyzy
Открытая тема (нет новых ответов) Предлагаю размещение качественных ссылок на форумах и сервисах вопрос ответ
21 ПроФФи 4961 2.3.2018, 20:56
автор: ShowPrint


 



RSS Текстовая версия Сейчас: 29.3.2024, 15:55
Дизайн