[X] Помощник

[antontonton Topic Starter]

кто встречал такую запись в вебмастере?
/robots.txt Недостаточно качественная
и как это вообще понимать?

может появление такой записи связано с переобходом страниц - он типа воспринимает ее как обычный кокумент, но это явная яша лажа даже если это так.
ЛОЛ

[rom_4]

antontonton, почитайте в сети как люди составляют этот документ для вашего движка сайта, есть готовые примеры даже.

[JOHNY]

Какая CMS сайта?
Информационный или коммерческий?
Под какую ПС или ПС'ы заточен сайт?
Сам по себе robotx.txt зависит от задач, и не является универсальным решением.

[Ostromir]

Да выложите прямо сюда роботс как есть - мы закритикуем по максимуму )

[antontonton Topic Starter]

да критиковать нечего, файл валидный по всем стандартам, даже с пустой сторокй вверху которую мало кто делает)
просто сам факт того, что документ считается чем-то у чего может быть качество.

Кстати, к примеру я прописываю Disallow для раздела который был и его уже нет - роботы по разделу пока ходят,
так и не смог понять сколько яше нужно для того чтобы забыть до документах в разделе.
все документы уже давно не в индексе, но запросы с 404 ответам есть в логах сервера до сих пор.

Что произойдет внутри движка яши теперь?

Судя по разделу внешних ссылок - яша половину документов пометил как 404 а на половине этой пометки нет.
при этом он продолжает ходить по всем документам.

Предполагаю что Disallow не даст желаемого результата - то есть чтобы яша пометил все документы из раздела как 404,
скорее всего Disallow приведет к нежелательному - яша просто занесет раздел в "долгий список" и будет ходить по нему крайне редко,
или вообще не удалит из писка 404 страниц которые нужно пере-посетить (в надежде на их возвращение) но приостановит их посещений из за Disallow и они там так и будут висеть неопределенное время..

кто в курсе?

Сообщение отредактировал antontonton - 4.3.2019, 10:10

[VinogradOFF]

даже с пустой сторокй вверху которую мало кто делает)

Хм, а зачем пустая строка? Не разу про это требование не слышал, если честно.
У меня с гуглом последнее время проблемы - постоянно индексирует то, что закрыто и при этом сам же в панеле ошибки пишет -что вот смотри, в роботсе закрыто а в индексе то есть )

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.