X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Вопрос по robots.txt
alexxx1980
alexxx1980
Topic Starter сообщение 2.10.2013, 9:57; Ответить: alexxx1980
Сообщение #1


Участник
***

Группа: User
Сообщений: 229
Регистрация: 27.1.2009
Поблагодарили: 3 раза
Репутация:   0  


Добрый день!
Подскажите кто знает пожалуйста по файлу роботс.тхт:
На сайте есть около 1000 страниц вида www.сайт.ру/стройка
И около 1000 страниц вида www.сайт.ру/стройка?tab=0
Поисковики конечно видят куча повторяющихся страниц и это негативно влияет на продвижение ресурса.

Сделал роботс так:
User-Agent: *
Allow: /
Disallow: /*tab=

Правильно ли закрыты 1000 страниц вида www.сайт.ру/стройка?tab=0 для яндекса и гугла?
И вообще гугл увидит этот запрет, написанные в файле robots.txt? А то прошло уже 4 дня после написания этого робоса, а страниц как было так и осталось...

Сообщение отредактировал alexxx1980 - 2.10.2013, 9:57
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
sorbena
sorbena
сообщение 2.10.2013, 12:22; Ответить: sorbena
Сообщение #2


Новичок
*

Группа: User
Сообщений: 39
Регистрация: 14.3.2013
Из: Санкт Петербург
Поблагодарили: 5 раз
Репутация:   0  


Правильно. Можно сразу Disallow: /*?
http://webmaster.yandex.ru/robots.xml - здесь для яндекса можно проверить.
Для гугла обычно роботс долго игнорируется.
4 дня мало. Сохраненная копия после апдейта яндекса от 24 сентября, все что после не учтено.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
alexxx1980
alexxx1980
Topic Starter сообщение 2.10.2013, 12:34; Ответить: alexxx1980
Сообщение #3


Участник
***

Группа: User
Сообщений: 229
Регистрация: 27.1.2009
Поблагодарили: 3 раза
Репутация:   0  


sorbena,
Да, спасибо!
В вебмастерах яндекса и гугла уже проверил правильность написания файла роботс.тхт.
Теперь возник вопрос по значимости файла роботс для гугла. Для яндекса я так понимаю все хорошо - раз написано -> удаляет страницы полностью и это хорошо. Нет контента повторяющегося или пустых страниц.
А у гугла все пишут, что контент он удаляет на этих страницах, а сами страницы нет. Так ли это по вашему мнению?
А то гугл пишет, что у меня на сайте куча кучная повторяющихся тайтлов...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
sorbena
sorbena
сообщение 2.10.2013, 12:46; Ответить: sorbena
Сообщение #4


Новичок
*

Группа: User
Сообщений: 39
Регистрация: 14.3.2013
Из: Санкт Петербург
Поблагодарили: 5 раз
Репутация:   0  


Для гугла роботс особо не использую. Если критично делаю редиректы. Закрытые страницы не учитываются в поиске, но продолжают существовать. Я не встречала пустых страниц , закрытых в роботе гугла. Или есть или нет. Но не отрицаю такой возможности. Когда прописовала запрет в метатегах тогда да. Было.

Сообщение отредактировал sorbena - 2.10.2013, 12:47
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ManGysITI
ManGysITI
сообщение 2.10.2013, 14:14; Ответить: ManGysITI
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 426
Регистрация: 8.10.2011
Из: Минск
Поблагодарили: 141 раз
Репутация:   19  


Вот не понимаю, нафига заниматься мазохизмом. Нахрена нужны эти страницы если потом думать как их закрыть. Лучше сделать так, чтобы их поисковик вообще не видел (подгружать яваскриптом и т.д.).


--------------------
Оптимизация и продвижение сайтов - консультации от 30$ Связь через личку
Качественный копирайт заказываю здесь.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Mario2002
Mario2002
сообщение 2.10.2013, 14:58; Ответить: Mario2002
Сообщение #6


Участник
***

Группа: User
Сообщений: 187
Регистрация: 29.7.2008
Из: Москва
Поблагодарили: 38 раз
Репутация:   2  


Есть такая штука как указание канонической ссылки для страницы:
<link rel="canonical" href="..." />

А вообще я бы это переделал на ajax, либо саму ссылку с tab=0 формировал бы через JS.

Сообщение отредактировал Mario2002 - 2.10.2013, 14:59
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
martikus
martikus
сообщение 2.10.2013, 15:10; Ответить: martikus
Сообщение #7


Старожил
******

Группа: Active User
Сообщений: 1034
Регистрация: 7.3.2010
Из: Украина
Поблагодарили: 521 раз
Репутация:   82  


Для Google можете их сами поудалять воспользовавшись инструментов в панели Вабмастера.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
sorbena
sorbena
сообщение 2.10.2013, 17:47; Ответить: sorbena
Сообщение #8


Новичок
*

Группа: User
Сообщений: 39
Регистрация: 14.3.2013
Из: Санкт Петербург
Поблагодарили: 5 раз
Репутация:   0  


Может быть и не в тему, но этот способ "либо саму ссылку с tab=0 формировал бы через JS." l дает кучу дублирующих страниц, от которых потом и приходится избавлятся. Например, поиск, фильтры и пагинация на JS.
Буду благодарна, если кто научит делать на JS не создавая копий старниц.
У меня в связи с этим сайт под фильтром, поэтому проблема актуальна, в моем случае пришлось старые страницы редиретить, а сам каталог выводит на ajaxe.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Вопрос по seo для интернет магазина
куда девать продвинутые товары, которые уже не выпускают
15 viktormerke 2545 Сегодня, 11:53
автор: Caterpillar
Открытая тема (нет новых ответов) Вопрос к знатокам Instagram
20 SEOMR 4172 30.11.2017, 14:25
автор: DiscordPro
Открытая тема (нет новых ответов) Вопрос про Телеграмм
18 syd2010 1142 28.11.2017, 14:25
автор: PostBrigada
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47480 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыАrticle manager вопрос
0 Smile3D 440 24.11.2017, 18:27
автор: Smile3D


 



RSS Текстовая версия Сейчас: 14.12.2017, 23:14
Дизайн