X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Вопрос по robots.txt
alexxx1980
alexxx1980
Topic Starter сообщение 2.10.2013, 9:57; Ответить: alexxx1980
Сообщение #1


Участник
***

Группа: User
Сообщений: 229
Регистрация: 27.1.2009
Поблагодарили: 3 раза
Репутация:   0  


Добрый день!
Подскажите кто знает пожалуйста по файлу роботс.тхт:
На сайте есть около 1000 страниц вида www.сайт.ру/стройка
И около 1000 страниц вида www.сайт.ру/стройка?tab=0
Поисковики конечно видят куча повторяющихся страниц и это негативно влияет на продвижение ресурса.

Сделал роботс так:
User-Agent: *
Allow: /
Disallow: /*tab=

Правильно ли закрыты 1000 страниц вида www.сайт.ру/стройка?tab=0 для яндекса и гугла?
И вообще гугл увидит этот запрет, написанные в файле robots.txt? А то прошло уже 4 дня после написания этого робоса, а страниц как было так и осталось...

Сообщение отредактировал alexxx1980 - 2.10.2013, 9:57
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
sorbena
sorbena
сообщение 2.10.2013, 12:22; Ответить: sorbena
Сообщение #2


Новичок
*

Группа: User
Сообщений: 39
Регистрация: 14.3.2013
Из: Санкт Петербург
Поблагодарили: 5 раз
Репутация:   0  


Правильно. Можно сразу Disallow: /*?
http://webmaster.yandex.ru/robots.xml - здесь для яндекса можно проверить.
Для гугла обычно роботс долго игнорируется.
4 дня мало. Сохраненная копия после апдейта яндекса от 24 сентября, все что после не учтено.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
alexxx1980
alexxx1980
Topic Starter сообщение 2.10.2013, 12:34; Ответить: alexxx1980
Сообщение #3


Участник
***

Группа: User
Сообщений: 229
Регистрация: 27.1.2009
Поблагодарили: 3 раза
Репутация:   0  


sorbena,
Да, спасибо!
В вебмастерах яндекса и гугла уже проверил правильность написания файла роботс.тхт.
Теперь возник вопрос по значимости файла роботс для гугла. Для яндекса я так понимаю все хорошо - раз написано -> удаляет страницы полностью и это хорошо. Нет контента повторяющегося или пустых страниц.
А у гугла все пишут, что контент он удаляет на этих страницах, а сами страницы нет. Так ли это по вашему мнению?
А то гугл пишет, что у меня на сайте куча кучная повторяющихся тайтлов...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
sorbena
sorbena
сообщение 2.10.2013, 12:46; Ответить: sorbena
Сообщение #4


Новичок
*

Группа: User
Сообщений: 39
Регистрация: 14.3.2013
Из: Санкт Петербург
Поблагодарили: 5 раз
Репутация:   0  


Для гугла роботс особо не использую. Если критично делаю редиректы. Закрытые страницы не учитываются в поиске, но продолжают существовать. Я не встречала пустых страниц , закрытых в роботе гугла. Или есть или нет. Но не отрицаю такой возможности. Когда прописовала запрет в метатегах тогда да. Было.

Сообщение отредактировал sorbena - 2.10.2013, 12:47
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ManGysITI
ManGysITI
сообщение 2.10.2013, 14:14; Ответить: ManGysITI
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 426
Регистрация: 8.10.2011
Из: Минск
Поблагодарили: 141 раз
Репутация:   19  


Вот не понимаю, нафига заниматься мазохизмом. Нахрена нужны эти страницы если потом думать как их закрыть. Лучше сделать так, чтобы их поисковик вообще не видел (подгружать яваскриптом и т.д.).


--------------------
Оптимизация и продвижение сайтов - консультации от 30$ Связь через личку
Качественный копирайт заказываю здесь.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Mario2002
Mario2002
сообщение 2.10.2013, 14:58; Ответить: Mario2002
Сообщение #6


Участник
***

Группа: User
Сообщений: 187
Регистрация: 29.7.2008
Из: Москва
Поблагодарили: 38 раз
Репутация:   2  


Есть такая штука как указание канонической ссылки для страницы:
<link rel="canonical" href="..." />

А вообще я бы это переделал на ajax, либо саму ссылку с tab=0 формировал бы через JS.

Сообщение отредактировал Mario2002 - 2.10.2013, 14:59
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
martikus
martikus
сообщение 2.10.2013, 15:10; Ответить: martikus
Сообщение #7


Старожил
******

Группа: Active User
Сообщений: 1034
Регистрация: 7.3.2010
Из: Украина
Поблагодарили: 521 раз
Репутация:   82  


Для Google можете их сами поудалять воспользовавшись инструментов в панели Вабмастера.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
sorbena
sorbena
сообщение 2.10.2013, 17:47; Ответить: sorbena
Сообщение #8


Новичок
*

Группа: User
Сообщений: 39
Регистрация: 14.3.2013
Из: Санкт Петербург
Поблагодарили: 5 раз
Репутация:   0  


Может быть и не в тему, но этот способ "либо саму ссылку с tab=0 формировал бы через JS." l дает кучу дублирующих страниц, от которых потом и приходится избавлятся. Например, поиск, фильтры и пагинация на JS.
Буду благодарна, если кто научит делать на JS не создавая копий старниц.
У меня в связи с этим сайт под фильтром, поэтому проблема актуальна, в моем случае пришлось старые страницы редиретить, а сам каталог выводит на ajaxe.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Вопрос по поводу цен на сайте
16 WildWeb8 943 13.5.2018, 17:40
автор: genjnat
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
136 Akira 49814 28.4.2018, 1:36
автор: Akira
Открытая тема (нет новых ответов) Вопрос к тем, кто зарабатывает на недвижимости?
Как заработать на недвижке.?
15 Dross 2753 26.4.2018, 18:26
автор: megachange
Открытая тема (нет новых ответов) Вопрос по сетке сайтов
Стоит ли так делать?
10 asskra 1425 12.4.2018, 22:33
автор: Ancitrus
Открытая тема (нет новых ответов) Вопрос по расингу контента
5 gold15 669 2.4.2018, 19:18
автор: mmkulikov


 



RSS Текстовая версия Сейчас: 24.5.2018, 11:04
Дизайн