X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Проблема с гуглом после 04.02.2013, заблокированные страницы robots.txt
Simur
Simur
Topic Starter сообщение 6.2.2013, 12:33; Ответить: Simur
Сообщение #1


Завсегдатай
*****

Группа: Active User
Сообщений: 828
Регистрация: 24.2.2010
Поблагодарили: 107 раз
Репутация:   39  


Всем привет!
После АПа 04.02.2013 в вебмастере гугла показывает заблокировано страниц 7 397 из-за robots.txt.

До этого было все ок, с роботсом ничего не делал.
Вот мой роботс:
Развернуть/Свернуть
User-agent: *
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /engine/go.php
Disallow: /newposts/
Disallow: /search/
Disallow: /user/
Disallow: /page/
Disallow: /tags/
Disallow: /*/page/
Disallow: /*/*/page/
Disallow: /*print
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /2013/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=members
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

Sitemap: http://сайт.ru/sitemap.xml

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /engine/go.php
Disallow: /newposts/
Disallow: /search/
Disallow: /user/
Disallow: /page/
Disallow: /tags/
Disallow: /*/page/
Disallow: /*/*/page/
Disallow: /*print
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /2013/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=members
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

Host: www.сайт.ru
Sitemap: http://сайт.ru/sitemap.xml


Подскажите пожалуйста, что не так? Заранее спасибо rolleyes.gif

Сообщение отредактировал falken - 6.2.2013, 12:54
Причина редактирования: +spoiler


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
_Daniel_
_Daniel_
сообщение 6.2.2013, 16:17; Ответить: _Daniel_
Сообщение #2


Частый гость
**

Группа: User
Сообщений: 74
Регистрация: 31.3.2011
Поблагодарили: 18 раз
Репутация:   6  


Simur, так в чем собственно проблема, в гугл вебмастере показывает кол-во страниц которые закрыты c помощью robots.txt
У меня 32тыс закрыто.

Сообщение отредактировал _Daniel_ - 6.2.2013, 16:19
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Simur
Simur
Topic Starter сообщение 6.2.2013, 16:47; Ответить: Simur
Сообщение #3


Завсегдатай
*****

Группа: Active User
Сообщений: 828
Регистрация: 24.2.2010
Поблагодарили: 107 раз
Репутация:   39  


Просто подумал, что может у меня в роботсе что-то нужное закрыто...


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Саймон
Саймон
сообщение 6.2.2013, 20:02; Ответить: Саймон
Сообщение #4


3 курс, я уже не школьник
******

Группа: Active User
Сообщений: 1243
Регистрация: 2.7.2011
Поблагодарили: 355 раз
Репутация:   83  


ТС, а роботс реально помогает закрыть все что в нём прописано?
Просто у меня всё равно раньше индексировалось что бы я там не писал.
Потом нашёл другой способ, он реально рабочий.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Simur
Simur
Topic Starter сообщение 6.2.2013, 20:43; Ответить: Simur
Сообщение #5


Завсегдатай
*****

Группа: Active User
Сообщений: 828
Регистрация: 24.2.2010
Поблагодарили: 107 раз
Репутация:   39  


Еслиб я знал ответ на Ваш вопрос, то я сам бы здесь не спрашивал)
Роботс закрывал не я, а оптимизаторы...
Возможно я был не внимательным и столько, и было заблокированных страниц...
Ув. модераторы, если роботс правильный и у меня нет с ним проблем, тогда тему можно закрывать.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Maxim-KL
Maxim-KL
сообщение 6.2.2013, 21:16; Ответить: Maxim-KL
Сообщение #6


MaximGroups.net
******

Группа: Banned
Сообщений: 1423
Регистрация: 24.9.2010
Из: localhost
Поблагодарили: 436 раз
Репутация:   122  


Саймон, У гугла есть такая привычка индексить все что он видит и иногда не обращать внимания на роботс. Но правда все что закрыто в роботс и гугл все равно проиндексил попадает в сопли...

Какой другой способ? Поделитесь если не секрет... popcorn2.gif


--------------------
Забанен за мошенничество
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Саймон
Саймон
сообщение 6.2.2013, 23:33; Ответить: Саймон
Сообщение #7


3 курс, я уже не школьник
******

Группа: Active User
Сообщений: 1243
Регистрация: 2.7.2011
Поблагодарили: 355 раз
Репутация:   83  


Maxim-KL, ну это для DLE я нашёл, др.движки не использую.
Научился у АлаичЪа
Начинайте читать с Запрещаем индексацию разделов сайта при помощи мета-тега robots
У меня реально работает. Позакрывал нафиг всё, кроме постов и категорий. Только они в индексе.

Сообщение отредактировал Саймон - 6.2.2013, 23:34


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
pulsar21
pulsar21
сообщение 10.2.2013, 16:45; Ответить: pulsar21
Сообщение #8


Бывалый
****

Группа: User
Сообщений: 329
Регистрация: 4.1.2013
Из: Николаев
Поблагодарили: 130 раз
Репутация:   24  


Совершенно верно, гугл часто игнорирует запреты в роботсе. Я делаю нужные запреты и удаляю вручную в вэбмастере гугла ненужные страницы. И впредь они в индекс больше не попадают. Действенный способ для сайта с небольшим кол-вом страниц.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
KipiaSoft
KipiaSoft
сообщение 10.2.2013, 17:43; Ответить: KipiaSoft
Сообщение #9


Старожил
******

Группа: Active User
Сообщений: 2096
Регистрация: 16.11.2009
Из: Волгоград
Поблагодарили: 632 раза
Репутация:   74  


(Simur @ 6.2.2013, 12:33) *
После АПа 04.02.2013 в вебмастере гугла показывает заблокировано страниц 7 397 из-за robots.txt.

встречный вопрос - а сколько на сайте реально размещено новостей и статей? файлом robots.txt исключены дубли одинаковых страниц. По идее если в индексе остались только оригинальные материалы, то файл по сути выполнил свою работу


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Проблема индексации в Google
12 Saitcena 2924 22.11.2017, 17:34
автор: metvekot
Открытая тема (нет новых ответов) Проблема с 301 редиректом в htaccess
не срабатывает с (без www) на www
14 danc1r0k 1966 2.11.2017, 14:44
автор: vadosseo
Открытая тема (нет новых ответов) Нужны наркотики? Не проблема
Скачай ТОР и покупай
17 PostBrigada 1167 29.9.2017, 11:55
автор: ECurEx
Открытая тема (нет новых ответов) Российские компании не переводят криптовалюту в рубли после ICO из-за незаконности таких операций
0 MissContent 426 11.9.2017, 15:45
автор: MissContent
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыПроблема выбора ниши для заработка
15 lektor2010 1269 11.4.2017, 21:18
автор: SeoKot


 



RSS Текстовая версия Сейчас: 12.12.2017, 8:54
Дизайн