X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Роботс.тхт и Гугл
bazatrust
bazatrust
Topic Starter сообщение 7.7.2012, 22:16; Ответить: bazatrust
Сообщение #1


Завсегдатай
*****

Группа: Active User
Сообщений: 677
Регистрация: 3.3.2012
Из: Ибицы
Поблагодарили: 171 раз
Репутация:   24  


Добрый день. Давно уже борюсь с пс Гугл, в файле роботс.тхт закрываю все разделы дублирующиеся и нет, лишь бы он не индексировал не нужное. В индексе примерно 15000 страниц, а нужно то всего лишь 30 - основных, которые у Яши в индексе.
Также даже ставил но фоллоу, но все равно не помогает, новые страницы в индексе, хоть и запрещены.

//Закрывать все разделы начал из-за того, что мой сайт оказался под фильтром Гугла (панда). Также пришлось удалять разделы через спец. форму, для быстрого удаления. Но и это не помогло, большая часть не удалилась.
Для чистки домена решил воспользоваться "услугой" редирект 301, но и тут не все так гладко, не все страницы выпали, осталось 61.

Вот мой файл роботс.тхт , может в нем проблема, почему Гугл "жрет" все подряд.


Host: domain.com

User-agent: *

Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /Zend/
Disallow: /it/*
Disallow: /ar/*
Disallow: /cs/*
Disallow: /nb/*
Disallow: /sv/*
Disallow: /mypage/
Disallow: /my1/
Disallow: /css/
Disallow: /ru/mypage/
Disallow: /ru/my1/
Disallow: /ru/personalpage/
Disallow: /ru/news/
Disallow: /fr/*
Disallow: /component/*
Disallow: /en/*
Disallow: /*?language*
Disallow: /en/*
Disallow: /ar/*
Disallow: /fr/*
Disallow: /ch/*
Disallow: /de/*
Disallow: /*/search/browse/*

Disallow: /it/
Disallow: /ar/
Disallow: /cs/
Disallow: /nb/
Disallow: /sv/
Disallow: /mypage/
Disallow: /my1/
Disallow: /css/
Disallow: /ru/mypage/
Disallow: /ru/my1/
Disallow: /ru/personalpage/
Disallow: /ru/news/
Disallow: /de/
Disallow: /fr/
Disallow: /component/
Disallow: /en/
Disallow: /ar/
Disallow: /ch/
Disallow: /search/browse/


Sitemap: http://domain.com/sitemap.xml


--------------------
> Провожу анализ внешней оптимизации конкурентов.

> - Узнай секреты и стань первым!
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
i004
i004
сообщение 8.7.2012, 0:24; Ответить: i004
Сообщение #2


Новичок
*

Группа: User
Сообщений: 22
Регистрация: 6.7.2012
Поблагодарили: 3 раза
Репутация:   0  


bazatrust,

1. Вроде гугл не обрабатывает * в урлах robots.txt (как это умеет делать яндекс)
2. В гугл вебмастере есть страничка где можно проверить что запрещается через ваш robots.txt, а что нет
3. Нужно время smile.gif


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AleZ
AleZ
сообщение 8.7.2012, 0:35; Ответить: AleZ
Сообщение #3


Частый гость
**

Группа: User
Сообщений: 70
Регистрация: 7.6.2012
Из: Москва
Поблагодарили: 28 раз
Репутация:   6  


Запрещение уже проиндексированных страниц в robots.txt не удаляет их из индекса, это придется делать вручную в Вебмастере. Т.е. нужно либо думать сразу, либо долго и упорно чистить.
И да, для Google этого мало. Пришлось вводить rel="canonical" и отдельно rel=Prev и rel=Next (для страниц с нумерацией). Только так удалось побороть основные дубли, вызванные работой движка.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bazatrust
bazatrust
Topic Starter сообщение 8.7.2012, 13:25; Ответить: bazatrust
Сообщение #4


Завсегдатай
*****

Группа: Active User
Сообщений: 677
Регистрация: 3.3.2012
Из: Ибицы
Поблагодарили: 171 раз
Репутация:   24  


(i004 @ 8.7.2012, 0:24) *
2. В гугл вебмастере есть страничка где можно проверить что запрещается через ваш robots.txt, а что нет

Да, там написано, что заблокированно 73 урл, хотя должно быть порядка 1000-3000.

(AleZ @ 8.7.2012, 0:35) *
Запрещение уже проиндексированных страниц в robots.txt не удаляет их из индекса

Я знаю, но они были запрещены до вхождения в индекс и новый домен тому подтверждение.


--------------------
> Провожу анализ внешней оптимизации конкурентов.

> - Узнай секреты и стань первым!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kazamin
kazamin
сообщение 8.7.2012, 16:28; Ответить: kazamin
Сообщение #5


Новичок
*

Группа: Viewer
Сообщений: 13
Регистрация: 11.1.2011
Поблагодарили: 0 раз
Репутация:   -1  


(bazatrust @ 8.7.2012, 12:25) *
Да, там написано, что заблокированно 73 урл, хотя должно быть порядка 1000-3000.


Я знаю, но они были запрещены до вхождения в индекс и новый домен тому подтверждение.

Вот такой он Google. Сам не раз сталкивался с такой проблемой. Разделы закрыты, но Google упорно их индексирует.
Решение этого вопроса не нашел. Так же буду рад, если кто знает и отпишется. Буду следить за этой темой.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Upgoing
Upgoing
сообщение 9.7.2012, 11:21; Ответить: Upgoing
Сообщение #6


Участник
***

Группа: User
Сообщений: 125
Регистрация: 6.5.2010
Из: где придется
Поблагодарили: 23 раза
Репутация:   2  


Та же ерунда, походу гугл превать хотел на роботс и делает все как хочет. Порой число проиндексированных страниц скачет +-5000 за пару дней. Просто наблюдаю со стороны. Тут нужны другие телодвижения, имеею в виду не только роботс.тхт


--------------------
Мой лучший месяц в инвестировании 3303$ c pamm и форекса, повезло :)


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serezka
serezka
сообщение 9.7.2012, 11:42; Ответить: serezka
Сообщение #7


Бывалый
****

Группа: User
Сообщений: 442
Регистрация: 7.5.2011
Из: Санкт-Петербург
Поблагодарили: 154 раза
Репутация:   28  


хех. у меня тоже гугл индексирует всё что найдёт. Хотя такое чуство что он ещё и сверху своих страниц добавляет.
В индексе яндекса 350 страниц, в гугле 1800. При чём лично я даже не знаю что это за страницы (я вообще сомневаюсь что на сайте столько есть =). В поиске найти "левые" страницы не смог из-за ограничения выдачи. Всё что находил - удалял принудительно, но после этих действий страниц в выдаче становилось всё больше. Такая картина уже месяца 3. В итоге забил на это.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jepps
Jepps
сообщение 9.7.2012, 11:46; Ответить: Jepps
Сообщение #8


Топовый постер
*******


Группа: Banned
Сообщений: 3062
Регистрация: 22.11.2009
Из: Москва
Поблагодарили: 1259 раз
Репутация:   178  


bazatrust, в панели вебмастера есть функция удаления URL из выдачи, можно удалять не только единичные страницы, но и целые каталоги.

Сообщение отредактировал Jepps - 9.7.2012, 11:49


--------------------
Забанен за игнорирование обязательств по оплате труда (случай #2) и оскорбление администрации.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bazatrust
bazatrust
Topic Starter сообщение 9.7.2012, 12:29; Ответить: bazatrust
Сообщение #9


Завсегдатай
*****

Группа: Active User
Сообщений: 677
Регистрация: 3.3.2012
Из: Ибицы
Поблагодарили: 171 раз
Репутация:   24  


(serezka @ 9.7.2012, 11:42) *
bazatrust, в панели вебмастера есть функция удаления URL из выдачи, можно удалять не только единичные страницы, но и целые каталоги.

Разумеется я удалял каталоги, могу сделать скрин, в качестве док-ва. Но дело в том, что Гугл не все он удаляет, а по-желанию.

(serezka @ 9.7.2012, 11:42) *
хех. у меня тоже гугл индексирует всё что найдёт. Хотя такое чуство что он ещё и сверху своих страниц добавляет.
В индексе яндекса 350 страниц, в гугле 1800. При чём лично я даже не знаю что это за страницы (я вообще сомневаюсь что на сайте столько есть =). В поиске найти "левые" страницы не смог из-за ограничения выдачи. Всё что находил - удалял принудительно, но после этих действий страниц в выдаче становилось всё больше. Такая картина уже месяца 3. В итоге забил на это.

Я тоже по-началу не парился из-за них, но когда нагрянул фильтр Панда и мой сайт вылетел из топа (сейчас на 200-ых позициях, а был 3-5-7-9), траффик упал ниже плинтуса.. было за день 50-10 кликов с Гугла до 0.


--------------------
> Провожу анализ внешней оптимизации конкурентов.

> - Узнай секреты и стань первым!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Гугл жёстко игнорит новый домен
Гугл не индексирует домен
54 nahalturu 7016 Вчера, 0:22
автор: Ley
Открытая тема (нет новых ответов) Увеличение посещаемости сайта (яндекс, гугл, соц сети) - реальные люди
16 SANR 1294 13.12.2017, 13:03
автор: kukla
Открытая тема (нет новых ответов) Настройка и ведение ваших кампаний по контекстной рекламе Яндекс Директ и Гугл Эдвордс
2 AvramLincoln 486 11.12.2017, 13:18
автор: AvramLincoln
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыПочему гугл не любит кулинарный сайт?
22 aleggator 2803 10.11.2017, 14:09
автор: Emtec
Открытая тема (нет новых ответов) Промо код Гугл Эдвордс 2000 рублей
Может кому то будет нужен
3 alllffa 866 9.10.2017, 12:12
автор: alllffa


 



RSS Текстовая версия Сейчас: 15.12.2017, 6:45
Дизайн