X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Роботс.тхт и Гугл
bazatrust
bazatrust
Topic Starter сообщение 7.7.2012, 22:16; Ответить: bazatrust
Сообщение #1


Добрый день. Давно уже борюсь с пс Гугл, в файле роботс.тхт закрываю все разделы дублирующиеся и нет, лишь бы он не индексировал не нужное. В индексе примерно 15000 страниц, а нужно то всего лишь 30 - основных, которые у Яши в индексе.
Также даже ставил но фоллоу, но все равно не помогает, новые страницы в индексе, хоть и запрещены.

//Закрывать все разделы начал из-за того, что мой сайт оказался под фильтром Гугла (панда). Также пришлось удалять разделы через спец. форму, для быстрого удаления. Но и это не помогло, большая часть не удалилась.
Для чистки домена решил воспользоваться "услугой" редирект 301, но и тут не все так гладко, не все страницы выпали, осталось 61.

Вот мой файл роботс.тхт , может в нем проблема, почему Гугл "жрет" все подряд.


Host: domain.com

User-agent: *

Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /Zend/
Disallow: /it/*
Disallow: /ar/*
Disallow: /cs/*
Disallow: /nb/*
Disallow: /sv/*
Disallow: /mypage/
Disallow: /my1/
Disallow: /css/
Disallow: /ru/mypage/
Disallow: /ru/my1/
Disallow: /ru/personalpage/
Disallow: /ru/news/
Disallow: /fr/*
Disallow: /component/*
Disallow: /en/*
Disallow: /*?language*
Disallow: /en/*
Disallow: /ar/*
Disallow: /fr/*
Disallow: /ch/*
Disallow: /de/*
Disallow: /*/search/browse/*

Disallow: /it/
Disallow: /ar/
Disallow: /cs/
Disallow: /nb/
Disallow: /sv/
Disallow: /mypage/
Disallow: /my1/
Disallow: /css/
Disallow: /ru/mypage/
Disallow: /ru/my1/
Disallow: /ru/personalpage/
Disallow: /ru/news/
Disallow: /de/
Disallow: /fr/
Disallow: /component/
Disallow: /en/
Disallow: /ar/
Disallow: /ch/
Disallow: /search/browse/


Sitemap: http://domain.com/sitemap.xml


--------------------
> Провожу анализ внешней оптимизации конкурентов.

> - Узнай секреты и стань первым!
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
i004
i004
сообщение 8.7.2012, 0:24; Ответить: i004
Сообщение #2


bazatrust,

1. Вроде гугл не обрабатывает * в урлах robots.txt (как это умеет делать яндекс)
2. В гугл вебмастере есть страничка где можно проверить что запрещается через ваш robots.txt, а что нет
3. Нужно время smile.gif


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AleZ
AleZ
сообщение 8.7.2012, 0:35; Ответить: AleZ
Сообщение #3


Запрещение уже проиндексированных страниц в robots.txt не удаляет их из индекса, это придется делать вручную в Вебмастере. Т.е. нужно либо думать сразу, либо долго и упорно чистить.
И да, для Google этого мало. Пришлось вводить rel="canonical" и отдельно rel=Prev и rel=Next (для страниц с нумерацией). Только так удалось побороть основные дубли, вызванные работой движка.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bazatrust
bazatrust
Topic Starter сообщение 8.7.2012, 13:25; Ответить: bazatrust
Сообщение #4


(i004 @ 8.7.2012, 0:24) *
2. В гугл вебмастере есть страничка где можно проверить что запрещается через ваш robots.txt, а что нет

Да, там написано, что заблокированно 73 урл, хотя должно быть порядка 1000-3000.

(AleZ @ 8.7.2012, 0:35) *
Запрещение уже проиндексированных страниц в robots.txt не удаляет их из индекса

Я знаю, но они были запрещены до вхождения в индекс и новый домен тому подтверждение.


--------------------
> Провожу анализ внешней оптимизации конкурентов.

> - Узнай секреты и стань первым!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kazamin
kazamin
сообщение 8.7.2012, 16:28; Ответить: kazamin
Сообщение #5


(bazatrust @ 8.7.2012, 12:25) *
Да, там написано, что заблокированно 73 урл, хотя должно быть порядка 1000-3000.


Я знаю, но они были запрещены до вхождения в индекс и новый домен тому подтверждение.

Вот такой он Google. Сам не раз сталкивался с такой проблемой. Разделы закрыты, но Google упорно их индексирует.
Решение этого вопроса не нашел. Так же буду рад, если кто знает и отпишется. Буду следить за этой темой.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Upgoing
Upgoing
сообщение 9.7.2012, 11:21; Ответить: Upgoing
Сообщение #6


Та же ерунда, походу гугл превать хотел на роботс и делает все как хочет. Порой число проиндексированных страниц скачет +-5000 за пару дней. Просто наблюдаю со стороны. Тут нужны другие телодвижения, имеею в виду не только роботс.тхт


--------------------
Мой лучший месяц в инвестировании 3303$ c pamm и форекса, повезло :)


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serezka
serezka
сообщение 9.7.2012, 11:42; Ответить: serezka
Сообщение #7


хех. у меня тоже гугл индексирует всё что найдёт. Хотя такое чуство что он ещё и сверху своих страниц добавляет.
В индексе яндекса 350 страниц, в гугле 1800. При чём лично я даже не знаю что это за страницы (я вообще сомневаюсь что на сайте столько есть =). В поиске найти "левые" страницы не смог из-за ограничения выдачи. Всё что находил - удалял принудительно, но после этих действий страниц в выдаче становилось всё больше. Такая картина уже месяца 3. В итоге забил на это.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jepps
Jepps
сообщение 9.7.2012, 11:46; Ответить: Jepps
Сообщение #8


bazatrust, в панели вебмастера есть функция удаления URL из выдачи, можно удалять не только единичные страницы, но и целые каталоги.

Сообщение отредактировал Jepps - 9.7.2012, 11:49


--------------------
Забанен за игнорирование обязательств по оплате труда (случай #2) и оскорбление администрации.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bazatrust
bazatrust
Topic Starter сообщение 9.7.2012, 12:29; Ответить: bazatrust
Сообщение #9


(serezka @ 9.7.2012, 11:42) *
bazatrust, в панели вебмастера есть функция удаления URL из выдачи, можно удалять не только единичные страницы, но и целые каталоги.

Разумеется я удалял каталоги, могу сделать скрин, в качестве док-ва. Но дело в том, что Гугл не все он удаляет, а по-желанию.

(serezka @ 9.7.2012, 11:42) *
хех. у меня тоже гугл индексирует всё что найдёт. Хотя такое чуство что он ещё и сверху своих страниц добавляет.
В индексе яндекса 350 страниц, в гугле 1800. При чём лично я даже не знаю что это за страницы (я вообще сомневаюсь что на сайте столько есть =). В поиске найти "левые" страницы не смог из-за ограничения выдачи. Всё что находил - удалял принудительно, но после этих действий страниц в выдаче становилось всё больше. Такая картина уже месяца 3. В итоге забил на это.

Я тоже по-началу не парился из-за них, но когда нагрянул фильтр Панда и мой сайт вылетел из топа (сейчас на 200-ых позициях, а был 3-5-7-9), траффик упал ниже плинтуса.. было за день 50-10 кликов с Гугла до 0.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
> Провожу анализ внешней оптимизации конкурентов.

> - Узнай секреты и стань первым!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Agent Accounts Google, TikTok, Bing, Facebook, VK, Yandex.Direct with balances(Агентские аккаунты Гугл,Фейсбук,ВКонтакте,Директ)
Не платите НДС 20% + Постоплата (Возврат до 50% бюджета)
0 ipnesterov 2256 21.4.2020, 15:54
автор: ipnesterov
Открытая тема (нет новых ответов) Ищу волшебника Гугл-таблиц
2 Bel_Ami 2037 6.12.2019, 19:36
автор: REGNET
Открытая тема (нет новых ответов) Куплю гугл отзывы на карте google
Желательно люди с Украины и хотя бы базовым уровнем
2 jorjo22 3147 13.7.2019, 23:23
автор: aleks19
Открытая тема (нет новых ответов) Настройка и ведение ваших компаний по контекстной рекламе Яндекс Директ и Гугл Эдвордс
23 AvramLincoln 10299 5.2.2019, 13:36
автор: AvramLincoln
Открытая тема (нет новых ответов) Оптимизирую Скорость Загрузки Вашего Сайта и Увеличу количество баллов в Гугл Пейдж Спид
0 procsi 3455 18.12.2017, 17:40
автор: procsi


 



RSS Текстовая версия Сейчас: 29.3.2024, 5:46
Дизайн