X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Нужна помощь robots.txt
killer1313
killer1313
Topic Starter сообщение 21.11.2011, 13:29; Ответить: killer1313
Сообщение #1


Частый гость
**

Группа: User
Сообщений: 58
Регистрация: 16.6.2011
Поблагодарили: 7 раз
Репутация:   -1  


Добрый день! у меня в роботе закрыто от индексации User-Agent: * Disallow: /page/ Disallow: /index.php?do=register и многое другое, но гугл все равно индексирует подскажите как правильно сделать! Спасибо
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Kinel
Kinel
сообщение 21.11.2011, 13:42; Ответить: Kinel
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 257
Регистрация: 14.8.2011
Поблагодарили: 147 раз
Репутация:   31  


Для гугла пропишите:

User-agent: Googlebot

и ниже все Disallow: которые надо

Другие индексирующие роботы:

User-agent: Yandex — основной робот Яндекса
User-agent: Googlebot — основной робот Google
User-agent: StackRambler — поисковый робот Рамблера
User-agent: Aport — поисковый робот Апорта
User-agent: Slurp — поисковый робот Yahoo!
User-agent: MSNBot — поисковый робот MSN
User-agent: ia_archiver — робот Alexa
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
azarchick
azarchick
сообщение 28.2.2012, 19:09; Ответить: azarchick
Сообщение #3


Частый гость
**

Группа: User
Сообщений: 53
Регистрация: 27.2.2012
Из: Беларусь
Поблагодарили: 16 раз
Репутация:   3  


Вот у меня то же самое: страницы запрещены, а все рано индексируются, некоторые в кэш даже попадают, причем роботс 100% правильный. Это только с Гуглом, в Яндексе такого не замечала.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serezka
serezka
сообщение 29.2.2012, 12:09; Ответить: serezka
Сообщение #4


Бывалый
****

Группа: User
Сообщений: 442
Регистрация: 7.5.2011
Из: Санкт-Петербург
Поблагодарили: 154 раза
Репутация:   28  


(Kinel @ 21.11.2011, 13:42) *
Для гугла пропишите:
User-agent: Googlebot

Что-то ПС зажрались . . . То для яндекса отдельно всё прописывать, теперь для гугла. Им звёздочки мало? angry.gif

Совершенно случайно пару недель назад тоже заметил, что у меня в гугле полно мусора в виде текстовых версий, пользователей, и прочего прочего ненужного, превышающее нормальные страницы в несколько раз.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Neamailer
Neamailer
сообщение 29.2.2012, 13:22; Ответить: Neamailer
Сообщение #5


Участник
***

Группа: User
Сообщений: 182
Регистрация: 28.7.2011
Из: Владивосток
Поблагодарили: 26 раз
Репутация:   -7  


Для Гугла бесполезно закрывать, он проиндексирует, все что сочтет нужным. Кстати это его свойство можно использовать для разных шпионских штучек, разъяснять не буду, гуглите и все найдете. biggrin.gif

Пользователь dota поставил мне минус в репутацию со следующим сообщением:
не прав, руки у тебя кривые. Ну тогда dota, подскажи народу, как закрыть страницы для Гугла. Не люблю крыс подзаборных, но и как кот естественно душу! censored.gif

Сообщение отредактировал Neamailer - 29.2.2012, 13:23
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Silverspam
Silverspam
сообщение 29.2.2012, 13:30; Ответить: Silverspam
Сообщение #6


Злобный SEO Злодей
*******

Группа: Super Moderator
Сообщений: 7627
Регистрация: 14.11.2009
Из: C Урала
Поблагодарили: 8204 раза
Репутация:   502  


Выяснять отношения прошу в ЛС.
Neamailer, если вы не можете банально закрыть страницы от индексации, то это ваше проблемы. А оскорблять адекватных людей не следует.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SeoExpert
SeoExpert
сообщение 29.2.2012, 13:30; Ответить: SeoExpert
Сообщение #7


SEO аналитика
*****

Группа: Active User
Сообщений: 682
Регистрация: 17.2.2012
Поблагодарили: 220 раз
Репутация:   45  


Neamailer, не robots.txt единым, как говорится. Разъяснять не буду, погуглите, все найдете.

Сообщение отредактировал SeoExpert - 29.2.2012, 13:31
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ArsenalTrast
ArsenalTrast
сообщение 29.2.2012, 14:31; Ответить: ArsenalTrast
Сообщение #8


Новичок
*

Группа: User
Сообщений: 16
Регистрация: 12.1.2011
Поблагодарили: 2 раза
Репутация:   0  


(Neamailer @ 29.2.2012, 12:22) *
Neamailer


напиши в icq все объясню 40666112
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Neamailer
Neamailer
сообщение 5.3.2012, 9:13; Ответить: Neamailer
Сообщение #9


Участник
***

Группа: User
Сообщений: 182
Регистрация: 28.7.2011
Из: Владивосток
Поблагодарили: 26 раз
Репутация:   -7  


Пользователь dota поставил мне минус в репутацию со следующим сообщением:

"не прав, руки у тебя кривые."

Я ему ответил в личку: "Хотел вам поставить 1000 в плюс, но кнопка интерфейса не работает. Вы эти бирюльки всерьез воспринимаете? Мне вас просто жаль!"

Dota отвечает: "Мне жаль вас и то как к вам будут относиться из-за этих "бирюлек". Вы ничтожны."

Мой ответ: Вообще-то здорово: серануть в личку, а потом игнорить. Ну нечего я вытащу тебя на паблик: "Dota, ах как бы мне хотелось вам не 1000 репутационных очков поставить, а 10 000. Но модеры не дают такой возможности. Может быть в "очках" вы стали бы хотя-бы в 2 раза умней. tongue.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bestmult
bestmult
сообщение 5.3.2012, 9:32; Ответить: bestmult
Сообщение #10


Участник
***

Группа: User
Сообщений: 153
Регистрация: 6.8.2011
Поблагодарили: 34 раза
Репутация:   3  


Слышал версию, что, если есть обратка на закрытую страничку, то гугл её всё равно проиндексирует даже если она закрыта от индексации. Сам с таким не сталкивался, но что-то с трудом в такое верится. Вы лучше полный текст robots.txt покажите
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Нужна верстка со знанием php
4 Nemo 354 Вчера, 7:14
автор: Nemo
Открытая тема (нет новых ответов) Психологический форум ( нужна оценка )
6 priest 1498 18.5.2018, 23:10
автор: Libby
Открытая тема (нет новых ответов) Очень нужна работа
Желательно на постоянной основе
14 Yuliya_Klim 3094 10.5.2018, 17:59
автор: Yuliya_Klim
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
136 Akira 49807 28.4.2018, 1:36
автор: Akira
Открытая тема (нет новых ответов) Нужна помощь в поиске плагина для WP
Для создания каталога
3 Frankie 845 25.4.2018, 21:20
автор: Frankie


 



RSS Текстовая версия Сейчас: 23.5.2018, 17:14
Дизайн