X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Нужна помощь robots.txt
killer1313
killer1313
Topic Starter сообщение 21.11.2011, 13:29; Ответить: killer1313
Сообщение #1


Добрый день! у меня в роботе закрыто от индексации User-Agent: * Disallow: /page/ Disallow: /index.php?do=register и многое другое, но гугл все равно индексирует подскажите как правильно сделать! Спасибо
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Kinel
Kinel
сообщение 21.11.2011, 13:42; Ответить: Kinel
Сообщение #2


Для гугла пропишите:

User-agent: Googlebot

и ниже все Disallow: которые надо

Другие индексирующие роботы:

User-agent: Yandex — основной робот Яндекса
User-agent: Googlebot — основной робот Google
User-agent: StackRambler — поисковый робот Рамблера
User-agent: Aport — поисковый робот Апорта
User-agent: Slurp — поисковый робот Yahoo!
User-agent: MSNBot — поисковый робот MSN
User-agent: ia_archiver — робот Alexa
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
azarchick
azarchick
сообщение 28.2.2012, 19:09; Ответить: azarchick
Сообщение #3


Вот у меня то же самое: страницы запрещены, а все рано индексируются, некоторые в кэш даже попадают, причем роботс 100% правильный. Это только с Гуглом, в Яндексе такого не замечала.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serezka
serezka
сообщение 29.2.2012, 12:09; Ответить: serezka
Сообщение #4


(Kinel @ 21.11.2011, 13:42) *
Для гугла пропишите:
User-agent: Googlebot

Что-то ПС зажрались . . . То для яндекса отдельно всё прописывать, теперь для гугла. Им звёздочки мало? angry.gif

Совершенно случайно пару недель назад тоже заметил, что у меня в гугле полно мусора в виде текстовых версий, пользователей, и прочего прочего ненужного, превышающее нормальные страницы в несколько раз.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Neamailer
Neamailer
сообщение 29.2.2012, 13:22; Ответить: Neamailer
Сообщение #5


Для Гугла бесполезно закрывать, он проиндексирует, все что сочтет нужным. Кстати это его свойство можно использовать для разных шпионских штучек, разъяснять не буду, гуглите и все найдете. biggrin.gif

Пользователь dota поставил мне минус в репутацию со следующим сообщением:
не прав, руки у тебя кривые. Ну тогда dota, подскажи народу, как закрыть страницы для Гугла. Не люблю крыс подзаборных, но и как кот естественно душу! censored.gif

Сообщение отредактировал Neamailer - 29.2.2012, 13:23
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Silverspam
Silverspam
сообщение 29.2.2012, 13:30; Ответить: Silverspam
Сообщение #6


Выяснять отношения прошу в ЛС.
Neamailer, если вы не можете банально закрыть страницы от индексации, то это ваше проблемы. А оскорблять адекватных людей не следует.


--------------------
Covid пройдет, а мы останемся Pharmcash & PharmcashUSA - с Вами НАВСЕГДА

Продвижение сайтов в TOP
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SeoExpert
SeoExpert
сообщение 29.2.2012, 13:30; Ответить: SeoExpert
Сообщение #7


Neamailer, не robots.txt единым, как говорится. Разъяснять не буду, погуглите, все найдете.

Сообщение отредактировал SeoExpert - 29.2.2012, 13:31
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ArsenalTrast
ArsenalTrast
сообщение 29.2.2012, 14:31; Ответить: ArsenalTrast
Сообщение #8


(Neamailer @ 29.2.2012, 12:22) *
Neamailer


напиши в icq все объясню 40666112
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Neamailer
Neamailer
сообщение 5.3.2012, 9:13; Ответить: Neamailer
Сообщение #9


Пользователь dota поставил мне минус в репутацию со следующим сообщением:

"не прав, руки у тебя кривые."

Я ему ответил в личку: "Хотел вам поставить 1000 в плюс, но кнопка интерфейса не работает. Вы эти бирюльки всерьез воспринимаете? Мне вас просто жаль!"

Dota отвечает: "Мне жаль вас и то как к вам будут относиться из-за этих "бирюлек". Вы ничтожны."

Мой ответ: Вообще-то здорово: серануть в личку, а потом игнорить. Ну нечего я вытащу тебя на паблик: "Dota, ах как бы мне хотелось вам не 1000 репутационных очков поставить, а 10 000. Но модеры не дают такой возможности. Может быть в "очках" вы стали бы хотя-бы в 2 раза умней. tongue.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bestmult
bestmult
сообщение 5.3.2012, 9:32; Ответить: bestmult
Сообщение #10


Слышал версию, что, если есть обратка на закрытую страничку, то гугл её всё равно проиндексирует даже если она закрыта от индексации. Сам с таким не сталкивался, но что-то с трудом в такое верится. Вы лучше полный текст robots.txt покажите
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Нужна оптимизация сайта под Google speed insight
23 Alex-777 10947 25.10.2021, 21:34
автор: WGN
Открытая тема (нет новых ответов) Касперская призвала не сдавать биометрию: она не нужна, и её украдут
10 VinogradOFF 2146 11.10.2021, 10:32
автор: EvilGomel
Открытая тема (нет новых ответов) Нужна база блогов на WP, где можно оставить комментарий.
Кто может собрать базу блогов на WP, где можно оставить комментарий.
12 sergey_kazakov 13187 17.9.2021, 15:57
автор: Himena
Открытая тема (нет новых ответов) Помощь в SEO продвижении + ПФ накртука
100% результат, а он может быть разный =)
2 regem 2577 7.5.2021, 5:02
автор: regem
Открытая тема (нет новых ответов) Similarweb.com - нужна выгрузка сайтов по параметрам
Необходимо выгрузить статистику по параметрам
0 sergey_kazakov 2515 27.4.2021, 20:05
автор: sergey_kazakov


 



RSS Текстовая версия Сейчас: 8.12.2021, 5:53
Дизайн