X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> подскажите верно ли я написал robots.txt
kopusha
kopusha
Topic Starter сообщение 30.3.2011, 11:44; Ответить: kopusha
Сообщение #1


Есть сайт с крымскими новостями, около 3 недель назад исключил с помощью robots.txt раздел /articles/, а 2 недели назад исключил ещё ряд разделов.

Это сделано из-за особенностей движка, создающего доступные страницы с одинаковым содержанием по нескольким адресам.

Время идёт (было 3 апа), и в выдачу попадают как новые страницы по верным, желаемым мною урлам, но и старые, запрещенные в роботсе, не исчезают. Как итог - на сайте с 6К стр в выдаче 9К, может кто взглянет на роботс да подскажет, вдруг что не так.

Заранее спасибо за советы.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Systproject
Systproject
сообщение 30.3.2011, 11:55; Ответить: Systproject
Сообщение #2


Вроде правильно все. Подождите еще, исчезнут со временем.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MBM
MBM
сообщение 30.3.2011, 11:55; Ответить: MBM
Сообщение #3


Ммм, а зачем так много сайтмапов? :\ Возможно в них и есть указатели на старые ссылочки (:


--------------------
Кто-то делает зло, кто-то делает добро, а Я придумываю для этого упаковку.
Founder & CEO at Imagination Crafters
Follow @1ncom1ng and have a huge growth (:
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zakaznik
zakaznik
сообщение 30.3.2011, 11:56; Ответить: zakaznik
Сообщение #4


первая ошибка: пустых строк в robots.txt быть не должно.... проверяю дальше....

P.s. далее вроде все верно... Тоже удивило много сайтмапов)

поисковикам нужно время для исключения страниц из индекса

Сообщение отредактировал zakaznik - 30.3.2011, 11:59
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Systproject
Systproject
сообщение 30.3.2011, 12:01; Ответить: Systproject
Сообщение #5


(zakaznik @ 30.3.2011, 10:56) *
первая ошибка: пустых строк в robots.txt быть не должно

Что за бред? Почитайте на досуге тут


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zakaznik
zakaznik
сообщение 30.3.2011, 12:04; Ответить: zakaznik
Сообщение #6


Вот, вычитал:
Пустые строки допускаются между группами инструкций, вводимыми User-agent.


P.S. видать подзабыл... или где то не верную инфу прочел, что нельзя...

Сообщение отредактировал zakaznik - 30.3.2011, 12:11
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Systproject
Systproject
сообщение 30.3.2011, 12:07; Ответить: Systproject
Сообщение #7


(zakaznik @ 30.3.2011, 11:04) *
и де там написано что пустые строки должны быть?!

Файл состоит из записей. Записи разделяются одной или более пустых строк (признак конца строки: символы CR, CR+LF, LF). Каждая запись содержит непустые строки следующего вида:

(zakaznik @ 30.3.2011, 11:04) *
P.S. видать подзабыл...

Повторение мать учения smile.gif

Сообщение отредактировал Systproject - 30.3.2011, 12:08


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kopusha
kopusha
Topic Starter сообщение 30.3.2011, 12:12; Ответить: kopusha
Сообщение #8


сайтмапы нужны именно такие, удобно для каждого модуля (новости, фирмы,афиша и тд) указывать отдельно, тем более это не только не запрещено, даже приветствуется ПС.
строки - да, бред, можно там где стоят - ставить, но!

Недопустимо наличие пустых переводов строки между директивами 'User-agent' и 'Disallow' ('Allow'), а также между самими 'Disallow' ('Allow') директивами.
Кроме того, в соответствии со стандартом перед каждой директивой 'User-agent' рекомендуется вставлять пустой перевод строки.


Это Яшкин хелп.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
seoemperor
seoemperor
сообщение 30.3.2011, 12:13; Ответить: seoemperor
Сообщение #9


Если критично, то можно в панели вебмастеров исключить из индекса нужные страницы или по маске, только надо чтоб они в этот момент отдавали 404...


--------------------
Talk.Maulnet - классный форум для SEO-менеджеров
Sem Empire - классная seo оптимизация для клиентов
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kopusha
kopusha
Topic Starter сообщение 30.3.2011, 12:15; Ответить: kopusha
Сообщение #10


(seoemperor @ 30.3.2011, 11:13) *
Если критично, то можно в панели вебмастеров исключить из индекса нужные страницы или по маске, только надо чтоб они в этот момент отдавали 404...

оптом - нельзя, ручками - устану слегка.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Подскажите по ошибкам из Яндекс вебмастера
1 noviktamw 1260 27.1.2024, 23:15
автор: Vmir
Открытая тема (нет новых ответов) Подскажите дейтинг партнерки с оплатой за регистрацию
18 Wolfhound 2124 9.3.2023, 6:17
автор: Skyworker
Открытая тема (нет новых ответов) Подскажите ПП. Траф только мобильный, только бурж.
тизеры\баннеры или видео
7 3rim 1729 21.9.2020, 19:39
автор: 3rim
Открытая тема (нет новых ответов) Подскажите партнёрку с мобильными офферами
5 docdie 2170 27.7.2020, 11:05
автор: WelcomePartners
Горячая тема (нет новых ответов) Подскажите нормальную ПП
Тематика: игры
37 Kiloan_Frost 7663 16.3.2020, 23:48
автор: MasterGraf


 



RSS Текстовая версия Сейчас: 29.3.2024, 10:30
Дизайн