X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> подскажите верно ли я написал robots.txt
kopusha
kopusha
Topic Starter сообщение 30.3.2011, 11:44; Ответить: kopusha
Сообщение #1


Частый гость
**

Группа: User
Сообщений: 58
Регистрация: 22.3.2009
Поблагодарили: 49 раз
Репутация:   6  


Есть сайт с крымскими новостями, около 3 недель назад исключил с помощью robots.txt раздел /articles/, а 2 недели назад исключил ещё ряд разделов.

Это сделано из-за особенностей движка, создающего доступные страницы с одинаковым содержанием по нескольким адресам.

Время идёт (было 3 апа), и в выдачу попадают как новые страницы по верным, желаемым мною урлам, но и старые, запрещенные в роботсе, не исчезают. Как итог - на сайте с 6К стр в выдаче 9К, может кто взглянет на роботс да подскажет, вдруг что не так.

Заранее спасибо за советы.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Systproject
Systproject
сообщение 30.3.2011, 11:55; Ответить: Systproject
Сообщение #2


Сам по себе
******


Группа: Active User
Сообщений: 1615
Регистрация: 13.5.2008
Из: НиНо
Поблагодарили: 685 раз
Репутация:   126  


Вроде правильно все. Подождите еще, исчезнут со временем.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MBM
MBM
сообщение 30.3.2011, 11:55; Ответить: MBM
Сообщение #3


Бывалый
****

Группа: User
Сообщений: 451
Регистрация: 27.9.2010
Из: Kieff
Поблагодарили: 121 раз
Репутация:   10  


Ммм, а зачем так много сайтмапов? :\ Возможно в них и есть указатели на старые ссылочки (:


--------------------
Кто-то делает зло, кто-то делает добро, а Я придумываю для этого упаковку.
Founder & CEO at Imagination Crafters
Follow @1ncom1ng and have a huge growth (:
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zakaznik
zakaznik
сообщение 30.3.2011, 11:56; Ответить: zakaznik
Сообщение #4


↑↑↑ Цель ↑↑↑
******

Группа: Active User
Сообщений: 1842
Регистрация: 17.3.2010
Поблагодарили: 394 раза
Репутация:   51  


первая ошибка: пустых строк в robots.txt быть не должно.... проверяю дальше....

P.s. далее вроде все верно... Тоже удивило много сайтмапов)

поисковикам нужно время для исключения страниц из индекса

Сообщение отредактировал zakaznik - 30.3.2011, 11:59


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Systproject
Systproject
сообщение 30.3.2011, 12:01; Ответить: Systproject
Сообщение #5


Сам по себе
******


Группа: Active User
Сообщений: 1615
Регистрация: 13.5.2008
Из: НиНо
Поблагодарили: 685 раз
Репутация:   126  


(zakaznik @ 30.3.2011, 10:56) *
первая ошибка: пустых строк в robots.txt быть не должно

Что за бред? Почитайте на досуге тут


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zakaznik
zakaznik
сообщение 30.3.2011, 12:04; Ответить: zakaznik
Сообщение #6


↑↑↑ Цель ↑↑↑
******

Группа: Active User
Сообщений: 1842
Регистрация: 17.3.2010
Поблагодарили: 394 раза
Репутация:   51  


Вот, вычитал:
Пустые строки допускаются между группами инструкций, вводимыми User-agent.


P.S. видать подзабыл... или где то не верную инфу прочел, что нельзя...

Сообщение отредактировал zakaznik - 30.3.2011, 12:11


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Systproject
Systproject
сообщение 30.3.2011, 12:07; Ответить: Systproject
Сообщение #7


Сам по себе
******


Группа: Active User
Сообщений: 1615
Регистрация: 13.5.2008
Из: НиНо
Поблагодарили: 685 раз
Репутация:   126  


(zakaznik @ 30.3.2011, 11:04) *
и де там написано что пустые строки должны быть?!

Файл состоит из записей. Записи разделяются одной или более пустых строк (признак конца строки: символы CR, CR+LF, LF). Каждая запись содержит непустые строки следующего вида:

(zakaznik @ 30.3.2011, 11:04) *
P.S. видать подзабыл...

Повторение мать учения smile.gif

Сообщение отредактировал Systproject - 30.3.2011, 12:08


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kopusha
kopusha
Topic Starter сообщение 30.3.2011, 12:12; Ответить: kopusha
Сообщение #8


Частый гость
**

Группа: User
Сообщений: 58
Регистрация: 22.3.2009
Поблагодарили: 49 раз
Репутация:   6  


сайтмапы нужны именно такие, удобно для каждого модуля (новости, фирмы,афиша и тд) указывать отдельно, тем более это не только не запрещено, даже приветствуется ПС.
строки - да, бред, можно там где стоят - ставить, но!

Недопустимо наличие пустых переводов строки между директивами 'User-agent' и 'Disallow' ('Allow'), а также между самими 'Disallow' ('Allow') директивами.
Кроме того, в соответствии со стандартом перед каждой директивой 'User-agent' рекомендуется вставлять пустой перевод строки.


Это Яшкин хелп.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
seoemperor
seoemperor
сообщение 30.3.2011, 12:13; Ответить: seoemperor
Сообщение #9


Частый гость
**

Группа: User
Сообщений: 55
Регистрация: 21.1.2010
Из: Киев
Поблагодарили: 6 раз
Репутация:   3  


Если критично, то можно в панели вебмастеров исключить из индекса нужные страницы или по маске, только надо чтоб они в этот момент отдавали 404...


--------------------
Talk.Maulnet - классный форум для SEO-менеджеров
Sem Empire - классная seo оптимизация для клиентов
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kopusha
kopusha
Topic Starter сообщение 30.3.2011, 12:15; Ответить: kopusha
Сообщение #10


Частый гость
**

Группа: User
Сообщений: 58
Регистрация: 22.3.2009
Поблагодарили: 49 раз
Репутация:   6  


(seoemperor @ 30.3.2011, 11:13) *
Если критично, то можно в панели вебмастеров исключить из индекса нужные страницы или по маске, только надо чтоб они в этот момент отдавали 404...

оптом - нельзя, ручками - устану слегка.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Подскажите по где купить дёшево домены com info biz net
6 docdie 965 Вчера, 18:29
автор: docdie
Открытая тема (нет новых ответов) Подскажите аналоги хостинга
0 dimaguru 345 8.12.2017, 14:55
автор: dimaguru
Открытая тема (нет новых ответов) Подскажите норм VPN-сервис для смартфона?
28 CyberAngel 4427 28.11.2017, 21:06
автор: bitcoin24_exchange
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47458 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Подскажите решение для управления рекламой на сетке сайтов WP и DLE
2 Autorealt 644 25.11.2017, 15:37
автор: Autorealt


 



RSS Текстовая версия Сейчас: 14.12.2017, 3:12
Дизайн