X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
> Правильно ли составлен robors.txt
saltov
saltov
Topic Starter сообщение 3.2.2012, 22:52; Ответить: saltov
Сообщение #1


Завсегдатай
*****


Группа: Active User
Сообщений: 659
Регистрация: 18.2.2009
Из: Мир Seo
Поблагодарили: 50 раз
Репутация:   22  


Правильно ли составлен robors.txt ?
вариант №1
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /tag
Disallow: /page
Disallow: /drugoe/o-nas.html
Disallow: /drugoe/prajs.html
Host: www.buildforyou.ru
Sitemap: http://buildforyou.ru/sitemap.xml
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
tygrytsa
tygrytsa
сообщение 3.2.2012, 23:04; Ответить: tygrytsa
Сообщение #2


Завсегдатай
*****

Группа: Active User
Сообщений: 505
Регистрация: 30.3.2011
Из: Кишинев
Поблагодарили: 191 раз
Репутация:   63  


Вроде, правильно, но только не robors? a robots
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BlueRay
BlueRay
сообщение 4.2.2012, 0:29; Ответить: BlueRay
Сообщение #3


Участник
***

Группа: User
Сообщений: 116
Регистрация: 18.8.2011
Из: диктатура в центре Европы
Поблагодарили: 62 раза
Репутация:   10  


По моему мнению необходимо добавить Disallow: /*?* . Это отсекает сразу Disallow: /?feed= и Disallow: /?s= и всякую такую хрень, которая может появиться в будущем.

Лично меня это однажды очень выручило: на хостинг пробралась зараза, было закачано около 500 страниц, связанных с mmm... Но все они не проиндексировались как раз благодаря тому, что в адресах этой хрени был *?*. Так что очень советую добавить.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zka02
zka02
сообщение 4.2.2012, 12:10; Ответить: zka02
Сообщение #4


Новичок
*

Группа: Viewer
Сообщений: 2
Регистрация: 4.2.2012
Поблагодарили: 0 раз
Репутация:   0  


(BlueRay @ 3.2.2012, 21:29) *
По моему мнению необходимо добавить Disallow: /*?* . Это отсекает сразу Disallow: /?feed= и Disallow: /?s= и всякую такую хрень, которая может появиться в будущем.

+1 Полностью согдасен!
А так все правильно
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Mosart
Mosart
сообщение 7.2.2012, 12:58; Ответить: Mosart
Сообщение #5


Новичок
*

Группа: Viewer
Сообщений: 8
Регистрация: 4.2.2012
Поблагодарили: 0 раз
Репутация:   0  


(BlueRay @ 3.2.2012, 23:29) *
По моему мнению необходимо добавить Disallow: /*?* . Это отсекает сразу Disallow: /?feed= и Disallow: /?s= и всякую такую хрень, которая может появиться в будущем.

А разве не могло быть так, что в адресах этой хрени не было бы *?* ??

И но могут ли появиться со временем на том же wordpress полезные страницы за этим знаком? Например без изменения адресов ссылок они выдаются в формате: http://example.com/?p=123

Сообщение отредактировал bum - 9.2.2012, 9:15
Причина редактирования: -overquotting
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
smo_i_seo
smo_i_seo
сообщение 7.2.2012, 21:09; Ответить: smo_i_seo
Сообщение #6


клоновод
**

Группа: Banned
Сообщений: 60
Регистрация: 20.12.2011
Поблагодарили: 1 раз
Репутация:   0  


исправь robots должно быть, а так все четко прописано.


--------------------
клоновод
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Elizaveta
Elizaveta
сообщение 9.2.2012, 0:50; Ответить: Elizaveta
Сообщение #7


Мошенник
*

Группа: Banned
Сообщений: 47
Регистрация: 27.1.2012
Из: Russia, Saratov
Поблагодарили: 5 раз
Репутация:   -1  


Любой написанный robots.txt нужно тестировать и смотреть на него как минимум одну неделю.

Сообщение отредактировал bum - 9.2.2012, 9:15
Причина редактирования: -overquotting


--------------------
я мошенник
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Majestro
Majestro
сообщение 14.2.2012, 9:45; Ответить: Majestro
Сообщение #8


Новичок
*


Группа: User
Сообщений: 33
Регистрация: 16.1.2012
Поблагодарили: 7 раз
Репутация:   0  


Двойка за роботс!
Не скажу про структуру вордпресса, т.к. джумловод (хотя и тут полно подозрений), но две нижние строчки - ошибочка!

Хост с www
Сайтмап - без www

Получается вы еще не читали про главное зеркало и редиректы. Сайт должен быть с WWW или без него. Одновременно - ошибка.

Update: не поленился, зашел на сайт - проверил. Редирект стоит. Так какого, пардон, ражна в Host пишите www? Срочно убирайте!
И инструкции мне ваши не нравятся.

*/temp/ - это что за конструкция?
/temp - это верно

Хелп тут http://help.yandex.ru/webmaster/?id=996567

Сообщение отредактировал Majestro - 14.2.2012, 9:54


--------------------
Интернет-магазин JoomShopping - разработка модулей, дополнений и шаблонов. Оптимизация.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
spavoda
spavoda
сообщение 14.2.2012, 10:01; Ответить: spavoda
Сообщение #9


Бывалый
****

Группа: User
Сообщений: 386
Регистрация: 11.7.2011
Поблагодарили: 126 раз
Репутация:   33  


Чтобы не плодить отдельные топики, присоединюсь к вопросу по robots и попрошу помощи у форумчан.
есть такой сайт со следующими страницами, которые хочу закрыть
1. www.site.ru/article/tag/статьи
2. www.site.ru/shop/tag/товар

как закрыть в robots все теги (tag) - и из статей(article) и из магазина?(shop) где то прочел что нужно вот так

Disаllow: */tag/*

но терзают смутные сомнения ))

Еще есть страницы следующего типа
3. www.site.ru/article/page-3/бла-бла-бла
4. www.site.ru/article/page-1/бла-бла-бла
5. www.site.ru/shop/goods1?view

Как закрыть все страницы содержащие /page и содержащие знак вопроса в адресе? у меня стоит следующий код

Disаllow: /page-*
Disallow: /*?

Заранее спасибо за советы и ответы.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Majestro
Majestro
сообщение 14.2.2012, 10:13; Ответить: Majestro
Сообщение #10


Новичок
*


Группа: User
Сообщений: 33
Регистрация: 16.1.2012
Поблагодарили: 7 раз
Репутация:   0  


Disаllow: /tag
Disаllow: /page #уверены, что нужно закрыть?
Disallow: /*? #нормально, если нет рабочих ссылок с вопросом


http://help.yandex.ru/webmaster/?id=996567#996572


--------------------
Интернет-магазин JoomShopping - разработка модулей, дополнений и шаблонов. Оптимизация.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
3 страниц V   1 2 3 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) как правильно написать альт и тайтл для изображений
0 galaker 397 13.12.2017, 22:50
автор: galaker
Открытая тема (нет новых ответов) Как правильно сделать категории на сайте?
Хелппп!!!
5 norino 676 11.12.2017, 16:28
автор: One_on_One
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47529 28.11.2017, 1:05
автор: Akira
Открытая тема (нет новых ответов) Яша определяет не правильно релевантную страницу
нужна подсказка от Гуру!
26 minutkin 2422 25.11.2017, 23:49
автор: genjnat
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 514 17.11.2017, 17:17
автор: coremission


 



RSS Текстовая версия Сейчас: 18.12.2017, 11:09
Дизайн