X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> помогите с роботс
Libero
Libero
Topic Starter сообщение 2.8.2011, 15:38; Ответить: Libero
Сообщение #1


Бывалый
****

Группа: User
Сообщений: 268
Регистрация: 15.9.2010
Из: Зеленоград
Поблагодарили: 32 раза
Репутация:   11  


Вот сейчас на сайте DLE стандартный роботс идет:

User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm


Мне нужно, чтобы сайт индексировался только по домену без www.
и индексировались только нужные страницы, чтобы никаких версий для печати и т.д. и чтобы не только в яше, но и в гугле было так. буду очень благодарен


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
S1xteen
S1xteen
сообщение 2.8.2011, 16:04; Ответить: S1xteen
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 293
Регистрация: 20.9.2010
Поблагодарили: 64 раза
Репутация:   12  


Стоило бы пройтись по поиску форума, подобные вопросы уже были. А также в справке яндекс вебмастер много чего полезного написано про robots

Сообщение отредактировал S1xteen - 2.8.2011, 16:05
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serezka
serezka
сообщение 2.8.2011, 16:22; Ответить: serezka
Сообщение #3


Бывалый
****

Группа: User
Сообщений: 442
Регистрация: 7.5.2011
Из: Санкт-Петербург
Поблагодарили: 154 раза
Репутация:   28  


(Libero @ 2.8.2011, 15:38) *
Мне нужно, чтобы сайт индексировался только по домену без www.

Host: site.ru

кстати, если не ошибаюсь, для яндекса нужно отдельно(ещё раз) прописывать всё в роботс.тхт

Сообщение отредактировал serezka - 2.8.2011, 16:26
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
wlad2
wlad2
сообщение 2.8.2011, 16:47; Ответить: wlad2
Сообщение #4


Участник
***

Группа: User
Сообщений: 128
Регистрация: 9.10.2008
Поблагодарили: 10 раз
Репутация:   -18  


User-agent: *
Disallow: /tags/
Disallow: /user
Disallow: /print #чтобы никаких версий для печати
Disallow: /*/print #чтобы никаких версий для печати
Disallow: /*/page/*/
Disallow: /engine
Disallow: /index
Disallow: /templates/
Disallow: /*.js
Disallow: /*.css
Allow: /uploads/
Disallow: /?
Disallow: /*?
Host: sayt.ru # по домену без www
Sitemap: http://sayt.ru/sitemap.xml

скиньте в личку урл вашего сайта я погляжу.. иногда по разному в зависимости от ЧПУ
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
matrixzp
matrixzp
сообщение 2.8.2011, 18:27; Ответить: matrixzp
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 344
Регистрация: 2.9.2010
Поблагодарили: 167 раз
Репутация:   40  


Пример моего роботса:

User-agent: *
Disallow: /vostanovlenie.html
Disallow: /registracija.html
Disallow: /publikacija.html
Disallow: /soobshenija.html
Disallow: /kontakty.html
Disallow: /pravila.html
Disallow: /index.html
Disallow: /index.php
Disallow: /user/templates/
Disallow: /user/
Disallow: /tags/
Disallow: /favorites/
Disallow: /templates/
Disallow: /languages/
Disallow: /engine/
Disallow: /20*/
Disallow: /*rss.xml
Disallow: /*print
Disallow: /*?do=*
Disallow: /*index.php*
Disallow: /links.html
Sitemap: http://site.ru/sitemap.xml

Host: site.ru
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Rampage
Rampage
сообщение 2.8.2011, 18:34; Ответить: Rampage
Сообщение #6


Участник
***

Группа: User
Сообщений: 239
Регистрация: 20.11.2010
Из: localhost
Поблагодарили: 67 раз
Репутация:   23  


User-agent: *
Disallow: /backup
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /engine/
Disallow: /engine/redirect.php
Disallow: /favorites/
Disallow: /language/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /page/$
Disallow: /2010/$
Disallow: /2011/$
Disallow: /tags/$
Disallow: /templates/
Disallow: /uploads/
Disallow: /user/
Disallow: /*print
Disallow: /*do=pm
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=addnews
Disallow: /*do=lastnews
Disallow: /*do=lastcomments
Disallow: /*do=lostpassword
Disallow: /*do=register
Disallow: /*do=search
Disallow: /*do=feedback
Disallow: /*do=stats
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /search.html
Disallow: /rules.html
Host: site.ws
Sitemap: http://site.ws/sitemap.xml


вот мой пример


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
wlad2
wlad2
сообщение 2.8.2011, 19:34; Ответить: wlad2
Сообщение #7


Участник
***

Группа: User
Сообщений: 128
Регистрация: 9.10.2008
Поблагодарили: 10 раз
Репутация:   -18  


вот мой пример

ваш пример особенно с
Disallow: /*do=addnews
Disallow: /*do=lastnews
Disallow: /*do=lastcomments
Disallow: /*do=lostpassword
Disallow: /*do=register
Disallow: /*do=search
Disallow: /*do=feedback
Disallow: /*do=stats
глуп до безобразия.
правильно так
Disallow: /?
Disallow: /*?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
adai994
adai994
сообщение 2.8.2011, 21:20; Ответить: adai994
Сообщение #8


Частый гость
**

Группа: User
Сообщений: 86
Регистрация: 11.7.2011
Поблагодарили: 4 раза
Репутация:   -6  


Кстати есть ли разница между:
Disallow: /page

и
Disallow: /page/

??

Сообщение отредактировал adai994 - 2.8.2011, 21:21


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kostiknc
kostiknc
сообщение 2.8.2011, 21:54; Ответить: kostiknc
Сообщение #9


Участник
***

Группа: User
Сообщений: 132
Регистрация: 4.6.2011
Из: Сидней
Поблагодарили: 31 раз
Репутация:   10  


редирект нужно ставить с www на без www в htaccess

(adai994 @ 2.8.2011, 21:20) *
Кстати есть ли разница между:
Disallow: /page

и
Disallow: /page/

??

по моему во втором случае не будет индексироваться раздел page, а в первом страницы начинающиеся с page

Host актуален только для Яндекса. Так что смысл ставить для всех агентов нет.

Сообщение отредактировал kostiknc - 2.8.2011, 21:54


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Помогите выбрать программу
Помогите выбрать программу
11 impak 1320 Вчера, 13:11
автор: Mikki
Открытая тема (нет новых ответов) Помогите найти плагин на WP
Отзывы с профилей соц сетей
1 SEOMR 430 30.11.2017, 7:18
автор: Nell
Открытая тема (нет новых ответов) Помогите найти проблему
Долгий ответ сервера
6 maxim1249 668 29.11.2017, 17:27
автор: genjnat
Открытая тема (нет новых ответов) Помогите оценить новотник. Плиз
1 Alex-777 506 29.11.2017, 7:18
автор: grumdas
Открытая тема (нет новых ответов) Помогите с неймингом для сборника советов
советы по разработки и жизни
11 coremission 1867 15.11.2017, 22:23
автор: rogefer


 



RSS Текстовая версия Сейчас: 12.12.2017, 12:48
Дизайн