X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> помогите с роботс
Libero
Libero
Topic Starter сообщение 2.8.2011, 15:38; Ответить: Libero
Сообщение #1


Бывалый
****

Группа: User
Сообщений: 268
Регистрация: 15.9.2010
Из: Зеленоград
Поблагодарили: 32 раза
Репутация:   11  


Вот сейчас на сайте DLE стандартный роботс идет:

User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm


Мне нужно, чтобы сайт индексировался только по домену без www.
и индексировались только нужные страницы, чтобы никаких версий для печати и т.д. и чтобы не только в яше, но и в гугле было так. буду очень благодарен


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
S1xteen
S1xteen
сообщение 2.8.2011, 16:04; Ответить: S1xteen
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 293
Регистрация: 20.9.2010
Поблагодарили: 64 раза
Репутация:   12  


Стоило бы пройтись по поиску форума, подобные вопросы уже были. А также в справке яндекс вебмастер много чего полезного написано про robots

Сообщение отредактировал S1xteen - 2.8.2011, 16:05
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serezka
serezka
сообщение 2.8.2011, 16:22; Ответить: serezka
Сообщение #3


Бывалый
****

Группа: User
Сообщений: 442
Регистрация: 7.5.2011
Из: Санкт-Петербург
Поблагодарили: 154 раза
Репутация:   28  


(Libero @ 2.8.2011, 15:38) *
Мне нужно, чтобы сайт индексировался только по домену без www.

Host: site.ru

кстати, если не ошибаюсь, для яндекса нужно отдельно(ещё раз) прописывать всё в роботс.тхт

Сообщение отредактировал serezka - 2.8.2011, 16:26
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
wlad2
wlad2
сообщение 2.8.2011, 16:47; Ответить: wlad2
Сообщение #4


Участник
***

Группа: User
Сообщений: 128
Регистрация: 9.10.2008
Поблагодарили: 10 раз
Репутация:   -18  


User-agent: *
Disallow: /tags/
Disallow: /user
Disallow: /print #чтобы никаких версий для печати
Disallow: /*/print #чтобы никаких версий для печати
Disallow: /*/page/*/
Disallow: /engine
Disallow: /index
Disallow: /templates/
Disallow: /*.js
Disallow: /*.css
Allow: /uploads/
Disallow: /?
Disallow: /*?
Host: sayt.ru # по домену без www
Sitemap: http://sayt.ru/sitemap.xml

скиньте в личку урл вашего сайта я погляжу.. иногда по разному в зависимости от ЧПУ
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
matrixzp
matrixzp
сообщение 2.8.2011, 18:27; Ответить: matrixzp
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 354
Регистрация: 2.9.2010
Поблагодарили: 170 раз
Репутация:   40  


Пример моего роботса:

User-agent: *
Disallow: /vostanovlenie.html
Disallow: /registracija.html
Disallow: /publikacija.html
Disallow: /soobshenija.html
Disallow: /kontakty.html
Disallow: /pravila.html
Disallow: /index.html
Disallow: /index.php
Disallow: /user/templates/
Disallow: /user/
Disallow: /tags/
Disallow: /favorites/
Disallow: /templates/
Disallow: /languages/
Disallow: /engine/
Disallow: /20*/
Disallow: /*rss.xml
Disallow: /*print
Disallow: /*?do=*
Disallow: /*index.php*
Disallow: /links.html
Sitemap: http://site.ru/sitemap.xml

Host: site.ru
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Rampage
Rampage
сообщение 2.8.2011, 18:34; Ответить: Rampage
Сообщение #6


Участник
***

Группа: User
Сообщений: 240
Регистрация: 20.11.2010
Из: localhost
Поблагодарили: 68 раз
Репутация:   24  


User-agent: *
Disallow: /backup
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /engine/
Disallow: /engine/redirect.php
Disallow: /favorites/
Disallow: /language/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /page/$
Disallow: /2010/$
Disallow: /2011/$
Disallow: /tags/$
Disallow: /templates/
Disallow: /uploads/
Disallow: /user/
Disallow: /*print
Disallow: /*do=pm
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=addnews
Disallow: /*do=lastnews
Disallow: /*do=lastcomments
Disallow: /*do=lostpassword
Disallow: /*do=register
Disallow: /*do=search
Disallow: /*do=feedback
Disallow: /*do=stats
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /search.html
Disallow: /rules.html
Host: site.ws
Sitemap: http://site.ws/sitemap.xml


вот мой пример


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
wlad2
wlad2
сообщение 2.8.2011, 19:34; Ответить: wlad2
Сообщение #7


Участник
***

Группа: User
Сообщений: 128
Регистрация: 9.10.2008
Поблагодарили: 10 раз
Репутация:   -18  


вот мой пример

ваш пример особенно с
Disallow: /*do=addnews
Disallow: /*do=lastnews
Disallow: /*do=lastcomments
Disallow: /*do=lostpassword
Disallow: /*do=register
Disallow: /*do=search
Disallow: /*do=feedback
Disallow: /*do=stats
глуп до безобразия.
правильно так
Disallow: /?
Disallow: /*?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
adai994
adai994
сообщение 2.8.2011, 21:20; Ответить: adai994
Сообщение #8


Частый гость
**

Группа: User
Сообщений: 86
Регистрация: 11.7.2011
Поблагодарили: 4 раза
Репутация:   -6  


Кстати есть ли разница между:
Disallow: /page

и
Disallow: /page/

??

Сообщение отредактировал adai994 - 2.8.2011, 21:21


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kostiknc
kostiknc
сообщение 2.8.2011, 21:54; Ответить: kostiknc
Сообщение #9


Участник
***

Группа: User
Сообщений: 132
Регистрация: 4.6.2011
Из: Сидней
Поблагодарили: 31 раз
Репутация:   10  


редирект нужно ставить с www на без www в htaccess

(adai994 @ 2.8.2011, 21:20) *
Кстати есть ли разница между:
Disallow: /page

и
Disallow: /page/

??

по моему во втором случае не будет индексироваться раздел page, а в первом страницы начинающиеся с page

Host актуален только для Яндекса. Так что смысл ставить для всех агентов нет.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


Сообщение отредактировал kostiknc - 2.8.2011, 21:54


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Помогите, пожалуйста, моей дочери выжить!
благотворительный топик
30 vitvirtual 3746 19.5.2018, 8:30
автор: vitvirtual
Открытая тема (нет новых ответов) Продвигаю страницу по запросу "Как сделать игру". Помогите советом, пожалуйста
Я секу в теме! Но подать статью угодным поисковикам образом не смо
22 coremission 2147 8.5.2018, 12:33
автор: coremission
Открытая тема (нет новых ответов) Помогите с выбором ноута
20 rokot 874 23.4.2018, 12:09
автор: Room
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыПомогите с идеями для форума про успех
Спасибо за каждую идею
43 Zoya83 5073 12.4.2018, 11:42
автор: Zoya83
Открытая тема (нет новых ответов) Лендинг или сайт-визитка для ИП? Помогите определиться
6 Yas18 1122 31.3.2018, 20:57
автор: Yas18


 



RSS Текстовая версия Сейчас: 21.5.2018, 21:05
Дизайн