Помощник
|
Соеденить сайт и форум в роботсе, Соеденение |
Jekis
|
Сообщение
#12
|
|
CODE User-agent: * Disallow: */img Disallow: /redirect/ Disallow: /author/ Disallow: /wp-admin/ Disallow: /wp-includes Disallow: /page/ Disallow: /?feed= Disallow: /?s= Disallow: /xmlrpc.php Disallow: /wp-login.php Disallow: /wp-register.php Disallow: */comments Disallow: */comment-page* Disallow: /*trackback Disallow: /*feed Disallow: /author* Disallow: /downloads/ Disallow: /suggestparser/ Disallow: /wordstatparser/ Disallow: /*?* Disallow: /*? Disallow: /?* Disallow: */feed Disallow: /feed Disallow: */trackback Disallow: /tag/*/page Disallow: /comments/feed/ Disallow: /2011/ Disallow: /2012/ Disallow: /wp-content/uploads/ Allow: /forum/*sitemap Allow: /forum/*arcade Allow: /forum/*rss Allow: /forum/*type=rss Disallow: /forum/attachments/ Disallow: /forum/avatars/ Disallow: /forum/Packages/ Disallow: /forum/Smileys/ Disallow: /forum/Sources/ Disallow: /forum/Themes/ Disallow: /forum/Games/ Disallow: /forum/*.msg Disallow: /forum/*.new Disallow: /forum/*sort Disallow: /forum/*topicseen Disallow: /forum/*wap Disallow: /forum/*imode Disallow: /forum/*action Disallow: /forum/*prev_next Disallow: /forum/*all Disallow: /*PHPSESSID Host: normal-life.ru Sitemap: http://normal-life.ru/sitemap.xml User-agent: Slurp Crawl-delay: 100 User-agent: Twiceler Disallow: / User-Agent: W3C-checklink Disallow: / помогите поправить если что не так |
|
|
nick777 |
17.5.2011, 15:46;
Ответить: nick777
Сообщение
#13
|
|
Allow: /forum/*rss Зачем RSS'ку индексировать? Добавьте: Allow: forum/feed Чтобы последняя страница, указанная на скрине, индексировалась Хотя также не понимаю зачем индексировать Feed Также добавьте: Allow: ?action=sitemap* Allow: ?board=* Allow: ?action=profile* В общем по-моему, без всяких rss и прочего Г должен быть такой robots: User-agent: * Disallow: */img Disallow: /redirect/ Disallow: /author/ Disallow: /wp-admin/ Disallow: /wp-includes Disallow: /page/ Disallow: /?feed= Disallow: /?s= Disallow: /xmlrpc.php Disallow: /wp-login.php Disallow: /wp-register.php Disallow: */comments Disallow: */comment-page* Disallow: /*trackback Disallow: /*feed Disallow: /author* Disallow: /downloads/ Disallow: /suggestparser/ Disallow: /wordstatparser/ Disallow: /*?* Disallow: /*? Disallow: /?* Disallow: */feed Disallow: /feed Disallow: */trackback Disallow: /tag/*/page Disallow: /comments/feed/ Disallow: /2011/ Disallow: /2012/ Disallow: /wp-content/uploads/ Allow: /forum/*arcade Allow: ?action=sitemap* Allow: ?board=* Allow: ?action=profile* Disallow: /forum/avatars/ Disallow: /forum/attachments/ Disallow: /forum/Packages/ Disallow: /forum/Smileys/ Disallow: /forum/Sources/ Disallow: /forum/Themes/ Disallow: /forum/Games/ Disallow: /forum/*.msg Disallow: /forum/*.new Disallow: /forum/*sort Disallow: /forum/*topicseen Disallow: /forum/*wap Disallow: /forum/*imode Disallow: /forum/*action Disallow: /forum/*prev_next Disallow: /forum/*all Disallow: /*PHPSESSID Host: normal-life.ru Sitemap: http://normal-life.ru/sitemap.xml User-agent: Slurp Crawl-delay: 100 User-agent: Twiceler Disallow: / User-Agent: W3C-checklink Disallow: / PS На будущее: Чтобы не возникало таких проблем делайте форумы на субдоменах Сообщение отредактировал nick777 - 17.5.2011, 15:48 -------------------- |
|
|
MacLeo |
17.5.2011, 15:54;
Ответить: MacLeo
Сообщение
#14
|
|
Столкнулся с такой же проблемой. Как сделать что бы Яндекси и гугл признали сайт и форум как одно целое ? Не достаточно ведь соединить robots ( прописать какие страницы не индексировать, да еще и в Robots от сайта) Сначала нужно указать роботам что это тот же сайт. Или я не прав?
|
|
|
nick777 |
17.5.2011, 15:57;
Ответить: nick777
Сообщение
#15
|
|
Столкнулся с такой же проблемой. Как сделать что бы Яндекси и гугл признали сайт и форум как одно целое ? Не достаточно ведь соединить robots ( прописать какие страницы не индексировать, да еще и в Robots от сайта) Сначала нужно указать роботам что это тот же сайт. Или я не прав? Вы не правы Если они размещены на одном и том же домене, то, естественно, ПС примет их за одно целое Сообщение отредактировал nick777 - 17.5.2011, 15:57 -------------------- |
|
|
gr3y |
18.5.2011, 2:50;
Ответить: gr3y
Сообщение
#16
|
|
nick777
Не советуйте бред ТС. Вы только что подсказали ему как сделать robots.txt с ошибками. Тег Allow большинство роботов не поддерживает, а вы вынесли его в блок для всех роботов. Если гугл и яндекс этот тег понимают - это не значит, что роботов всего два. По официальным стандартам robots.txt может только запрещать. Пруф от рамблера, например. Ну и на W3C можете самостоятельно почитать. Чтобы у ТС получился нормальный роботс - его надо перечитать и заново (без кучи бреда, который там сейчас) переписать правильно. |
|
|
nick777 |
18.5.2011, 12:56;
Ответить: nick777
Сообщение
#17
|
|
nick777 Не советуйте бред ТС. Вы только что подсказали ему как сделать robots.txt с ошибками. Тег Allow большинство роботов не поддерживает, а вы вынесли его в блок для всех роботов. Если гугл и яндекс этот тег понимают - это не значит, что роботов всего два. По официальным стандартам robots.txt может только запрещать. Пруф от рамблера, например. Ну и на W3C можете самостоятельно почитать. Чтобы у ТС получился нормальный роботс - его надо перечитать и заново (без кучи бреда, который там сейчас) переписать правильно. Сайт у ТС'а русскоязычный, на русскоязычные сайты чаще всего идут с Yandex и Google, с остальных ПС трафик практически мизерный, либо его вообще нет, в общем-то Вы правильно говорите, что там надо все переделывать, но надо ли это ТС'у? Надо ли ему тратить ~1 час времени на robots из-за малоизвестных ПС? -------------------- |
|
|
Jekis
|
Сообщение
#18
|
|
nick777
Поставил ваш роботс, яндекс жалуется - Сообщение отредактировал Jekis - 19.5.2011, 16:57 |
|
|
gr3y |
19.5.2011, 17:35;
Ответить: gr3y
Сообщение
#19
|
|
ТС, у Вас на освоение синтаксиса ушёл бы ЧАС максимум, так нет. Вы хотите, чтоб вам всё разжевали и в рот положили. Теребите уже который день топик этот. Яндекс вам по-русски написал, что в таких-то строках неправильное начало URL.
Добавьте в начало /* |
|
|
nick777 |
19.5.2011, 22:17;
Ответить: nick777
Сообщение
#20
|
|
User-agent: * Disallow: */img Disallow: /redirect/ Disallow: /author/ Disallow: /wp-admin/ Disallow: /wp-includes Disallow: /page/ Disallow: /?feed= Disallow: /?s= Disallow: /xmlrpc.php Disallow: /wp-login.php Disallow: /wp-register.php Disallow: */comments Disallow: */comment-page* Disallow: /*trackback Disallow: /*feed Disallow: /author* Disallow: /downloads/ Disallow: /suggestparser/ Disallow: /wordstatparser/ Disallow: /*?* Disallow: /*? Disallow: /?* Disallow: */feed Disallow: /feed Disallow: */trackback Disallow: /tag/*/page Disallow: /comments/feed/ Disallow: /2011/ Disallow: /2012/ Disallow: /wp-content/uploads/ Allow: /forum/*arcade Allow: /?action=sitemap* Allow: /?board=* Allow: /?action=profile* Disallow: /forum/avatars/ Disallow: /forum/attachments/ Disallow: /forum/Packages/ Disallow: /forum/Smileys/ Disallow: /forum/Sources/ Disallow: /forum/Themes/ Disallow: /forum/Games/ Disallow: /forum/*.msg Disallow: /forum/*.new Disallow: /forum/*sort Disallow: /forum/*topicseen Disallow: /forum/*wap Disallow: /forum/*imode Disallow: /forum/*action Disallow: /forum/*prev_next Disallow: /forum/*all Disallow: /*PHPSESSID Host: normal-life.ru Sitemap: http://normal-life.ru/sitemap.xml User-agent: Slurp Crawl-delay: 100 User-agent: Twiceler Disallow: / User-Agent: W3C-checklink Disallow: / PS По изучай на досуге: клац PSS Не реклама! Сообщение отредактировал nick777 - 19.5.2011, 22:18 -------------------- |
|
|
gr3y |
20.5.2011, 3:04;
Ответить: gr3y
Сообщение
#21
|
|
nick777
Allow: /?action=sitemap* Allow: /?board=* Allow: /?action=profile* это что? o_O вот так вообще: Allow: /forum/*?action=sitemap* Allow: /forum/*?board=* Allow: /forum/*?action=profile* да и то бред. надо напрямую к скриптам привязываться. |
|
|
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Ваш сайт блокирует Роскомнадзор? | 23 | hollywooduk | 5096 | 27.3.2024, 10:43 автор: hollywooduk |
|
Тысячи ботовых переходов на сайт | 18 | Suagaring | 4538 | 26.3.2024, 21:42 автор: c4p1t4l15t |
|
Блог: городской сми сайт в Прибалтике | 23 | kapusta1 | 3534 | 24.3.2024, 22:02 автор: Liudmila |
|
[Услуги] Баннер/Графика/Сайт | 238 | FillPlay | 179394 | 23.3.2024, 16:31 автор: freeax |
|
Пишет кто отзывы на сайт в янднекс с разных аккаунтах | 1 | TenDemon_rs | 1130 | 22.3.2024, 13:18 автор: writer80 |
Текстовая версия | Сейчас: 29.3.2024, 11:43 |