X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

3 страниц V  < 1 2 3 >
Открыть тему
Тема закрыта
> Соеденить сайт и форум в роботсе, Соеденение
Jekis
Jekis
Topic Starter сообщение 16.5.2011, 19:14; Ответить: Jekis
Сообщение #12


CODE
User-agent: *
Disallow: */img
Disallow: /redirect/
Disallow: /author/
Disallow: /wp-admin/
Disallow: /wp-includes
Disallow: /page/
Disallow: /?feed=
Disallow: /?s=
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */comments
Disallow: */comment-page*
Disallow: /*trackback
Disallow: /*feed
Disallow: /author*
Disallow: /downloads/
Disallow: /suggestparser/
Disallow: /wordstatparser/
Disallow: /*?*
Disallow: /*?
Disallow: /?*
Disallow: */feed
Disallow: /feed
Disallow: */trackback
Disallow: /tag/*/page
Disallow: /comments/feed/
Disallow: /2011/
Disallow: /2012/
Disallow: /wp-content/uploads/
Allow: /forum/*sitemap
Allow: /forum/*arcade
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /*PHPSESSID
Host: normal-life.ru
Sitemap: http://normal-life.ru/sitemap.xml

User-agent: Slurp
Crawl-delay: 100

User-agent: Twiceler
Disallow: /

User-Agent: W3C-checklink
Disallow: /


помогите поправить если что не так facepalm.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
nick777
nick777
сообщение 17.5.2011, 15:46; Ответить: nick777
Сообщение #13


Allow: /forum/*rss

Зачем RSS'ку индексировать?

Добавьте:
Allow: forum/feed

Чтобы последняя страница, указанная на скрине, индексировалась

Хотя также не понимаю зачем индексировать Feed
Также добавьте:
Allow: ?action=sitemap*
Allow: ?board=*
Allow: ?action=profile*

В общем по-моему, без всяких rss и прочего Г должен быть такой robots:
User-agent: *
Disallow: */img
Disallow: /redirect/
Disallow: /author/
Disallow: /wp-admin/
Disallow: /wp-includes
Disallow: /page/
Disallow: /?feed=
Disallow: /?s=
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */comments
Disallow: */comment-page*
Disallow: /*trackback
Disallow: /*feed
Disallow: /author*
Disallow: /downloads/
Disallow: /suggestparser/
Disallow: /wordstatparser/
Disallow: /*?*
Disallow: /*?
Disallow: /?*
Disallow: */feed
Disallow: /feed
Disallow: */trackback
Disallow: /tag/*/page
Disallow: /comments/feed/
Disallow: /2011/
Disallow: /2012/
Disallow: /wp-content/uploads/
Allow: /forum/*arcade
Allow: ?action=sitemap*
Allow: ?board=*
Allow: ?action=profile*
Disallow: /forum/avatars/
Disallow: /forum/attachments/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /*PHPSESSID
Host: normal-life.ru
Sitemap: http://normal-life.ru/sitemap.xml

User-agent: Slurp
Crawl-delay: 100

User-agent: Twiceler
Disallow: /

User-Agent: W3C-checklink
Disallow: /



PS На будущее: Чтобы не возникало таких проблем делайте форумы на субдоменах

Сообщение отредактировал nick777 - 17.5.2011, 15:48


--------------------
На мобильной рекламе можно зарабатывать по-белому здесь!


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MacLeo
MacLeo
сообщение 17.5.2011, 15:54; Ответить: MacLeo
Сообщение #14


Столкнулся с такой же проблемой. Как сделать что бы Яндекси и гугл признали сайт и форум как одно целое ? Не достаточно ведь соединить robots ( прописать какие страницы не индексировать, да еще и в Robots от сайта) Сначала нужно указать роботам что это тот же сайт. Или я не прав?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
nick777
nick777
сообщение 17.5.2011, 15:57; Ответить: nick777
Сообщение #15


(MacLeo @ 17.5.2011, 15:54) *
Столкнулся с такой же проблемой. Как сделать что бы Яндекси и гугл признали сайт и форум как одно целое ? Не достаточно ведь соединить robots ( прописать какие страницы не индексировать, да еще и в Robots от сайта) Сначала нужно указать роботам что это тот же сайт. Или я не прав?

Вы не правы
Если они размещены на одном и том же домене, то, естественно, ПС примет их за одно целое

Сообщение отредактировал nick777 - 17.5.2011, 15:57


--------------------
На мобильной рекламе можно зарабатывать по-белому здесь!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
gr3y
gr3y
сообщение 18.5.2011, 2:50; Ответить: gr3y
Сообщение #16


nick777
Не советуйте бред ТС. Вы только что подсказали ему как сделать robots.txt с ошибками. Тег Allow большинство роботов не поддерживает, а вы вынесли его в блок для всех роботов. Если гугл и яндекс этот тег понимают - это не значит, что роботов всего два. По официальным стандартам robots.txt может только запрещать.
Пруф от рамблера, например. Ну и на W3C можете самостоятельно почитать.
Чтобы у ТС получился нормальный роботс - его надо перечитать и заново (без кучи бреда, который там сейчас) переписать правильно.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
nick777
nick777
сообщение 18.5.2011, 12:56; Ответить: nick777
Сообщение #17


(gr3y @ 18.5.2011, 2:50) *
nick777
Не советуйте бред ТС. Вы только что подсказали ему как сделать robots.txt с ошибками. Тег Allow большинство роботов не поддерживает, а вы вынесли его в блок для всех роботов. Если гугл и яндекс этот тег понимают - это не значит, что роботов всего два. По официальным стандартам robots.txt может только запрещать.
Пруф от рамблера, например. Ну и на W3C можете самостоятельно почитать.
Чтобы у ТС получился нормальный роботс - его надо перечитать и заново (без кучи бреда, который там сейчас) переписать правильно.

Сайт у ТС'а русскоязычный, на русскоязычные сайты чаще всего идут с Yandex и Google, с остальных ПС трафик практически мизерный, либо его вообще нет, в общем-то Вы правильно говорите, что там надо все переделывать, но надо ли это ТС'у? Надо ли ему тратить ~1 час времени на robots из-за малоизвестных ПС?


--------------------
На мобильной рекламе можно зарабатывать по-белому здесь!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Jekis
Jekis
Topic Starter сообщение 19.5.2011, 16:54; Ответить: Jekis
Сообщение #18


nick777

Поставил ваш роботс, яндекс жалуется -



Сообщение отредактировал Jekis - 19.5.2011, 16:57
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
gr3y
gr3y
сообщение 19.5.2011, 17:35; Ответить: gr3y
Сообщение #19


ТС, у Вас на освоение синтаксиса ушёл бы ЧАС максимум, так нет. Вы хотите, чтоб вам всё разжевали и в рот положили. Теребите уже который день топик этот. Яндекс вам по-русски написал, что в таких-то строках неправильное начало URL.
Добавьте в начало /*
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
nick777
nick777
сообщение 19.5.2011, 22:17; Ответить: nick777
Сообщение #20


User-agent: *
Disallow: */img
Disallow: /redirect/
Disallow: /author/
Disallow: /wp-admin/
Disallow: /wp-includes
Disallow: /page/
Disallow: /?feed=
Disallow: /?s=
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */comments
Disallow: */comment-page*
Disallow: /*trackback
Disallow: /*feed
Disallow: /author*
Disallow: /downloads/
Disallow: /suggestparser/
Disallow: /wordstatparser/
Disallow: /*?*
Disallow: /*?
Disallow: /?*
Disallow: */feed
Disallow: /feed
Disallow: */trackback
Disallow: /tag/*/page
Disallow: /comments/feed/
Disallow: /2011/
Disallow: /2012/
Disallow: /wp-content/uploads/
Allow: /forum/*arcade
Allow: /?action=sitemap*
Allow: /?board=*
Allow: /?action=profile*
Disallow: /forum/avatars/
Disallow: /forum/attachments/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /*PHPSESSID
Host: normal-life.ru
Sitemap: http://normal-life.ru/sitemap.xml

User-agent: Slurp
Crawl-delay: 100

User-agent: Twiceler
Disallow: /

User-Agent: W3C-checklink
Disallow: /


PS По изучай на досуге:
клац
PSS Не реклама!

Сообщение отредактировал nick777 - 19.5.2011, 22:18


--------------------
На мобильной рекламе можно зарабатывать по-белому здесь!


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
gr3y
gr3y
сообщение 20.5.2011, 3:04; Ответить: gr3y
Сообщение #21


nick777
Allow: /?action=sitemap*
Allow: /?board=*
Allow: /?action=profile*

это что? o_O

вот так вообще:
Allow: /forum/*?action=sitemap*
Allow: /forum/*?board=*
Allow: /forum/*?action=profile*

да и то бред. надо напрямую к скриптам привязываться.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
3 страниц V  < 1 2 3 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Ваш сайт блокирует Роскомнадзор?
23 hollywooduk 5096 27.3.2024, 10:43
автор: hollywooduk
Открытая тема (нет новых ответов) Тысячи ботовых переходов на сайт
18 Suagaring 4538 26.3.2024, 21:42
автор: c4p1t4l15t
Открытая тема (нет новых ответов) Блог: городской сми сайт в Прибалтике
23 kapusta1 3534 24.3.2024, 22:02
автор: Liudmila
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлы[Услуги] Баннер/Графика/Сайт
238 FillPlay 179394 23.3.2024, 16:31
автор: freeax
Открытая тема (нет новых ответов) Пишет кто отзывы на сайт в янднекс с разных аккаунтах
1 TenDemon_rs 1130 22.3.2024, 13:18
автор: writer80


 



RSS Текстовая версия Сейчас: 29.3.2024, 11:43
Дизайн