X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Нужна помощь в создании robots.txt для IP.Board & DLE
Ostrovok
Ostrovok
Topic Starter сообщение 14.7.2011, 0:09; Ответить: Ostrovok
Сообщение #1


Бывалый
****

Группа: User
Сообщений: 269
Регистрация: 11.5.2010
Из: Симферополь
Поблагодарили: 37 раз
Репутация:   7  


Яндекс индексирует сайт, но категорически не желает индексировать форум.
Участник этого форума составил мне Robots.Txt для связки DLE и форума IP.Board, но мне кажется что-то в нём не так. Буду ВЕСЬМА признательным за помощь.
За ранее спасибо.
Вот этот файл


Развернуть/Свернуть




User-agent: *
Allow: /

User-agent: Yandex
Allow: /
Host: site.ru
Disallow: /admin.php
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: *page/
Disallow: /tags/
Disallow: /*print
Disallow: /*userinfo
Disallow: /2009/
Disallow: /2011/
Disallow: /2010/
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=addnews
Disallow: /autobackup.php
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/*
Disallow: /favorites/
Disallow: /?do=*
Disallow: /index.php?do=*
Disallow: /rules.html





--------------------
 Островок новостей Дневник в ЖЖ ПЕРЕКРЁСТОК ВЕТРОВ 
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
HappyPark
HappyPark
сообщение 14.7.2011, 0:13; Ответить: HappyPark
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 256
Регистрация: 10.3.2010
Из: Москвы
Поблагодарили: 56 раз
Репутация:   19  


А по какому адресу располагается форум?

forum.site.ru или site.ru/forum?

Если по первому, то данный Робот никак на него не влияет, если мне не изменяет память.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Ostrovok
Ostrovok
Topic Starter сообщение 14.7.2011, 0:44; Ответить: Ostrovok
Сообщение #3


Бывалый
****

Группа: User
Сообщений: 269
Регистрация: 11.5.2010
Из: Симферополь
Поблагодарили: 37 раз
Репутация:   7  


(HappyPark @ 13.7.2011, 23:13) *
site.ru/forum


--------------------
 Островок новостей Дневник в ЖЖ ПЕРЕКРЁСТОК ВЕТРОВ 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
wmkz
wmkz
сообщение 14.7.2011, 4:42; Ответить: wmkz
Сообщение #4


Завсегдатай
*****


Группа: Active User
Сообщений: 656
Регистрация: 11.2.2010
Из: KZ
Поблагодарили: 103 раза
Репутация:   22  


ХМ не вижу Sitemap сайта, и на сколько мне известно данные необходимо применить для всех ПСов, а для ящи вынести отдельно:
User-agent: Yandex
Host: site.ru

Для остальных ПСов переменная host не работает (на сколько мне известно)

Disallow: /upgrade/ вообще удаляется с хостинга после апгрейда движка (думаю что вообще не нужен)

Сообщение отредактировал wmkz - 14.7.2011, 4:44


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
AmoSeo
AmoSeo
сообщение 14.7.2011, 5:32; Ответить: AmoSeo
Сообщение #5


Завсегдатай
*****

Группа: Active User
Сообщений: 523
Регистрация: 10.6.2011
Поблагодарили: 130 раз
Репутация:   22  


надо смотреть в яндекс вебмастер панеле, что происходит с индексацией, если все /forum не хочет индексировать значит проблема может быть и с контентом. Как мне в подобной ситуации яндекс писал что на форуме много спама и сообщения не модерируются. Несколько месяцев кропотливой работы ушло на то чтобы както вернуть доверие яши к форуму.
Почистил всякие темы, копипаст убрал или в крайнем случае указывал источник. В robots.txt все лишнее закрыл.
А еще был случай, форум тоже ипб, так один из пользователей разместил информацию (копипаст) как установить MSSQL 2005. Смотрю все пару тысяч страниц выпали из индекса и 0 стоит, а в лс (в панеле вебмастера) пришло сообщение о якобы спаме со ссылкой на тему которая содержала тот самый гайд. Нашел оригинал (хз их несколько оказалось) и на своем форуме указал линк на источник - не помогло. Через пару дней рерайт заголовка и скрытие под хайд тектса тоже не помогло. Через неделю с лишним удалил тему и все вернулось в индекс (кстати... так можно недругам насолить, та самая статья http://pastebin.com/Lvju14gP ).

Сообщение отредактировал AmoSeo - 14.7.2011, 5:38


--------------------
Предоставляю услуги: Content Downloader - настройка парсера для любого сайта. (опыт с 2011 г.)
Наполнение магазинов товарами: Opencart, SimplaCMS, Webasyst и т.д.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Timo
Timo
сообщение 14.7.2011, 15:55; Ответить: Timo
Сообщение #6


Участник
***

Группа: User
Сообщений: 175
Регистрация: 22.5.2011
Поблагодарили: 27 раз
Репутация:   3  


ТС, популярным языком о составлении robots.txt для ДЛЕ написано здесь... Думаю, поможет wink.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Ostrovok
Ostrovok
Topic Starter сообщение 14.7.2011, 21:27; Ответить: Ostrovok
Сообщение #7


Бывалый
****

Группа: User
Сообщений: 269
Регистрация: 11.5.2010
Из: Симферополь
Поблагодарили: 37 раз
Репутация:   7  


(Timo @ 14.7.2011, 13:55) *
ТС, популярным языком о составлении robots.txt для ДЛЕ написано здесь... Думаю, поможет wink.gif

Спасибоwink.gif


--------------------
 Островок новостей Дневник в ЖЖ ПЕРЕКРЁСТОК ВЕТРОВ 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) SimplePay: Прием платежей на сайте для юридических и физических лиц
0 kuprum 2 Сегодня, 14:10
автор: kuprum
Открытая тема (нет новых ответов) Чем сжимать картинки для сайта без потери качества
1st-finstep.ru - Заработок в сети и методы продвижения сайта
11 komarik_vlad 1085 Сегодня, 13:55
автор: adiozmf
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыAdverten - Платформа для монетизации дэйтинг и общетематического трафика.
28 Cattani 6456 Сегодня, 12:56
автор: Cattani
Открытая тема (нет новых ответов) 10 бесплатных сервисов Google для бизнеса, о которых мало кто слышал
18 jack 5660 Сегодня, 12:29
автор: Akeeloq
Открытая тема (нет новых ответов) Вопрос по seo для интернет магазина
куда девать продвинутые товары, которые уже не выпускают
15 viktormerke 2533 Сегодня, 11:53
автор: Caterpillar


 



RSS Текстовая версия Сейчас: 14.12.2017, 14:12
Дизайн