X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Вопрос про Robots.txt
Seo-optimist
Seo-optimist
Topic Starter сообщение 23.11.2009, 16:37; Ответить: Seo-optimist
Сообщение #1


Старожил
******


Группа: Active User
Сообщений: 2109
Регистрация: 31.1.2009
Из: Ukraine
Поблагодарили: 615 раз
Репутация:   158  


Добрый день. Возникла проблема, почему то в последние время в Я.Вебмастере одного из моих сайтах стало видно индексация так как и с www и без, заметил это после того как одному из оптимизаторов дал оптимизировать сайт на продвижение, ну сейчас и он пропал и сайт намести, я так понял это он что-то сделал в robots.txt, скажите, как исправить? А и еще, несет ли это какой-то вред сайту?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Futurman
Futurman
сообщение 23.11.2009, 16:43; Ответить: Futurman
Сообщение #2


Завсегдатай
*****

Группа: Active User
Сообщений: 545
Регистрация: 4.9.2009
Поблагодарили: 119 раз
Репутация:   12  


Гадание на роботсе без самого роботса почти невозможно.


--------------------
..
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Seo-optimist
Seo-optimist
Topic Starter сообщение 23.11.2009, 16:47; Ответить: Seo-optimist
Сообщение #3


Старожил
******


Группа: Active User
Сообщений: 2109
Регистрация: 31.1.2009
Из: Ukraine
Поблагодарили: 615 раз
Репутация:   158  


User-agent: *
Disallow: /admin.php
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Disallow: /backup/
Disallow: /chat/
Disallow: /cnstats/
Disallow: /cron/
Disallow: /download/
Disallow: /engine/
Disallow: /install/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Sitemap: http://мойсайт/yandex.xml
Crawl Delay: 10
Host: мойсайт.ком
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SHome
SHome
сообщение 23.11.2009, 17:18; Ответить: SHome
Сообщение #4


Добрый друг
******

Группа: Active User
Сообщений: 1316
Регистрация: 7.9.2007
Из: Москва
Поблагодарили: 348 раз
Репутация:   76  


Seo-optimist, не очень понятно, что Ты хочешь? Что исправить?

- User-agent: * - указанные правила robots.txt для всех ПС
- Disallow: /.... - закрытые разделы и странички для индексации
- Sitemap: http://мойсайт/yandex.xml - это файлик с информацией для ПС о Твоем сайте
- Crawl Delay: 10 - определяет паузу (в сек.), с которой должны делать роботы обращение к страницам Твоего сайта (я бы убрал)
- Host: мойсайт.ком - директива для робота–зеркальщика Яши

В чем проблема-то?


--------------------
«Молодой» редактор ODP - Top: World: Russian: ...


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Futurman
Futurman
сообщение 23.11.2009, 17:21; Ответить: Futurman
Сообщение #5


Завсегдатай
*****

Группа: Active User
Сообщений: 545
Регистрация: 4.9.2009
Поблагодарили: 119 раз
Репутация:   12  


Можно сделать такой

User-agent: Yandex
Disallow: /admin.php
Disallow: /*?do*
Disallow: /backup/
Disallow: /chat/
Disallow: /cnstats/
Disallow: /cron/
Disallow: /download/
Disallow: /engine/
Disallow: /install/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Host: мойсайт.ком

User-agent: *
Disallow: /admin.php
Disallow: /*?do*
Disallow: /backup/
Disallow: /chat/
Disallow: /cnstats/
Disallow: /cron/
Disallow: /download/
Disallow: /engine/
Disallow: /install/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Host: мойсайт.ком

Sitemap: http://мойсайт/sitemap.xml


Вообще не совсем понятно зачем закрывать
Disallow: /backup/
Disallow: /chat/
Disallow: /cnstats/
Disallow: /cron/
Disallow: /download/
Disallow: /engine/
Disallow: /install/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/

Я конечно не эксперт в ДЛЕ, но имхо оно итак индексироваться не будет

Disallow: /uploads/ - это говорит о том что Картинки не участвуют в поиске в Яндекс Картинках, опять же применительно к ДЛЕ

Расклеило несовсем понятно почему. Было такое иногда, но в основном все решалось само собой.


--------------------
..


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Вопрос по seo для интернет магазина
куда девать продвинутые товары, которые уже не выпускают
18 viktormerke 2804 15.12.2017, 15:18
автор: Smspva
Открытая тема (нет новых ответов) Что вы можете сказать про мегакассу?
16 DimaMyrzich 3605 7.12.2017, 16:13
автор: vds4you
Открытая тема (нет новых ответов) Вопрос к знатокам Instagram
20 SEOMR 4182 30.11.2017, 14:25
автор: DiscordPro
Открытая тема (нет новых ответов) Вопрос про Телеграмм
18 syd2010 1170 28.11.2017, 14:25
автор: PostBrigada
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
135 Akira 47507 28.11.2017, 1:05
автор: Akira


 



RSS Текстовая версия Сейчас: 17.12.2017, 4:37
Дизайн