X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> robots.txt
alexman30
alexman30
Topic Starter сообщение 19.2.2011, 17:41; Ответить: alexman30
Сообщение #1


Всем добрый день!
Вопрос у меня по robots.txt.
В яндексе говорят, что для него нужна такая форма заполнения:
User-agent: *
Disallow: /cgi-bin
Host: www.site.ru

Для гугля советуют такой вариант:
User-agent: Googlebot
Disallow: /lemurs
Но как же тогда гугль определяет хост? Где его прописывать?

А вот вариант сразу для всех роботов:
User-Agent: *
Host: имя сайта.ru
Disallow: /index.php?
Disallow: /?
Disallow: /printable.php?
И как на такой вариант будут смотреть роботы яндекса и гугля? Ведь у них стоит другой вариант в рекомендациях.

Посоветуйте оптимальный вариант для всех роботов. Заранее спасибо
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Flaider
Flaider
сообщение 19.2.2011, 20:36; Ответить: Flaider
Сообщение #2


какую cms используете?


--------------------
до открытия портала о заработке осталось 10 дней !
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
KonsuJI
KonsuJI
сообщение 19.2.2011, 21:49; Ответить: KonsuJI
Сообщение #3


Я использую такой вариант (для любой CMS - вполне подойдет)
Единственно можно внести изменения по доступности страниц по желанию.

User-agent: *
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: www.site.ru
Sitemap: http://site.ru/sitemap.xml
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
alexman30
alexman30
Topic Starter сообщение 20.2.2011, 12:37; Ответить: alexman30
Сообщение #4


(flaider @ 19.2.2011, 22:36) *
какую cms используете?

Я использую ShopCMS
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
panferowa
panferowa
сообщение 20.2.2011, 16:22; Ответить: panferowa
Сообщение #5


Я бы Вам советовал зайти в соответствующие сервисы этих поисковых систем и там узнать из первых рук.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
alexman30
alexman30
Topic Starter сообщение 21.2.2011, 15:37; Ответить: alexman30
Сообщение #6


Вообщем выяснил. Host - нужен только для яндекса. Таким образом, правильно писать так -

User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host:
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Игорь Пастер
Игорь Пастер
сообщение 3.3.2011, 18:16; Ответить: Игорь Пастер
Сообщение #7


(alexman30 @ 19.2.2011, 19:41) *
Всем добрый день!
Вопрос у меня по robots.txt.
В яндексе говорят, что для него нужна такая форма заполнения:
User-agent: *
Disallow: /cgi-bin
Host: www.site.ru

Для гугля советуют такой вариант:
User-agent: Googlebot
Disallow: /lemurs
Но как же тогда гугль определяет хост? Где его прописывать?

А вот вариант сразу для всех роботов:
User-Agent: *
Host: имя сайта.ru
Disallow: /index.php?
Disallow: /?
Disallow: /printable.php?
И как на такой вариант будут смотреть роботы яндекса и гугля? Ведь у них стоит другой вариант в рекомендациях.

Посоветуйте оптимальный вариант для всех роботов. Заранее спасибо

Вот как мне понять? На одних сайтах, говорят, что надо писать, а на других мол это игнорирование из индексации.
Мол код
User-Agent: *
Disallow: /index.php?

Вот мол здесь /index.php? - не будет эта страница индексироваться. Так нужно создавать или нет этот файл? Что туда писать?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kyc0k
kyc0k
сообщение 4.3.2011, 2:22; Ответить: kyc0k
Сообщение #8


Ребята юзайте поиск!!! все уже 100 500 раз написано!!!
Все о файле robots.txt по-русски
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Игорь Пастер
Игорь Пастер
сообщение 4.3.2011, 15:52; Ответить: Игорь Пастер
Сообщение #9


(Антоша Хороший @ 4.3.2011, 04:22) *
Ребята юзайте поиск!!! все уже 100 500 раз написано!!!
Все о файле robots.txt по-русски

:c10:Спасибо большое вам Андрей Хороший! Вы действительно хороший человек. Сегодня почитаю об этом файле. А, как вы страницу поиска нашли на http://www.seo-forum.ru/ ?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kyc0k
kyc0k
сообщение 4.3.2011, 16:50; Ответить: kyc0k
Сообщение #10


Игорь Пастер,все очень легко и просто!
Следуем инструкции:
Заходим на форум
Авторизуемся
и видим следующее --> [IMG]http://s005.radikal.ru/i211/1103/2a/daabfed4873f.jpg[/IMG]
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
138 Akira 79069 12.8.2019, 21:28
автор: neonix
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Строительная тематика.
7 regem 7642 28.3.2019, 18:31
автор: regem
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 2206 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики.
0 regem 8347 1.3.2017, 3:20
автор: regem
Открытая тема (нет новых ответов) Работы по файлу robots.txt
8 tankoff 3713 19.3.2016, 20:02
автор: tankoff


 



RSS Текстовая версия Сейчас: 23.4.2024, 13:51
Дизайн