X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> robots.txt
alexman30
alexman30
Topic Starter сообщение 19.2.2011, 17:41; Ответить: alexman30
Сообщение #1


Новичок
*

Группа: User
Сообщений: 12
Регистрация: 10.2.2011
Поблагодарили: 0 раз
Репутация:   0  


Всем добрый день!
Вопрос у меня по robots.txt.
В яндексе говорят, что для него нужна такая форма заполнения:
User-agent: *
Disallow: /cgi-bin
Host: www.site.ru

Для гугля советуют такой вариант:
User-agent: Googlebot
Disallow: /lemurs
Но как же тогда гугль определяет хост? Где его прописывать?

А вот вариант сразу для всех роботов:
User-Agent: *
Host: имя сайта.ru
Disallow: /index.php?
Disallow: /?
Disallow: /printable.php?
И как на такой вариант будут смотреть роботы яндекса и гугля? Ведь у них стоит другой вариант в рекомендациях.

Посоветуйте оптимальный вариант для всех роботов. Заранее спасибо
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Flaider
Flaider
сообщение 19.2.2011, 20:36; Ответить: Flaider
Сообщение #2


Новичок
*

Группа: User
Сообщений: 43
Регистрация: 1.11.2009
Из: Минск
Поблагодарили: 3 раза
Репутация:   1  


какую cms используете?


--------------------
до открытия портала о заработке осталось 10 дней !
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
KonsuJI
KonsuJI
сообщение 19.2.2011, 21:49; Ответить: KonsuJI
Сообщение #3


Новичок
*

Группа: User
Сообщений: 22
Регистрация: 21.1.2009
Из: Иркутск
Поблагодарили: 0 раз
Репутация:   0  


Я использую такой вариант (для любой CMS - вполне подойдет)
Единственно можно внести изменения по доступности страниц по желанию.

User-agent: *
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: www.site.ru
Sitemap: http://site.ru/sitemap.xml
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
alexman30
alexman30
Topic Starter сообщение 20.2.2011, 12:37; Ответить: alexman30
Сообщение #4


Новичок
*

Группа: User
Сообщений: 12
Регистрация: 10.2.2011
Поблагодарили: 0 раз
Репутация:   0  


(flaider @ 19.2.2011, 22:36) *
какую cms используете?

Я использую ShopCMS
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
panferowa
panferowa
сообщение 20.2.2011, 16:22; Ответить: panferowa
Сообщение #5


Новичок
*

Группа: User
Сообщений: 5
Регистрация: 20.2.2011
Поблагодарили: 0 раз
Репутация:   0  


Я бы Вам советовал зайти в соответствующие сервисы этих поисковых систем и там узнать из первых рук.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
alexman30
alexman30
Topic Starter сообщение 21.2.2011, 15:37; Ответить: alexman30
Сообщение #6


Новичок
*

Группа: User
Сообщений: 12
Регистрация: 10.2.2011
Поблагодарили: 0 раз
Репутация:   0  


Вообщем выяснил. Host - нужен только для яндекса. Таким образом, правильно писать так -

User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host:
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Игорь Пастер
Игорь Пастер
сообщение 3.3.2011, 18:16; Ответить: Игорь Пастер
Сообщение #7


Новичок
*

Группа: User
Сообщений: 14
Регистрация: 3.3.2011
Поблагодарили: 0 раз
Репутация:   0  


(alexman30 @ 19.2.2011, 19:41) *
Всем добрый день!
Вопрос у меня по robots.txt.
В яндексе говорят, что для него нужна такая форма заполнения:
User-agent: *
Disallow: /cgi-bin
Host: www.site.ru

Для гугля советуют такой вариант:
User-agent: Googlebot
Disallow: /lemurs
Но как же тогда гугль определяет хост? Где его прописывать?

А вот вариант сразу для всех роботов:
User-Agent: *
Host: имя сайта.ru
Disallow: /index.php?
Disallow: /?
Disallow: /printable.php?
И как на такой вариант будут смотреть роботы яндекса и гугля? Ведь у них стоит другой вариант в рекомендациях.

Посоветуйте оптимальный вариант для всех роботов. Заранее спасибо

Вот как мне понять? На одних сайтах, говорят, что надо писать, а на других мол это игнорирование из индексации.
Мол код
User-Agent: *
Disallow: /index.php?

Вот мол здесь /index.php? - не будет эта страница индексироваться. Так нужно создавать или нет этот файл? Что туда писать?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kyc0k
kyc0k
сообщение 4.3.2011, 2:22; Ответить: kyc0k
Сообщение #8


Новичок
*

Группа: Viewer
Сообщений: 0
Регистрация: 21.3.2011
Поблагодарили: 0 раз
Репутация:   0  


Ребята юзайте поиск!!! все уже 100 500 раз написано!!!
Все о файле robots.txt по-русски
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Игорь Пастер
Игорь Пастер
сообщение 4.3.2011, 15:52; Ответить: Игорь Пастер
Сообщение #9


Новичок
*

Группа: User
Сообщений: 14
Регистрация: 3.3.2011
Поблагодарили: 0 раз
Репутация:   0  


(Антоша Хороший @ 4.3.2011, 04:22) *
Ребята юзайте поиск!!! все уже 100 500 раз написано!!!
Все о файле robots.txt по-русски

:c10:Спасибо большое вам Андрей Хороший! Вы действительно хороший человек. Сегодня почитаю об этом файле. А, как вы страницу поиска нашли на http://www.seo-forum.ru/ ?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kyc0k
kyc0k
сообщение 4.3.2011, 16:50; Ответить: kyc0k
Сообщение #10


Новичок
*

Группа: Viewer
Сообщений: 0
Регистрация: 21.3.2011
Поблагодарили: 0 раз
Репутация:   0  


Игорь Пастер,все очень легко и просто!
Следуем инструкции:
Заходим на форум
Авторизуемся
и видим следующее --> [IMG]http://s005.radikal.ru/i211/1103/2a/daabfed4873f.jpg[/IMG]
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Не достаточно качественная страница Robots.txt
1 SergiuS85 258 19.9.2020, 21:34
автор: BLIK
Открытая тема (нет новых ответов) Нужна ли карта и robots одностраничнику
Рекомендации Яндекс - а может ну его?
5 PostBrigada 421 29.7.2020, 1:54
автор: VinogradOFF
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
138 Akira 62744 12.8.2019, 21:28
автор: neonix
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Строительная тематика.
7 regem 5995 28.3.2019, 18:31
автор: regem
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыКак правильно сделать robot.txt для Гугла?
6 Kord18 802 5.1.2018, 18:01
автор: Sosnovskij


 



RSS Текстовая версия Сейчас: 30.10.2020, 9:06
Дизайн