Помощник
|
robots.txt |
alexman30
|
Сообщение
#1
|
||
|
|
||
|
|||
Flaider |
19.2.2011, 20:36;
Ответить: Flaider
Сообщение
#2
|
|
какую cms используете?
-------------------- |
|
|
KonsuJI |
19.2.2011, 21:49;
Ответить: KonsuJI
Сообщение
#3
|
|
Я использую такой вариант (для любой CMS - вполне подойдет)
Единственно можно внести изменения по доступности страниц по желанию. User-agent: * Disallow: /user/ Disallow: /backup/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /upgrade/ Disallow: /uploads/ Disallow: /autobackup.php Disallow: /admin.php Disallow: /index.php?do=addnews Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=pm Disallow: /index.php?do=register Disallow: /index.php?do=stats Disallow: /index.php?do=search Disallow: /index.php?subaction=newposts Disallow: /?do=lastcomments Disallow: /statistics.html Host: www.site.ru Sitemap: http://site.ru/sitemap.xml |
|
|
alexman30
|
Сообщение
#4
|
|
|
|
|
panferowa |
20.2.2011, 16:22;
Ответить: panferowa
Сообщение
#5
|
|
Я бы Вам советовал зайти в соответствующие сервисы этих поисковых систем и там узнать из первых рук.
|
|
|
alexman30
|
Сообщение
#6
|
|
Вообщем выяснил. Host - нужен только для яндекса. Таким образом, правильно писать так -
User-agent: * Disallow: User-agent: Yandex Disallow: Host: |
|
|
Игорь Пастер |
3.3.2011, 18:16;
Ответить: Игорь Пастер
Сообщение
#7
|
|
Всем добрый день! Вопрос у меня по robots.txt. В яндексе говорят, что для него нужна такая форма заполнения: User-agent: * Disallow: /cgi-bin Host: www.site.ru Для гугля советуют такой вариант: User-agent: Googlebot Disallow: /lemurs Но как же тогда гугль определяет хост? Где его прописывать? А вот вариант сразу для всех роботов: User-Agent: * Host: имя сайта.ru Disallow: /index.php? Disallow: /? Disallow: /printable.php? И как на такой вариант будут смотреть роботы яндекса и гугля? Ведь у них стоит другой вариант в рекомендациях. Посоветуйте оптимальный вариант для всех роботов. Заранее спасибо Вот как мне понять? На одних сайтах, говорят, что надо писать, а на других мол это игнорирование из индексации. Мол код User-Agent: * Disallow: /index.php? Вот мол здесь /index.php? - не будет эта страница индексироваться. Так нужно создавать или нет этот файл? Что туда писать? |
|
|
kyc0k |
4.3.2011, 2:22;
Ответить: kyc0k
Сообщение
#8
|
|
Ребята юзайте поиск!!! все уже 100 500 раз написано!!!
Все о файле robots.txt по-русски |
|
|
Игорь Пастер |
4.3.2011, 15:52;
Ответить: Игорь Пастер
Сообщение
#9
|
|
Ребята юзайте поиск!!! все уже 100 500 раз написано!!! Все о файле robots.txt по-русски :c10:Спасибо большое вам Андрей Хороший! Вы действительно хороший человек. Сегодня почитаю об этом файле. А, как вы страницу поиска нашли на http://www.seo-forum.ru/ ? |
|
|
kyc0k |
4.3.2011, 16:50;
Ответить: kyc0k
Сообщение
#10
|
|
Игорь Пастер,все очень легко и просто!
Следуем инструкции: Заходим на форум Авторизуемся и видим следующее --> [IMG]http://s005.radikal.ru/i211/1103/2a/daabfed4873f.jpg[/IMG] |
|
|
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ |
138 | Akira | 79088 | 12.8.2019, 21:28 автор: neonix |
|
Куплю места для размещения TXT+URL Строительная тематика. | 7 | regem | 7642 | 28.3.2019, 18:31 автор: regem |
|
Срочно требуется специалист по robots.txt Разовая работа |
1 | tankoff | 2206 | 8.3.2017, 1:56 автор: PavelMarty |
|
Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики. | 0 | regem | 8347 | 1.3.2017, 3:20 автор: regem |
|
Работы по файлу robots.txt | 8 | tankoff | 3716 | 19.3.2016, 20:02 автор: tankoff |
Текстовая версия | Сейчас: 24.4.2024, 8:25 |