X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Запрет на индесацию всех роботов
HashMan
HashMan
Topic Starter сообщение 23.4.2007, 7:56; Ответить: HashMan
Сообщение #1


Новичок
*

Группа: Viewer
Сообщений: 6
Регистрация: 22.4.2007
Из: Саратова
Поблагодарили: 0 раз
Репутация:   0  


Скажите пожалуйста, что надо прописать в robots.txt, чтобы зпретить индексацию всех поисковых роботов?


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ig0r
ig0r
сообщение 23.4.2007, 15:49; Ответить: ig0r
Сообщение #2


0.о
*****

Группа: Active User
Сообщений: 794
Регистрация: 19.4.2007
Из: ДС
Поблагодарили: 276 раз
Репутация:   53  


Возможны два вида ограничений:

1) Файл robots.txt в корневом каталоге сервера позволяет удалить из индекса сервер целиком, отдельные директории сервера и, непосредственно перечисленные отдельные файлы.

Семантика директив в файле robots.txt:
      User-agent: *

      Disallow: /                     # Удаляет из индексирования весь сервер целиком



или
      User-agent: *

      Disallow: /cgi-bin/             # Удаляет из индексирования директорию

      Disallow: /info/fakeinfo.html   # Удаляет из индексирования файл



Строка User-agent: указывает, что последующие директивы Disallow: относятся к указанному роботу. Символ * означает, что директивы предназначаются всем роботам. Если робот специфицирован непосредственно, то он рассматривает только предназначающиеся ему директивы, и не учитывает директивы, перечисленные в разделе User-agent: *.

Для указания директив непосредственно Googlebot, необходимо задать имя робота:
User-agent: Googlebot

Файл robots.txt может содержать несколько наборов директив, например, для всех роботов (*) и для некоторох роботов непосредственно, предваряемые соответствующими строками User-agent: *, User-agent: Googlebot, и т.д.

Количество последующих директив Disallow: не ограничено, и каждая последующая должна размещаться в новой строке. Каждая директива должна содержать только один путь или имя файла. Перечисления, например, "Disallow: /cgi-bin/ /mydir/" или "Disallow: /cgi-bin/;/mydir/" не поддерживаются.

Символ # указывает на начало комментария, и часть строки после этого символа роботом не рассматривается.

2) Мета-Теги, внутри HTML страницы позволяют ограничивать индексирование данной страницы сайта.

Мета-Тег добавляется в раздел <HEAD> страницы, и также как и в случае с файлом robots.txt, ограничение может относиться либо ко всем роботам, либо непосредственно к указанному.

Теги:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

или
<META NAME="WEBALTA" CONTENT="NOINDEX, NOFOLLOW">

запрещают индексировать страницу всем роботам, или только Googlebot, соответственно.

Теги:
<META NAME="ROBOTS" CONTENT="NOFOLLOW">

или
<META NAME="Googlebot" CONTENT="NOFOLLOW">

Разрешают индексировать страницу, но запрещают переходить по внешним ссылкам всем роботам, или только Googlebot, соответственно.

Теги:
<META NAME="ROBOTS" CONTENT="NOINDEX">

или
<META NAME="Googlebot" CONTENT="NOINDEX">

запрещают индексировать страницу, но позволяют переходить по внешним ссылкам всем роботам, или только Googlebot, соответственно.

Также, возможно одновременное размещения нескольких Мета-Тегов, ограничивающих индексирование, как для всех роботов, так и для непосредственно указанных. В этом случае, непосредственно указанный робот Googlebot принимает ограничения, как сумму из указанных ему и указанных для всех роботов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VitVus
VitVus
сообщение 29.4.2007, 13:05; Ответить: VitVus
Сообщение #3


Новичок
*

Группа: Viewer
Сообщений: 4
Регистрация: 29.4.2007
Поблагодарили: 0 раз
Репутация:   0  


Как запретить индексацию некоторых страниц Яндекс боту и гугл боту, а другим разрешить, я че то прописывал запрет на яндекс и гугл, указываю каталогу ссылку, он говорит стоит запрет всем роботам...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ig0r
ig0r
сообщение 29.4.2007, 13:29; Ответить: ig0r
Сообщение #4


0.о
*****

Группа: Active User
Сообщений: 794
Регистрация: 19.4.2007
Из: ДС
Поблагодарили: 276 раз
Репутация:   53  


Примерно так:
     User-agent: Googlebot

      Disallow: /cgi-bin/             # Удаляет из индексирования директорию

      Disallow: /info/fakeinfo.html   # Удаляет из индексирования файл
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Zla
Zla
сообщение 19.5.2007, 21:45; Ответить: Zla
Сообщение #5


Новичок
*

Группа: Viewer
Сообщений: 5
Регистрация: 19.5.2007
Поблагодарили: 0 раз
Репутация:   0  


Отличная познавательная инфа. Большне нигде не встречал, чтобы так терпеливо всё объяснили. Спасибо!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
tulvit
tulvit
сообщение 1.6.2007, 22:57; Ответить: tulvit
Сообщение #6


Участник
***

Группа: User
Сообщений: 143
Регистрация: 1.6.2007
Поблагодарили: 2 раза
Репутация:   0  


Скажите пожалуйста, что надо прописать в robots.txt, чтобы зпретить индексацию всех поисковых роботов?

Яндекс вам в помощь!
вот нарыл интересный мануал на русском http://robotstxt.org.ru/
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BumBah
BumBah
сообщение 1.9.2007, 23:20; Ответить: BumBah
Сообщение #7


Новичок
*

Группа: User
Сообщений: 26
Регистрация: 29.8.2007
Поблагодарили: 0 раз
Репутация:   -1  


(ig0r @ 29.4.2007, 9:29) *
Примерно так:
     User-agent: Googlebot

      Disallow: /cgi-bin/             # Удаляет из индексирования директорию

      Disallow: /info/fakeinfo.html   # Удаляет из индексирования файл

А Гуглу всё это по барабану.
Забудьте о robots.txt, изучайте матчасть по htaccess

Сообщение отредактировал BumBah - 1.9.2007, 23:22
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
LEXENUS
LEXENUS
сообщение 16.9.2007, 23:02; Ответить: LEXENUS
Сообщение #8


Старожил
******

Группа: Active User
Сообщений: 1230
Регистрация: 24.8.2007
Из: SPb
Поблагодарили: 429 раз
Репутация:   83  


Скажите пожалуйста а как отредактировать фаил robots.txt я его найти немогу сайт на юкосе
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Fred
Fred
сообщение 17.9.2007, 2:16; Ответить: Fred
Сообщение #9


Новичок
*

Группа: User
Сообщений: 16
Регистрация: 15.9.2007
Поблагодарили: 0 раз
Репутация:   0  


Подскажите пожалуйста еще: как склеить с помощью robots.txt 3 сайта. (2-идентичные 1-идентичен на 95%).
Имеет ли вообще значение идентичный на них контент или нет.
-------------------------------------------------
Сайт студентов - http://gr823.spb.ru.
Мебель - http://tron.spb.ru
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Dizman
Dizman
сообщение 17.9.2007, 19:22; Ответить: Dizman
Сообщение #10


Новичок
*

Группа: Viewer
Сообщений: 2
Регистрация: 17.9.2007
Поблагодарили: 0 раз
Репутация:   0  


Скажите пожалуйста а как отредактировать фаил robots.txt я его найти немогу сайт на юкосе

нужно создать вручную в блокноте и залить на сервер.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Комплексный (SEO) аудит сайтов, нахождение и устранение всех ошибок сайта. Вывод в ТОП
29 Taylor 9925 8.12.2017, 13:40
автор: kukla
Открытая тема (нет новых ответов) EssayPartner.com - до 60% за первый заказ, до 35% за ребиллы, современные ленды и WL для всех
14 EssayPartner 2465 5.12.2017, 13:42
автор: EssayPartner
Открытая тема (нет новых ответов) Top.Partners - VIP условия по WAPCLICK и WEB MT для всех.
Принимаем WEB, WAP, WI-FI трафик на подписки.
18 TopPartners 4430 27.11.2017, 15:21
автор: TopPartners
Открытая тема (нет новых ответов) Консультация. Заработок в буржунете для всех.
9 Вазелин 4586 10.11.2017, 1:55
автор: Карамболь
Открытая тема (нет новых ответов) Заработок на сексе по телефону для всех, мой опыт
5 evgen79 1843 27.9.2017, 4:38
автор: Denny


 



RSS Текстовая версия Сейчас: 11.12.2017, 8:33
Дизайн