X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

> Запрет на индесацию всех роботов
HashMan
HashMan
Topic Starter сообщение 23.4.2007, 7:56; Ответить: HashMan
Сообщение #1


Скажите пожалуйста, что надо прописать в robots.txt, чтобы зпретить индексацию всех поисковых роботов?


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
 
Открыть тему
Ответов (1 - 9)
ig0r
ig0r
сообщение 23.4.2007, 15:49; Ответить: ig0r
Сообщение #2


Возможны два вида ограничений:

1) Файл robots.txt в корневом каталоге сервера позволяет удалить из индекса сервер целиком, отдельные директории сервера и, непосредственно перечисленные отдельные файлы.

Семантика директив в файле robots.txt:
      User-agent: *

      Disallow: /                     # Удаляет из индексирования весь сервер целиком



или
      User-agent: *

      Disallow: /cgi-bin/             # Удаляет из индексирования директорию

      Disallow: /info/fakeinfo.html   # Удаляет из индексирования файл



Строка User-agent: указывает, что последующие директивы Disallow: относятся к указанному роботу. Символ * означает, что директивы предназначаются всем роботам. Если робот специфицирован непосредственно, то он рассматривает только предназначающиеся ему директивы, и не учитывает директивы, перечисленные в разделе User-agent: *.

Для указания директив непосредственно Googlebot, необходимо задать имя робота:
User-agent: Googlebot

Файл robots.txt может содержать несколько наборов директив, например, для всех роботов (*) и для некоторох роботов непосредственно, предваряемые соответствующими строками User-agent: *, User-agent: Googlebot, и т.д.

Количество последующих директив Disallow: не ограничено, и каждая последующая должна размещаться в новой строке. Каждая директива должна содержать только один путь или имя файла. Перечисления, например, "Disallow: /cgi-bin/ /mydir/" или "Disallow: /cgi-bin/;/mydir/" не поддерживаются.

Символ # указывает на начало комментария, и часть строки после этого символа роботом не рассматривается.

2) Мета-Теги, внутри HTML страницы позволяют ограничивать индексирование данной страницы сайта.

Мета-Тег добавляется в раздел <HEAD> страницы, и также как и в случае с файлом robots.txt, ограничение может относиться либо ко всем роботам, либо непосредственно к указанному.

Теги:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

или
<META NAME="WEBALTA" CONTENT="NOINDEX, NOFOLLOW">

запрещают индексировать страницу всем роботам, или только Googlebot, соответственно.

Теги:
<META NAME="ROBOTS" CONTENT="NOFOLLOW">

или
<META NAME="Googlebot" CONTENT="NOFOLLOW">

Разрешают индексировать страницу, но запрещают переходить по внешним ссылкам всем роботам, или только Googlebot, соответственно.

Теги:
<META NAME="ROBOTS" CONTENT="NOINDEX">

или
<META NAME="Googlebot" CONTENT="NOINDEX">

запрещают индексировать страницу, но позволяют переходить по внешним ссылкам всем роботам, или только Googlebot, соответственно.

Также, возможно одновременное размещения нескольких Мета-Тегов, ограничивающих индексирование, как для всех роботов, так и для непосредственно указанных. В этом случае, непосредственно указанный робот Googlebot принимает ограничения, как сумму из указанных ему и указанных для всех роботов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
VitVus
VitVus
сообщение 29.4.2007, 13:05; Ответить: VitVus
Сообщение #3


Как запретить индексацию некоторых страниц Яндекс боту и гугл боту, а другим разрешить, я че то прописывал запрет на яндекс и гугл, указываю каталогу ссылку, он говорит стоит запрет всем роботам...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ig0r
ig0r
сообщение 29.4.2007, 13:29; Ответить: ig0r
Сообщение #4


Примерно так:
     User-agent: Googlebot

      Disallow: /cgi-bin/             # Удаляет из индексирования директорию

      Disallow: /info/fakeinfo.html   # Удаляет из индексирования файл
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Zla
Zla
сообщение 19.5.2007, 21:45; Ответить: Zla
Сообщение #5


Отличная познавательная инфа. Большне нигде не встречал, чтобы так терпеливо всё объяснили. Спасибо!
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
tulvit
tulvit
сообщение 1.6.2007, 22:57; Ответить: tulvit
Сообщение #6


Скажите пожалуйста, что надо прописать в robots.txt, чтобы зпретить индексацию всех поисковых роботов?

Яндекс вам в помощь!
вот нарыл интересный мануал на русском http://robotstxt.org.ru/
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BumBah
BumBah
сообщение 1.9.2007, 23:20; Ответить: BumBah
Сообщение #7


(ig0r @ 29.4.2007, 9:29) *
Примерно так:
     User-agent: Googlebot

      Disallow: /cgi-bin/             # Удаляет из индексирования директорию

      Disallow: /info/fakeinfo.html   # Удаляет из индексирования файл

А Гуглу всё это по барабану.
Забудьте о robots.txt, изучайте матчасть по htaccess

Сообщение отредактировал BumBah - 1.9.2007, 23:22
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
LEXENUS
LEXENUS
сообщение 16.9.2007, 23:02; Ответить: LEXENUS
Сообщение #8


Скажите пожалуйста а как отредактировать фаил robots.txt я его найти немогу сайт на юкосе
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Fred
Fred
сообщение 17.9.2007, 2:16; Ответить: Fred
Сообщение #9


Подскажите пожалуйста еще: как склеить с помощью robots.txt 3 сайта. (2-идентичные 1-идентичен на 95%).
Имеет ли вообще значение идентичный на них контент или нет.
-------------------------------------------------
Сайт студентов - http://gr823.spb.ru.
Мебель - http://tron.spb.ru
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Dizman
Dizman
сообщение 17.9.2007, 19:22; Ответить: Dizman
Сообщение #10


Скажите пожалуйста а как отредактировать фаил robots.txt я его найти немогу сайт на юкосе

нужно создать вручную в блокноте и залить на сервер.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) В Совфеде рассказали о возможной с 1 марта 2024 года блокировке всех VPN-сервисов
30 Room 4983 17.3.2024, 18:43
автор: Rebex
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыCapMonster Cloud - Автоматическое распознавание всех видов капч
20 nuaru_ 5957 18.1.2024, 15:30
автор: nuaru_
Открытая тема (нет новых ответов) Secretsline VPN - скорость до 100 мбит/c. Без логов. Для всех платформ.
2 Secrets_Line 2541 30.3.2022, 12:49
автор: EvilGomel
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыClickDealer - Офферы во всех вертикалях и ГЕО. Своя дейтинг смартлинка.
79 ClickDealer 26928 9.2.2022, 11:45
автор: ClickDealer
Открытая тема (нет новых ответов) Списки всех зарегистрированных доменов с указанными NS адресами
11 phosphoruss 8634 4.11.2021, 21:07
автор: phosphoruss


 



RSS Текстовая версия Сейчас: 29.3.2024, 5:23
Дизайн