Помощник
 |
|
|
|
|
Сообщение сайта
|
 Запрет на индесацию всех роботов |
HashMan
|
Сообщение
#1
|
||
 Новичок  Группа: Viewer Сообщений: 6 Регистрация: 22.4.2007 Из: Саратова Поблагодарили: 0 раз Репутация:  0 
 |
|
||
 |
|
||
ig0r
|
 23.4.2007, 15:49;
Ответить: ig0r
Сообщение
#2
|
 0.о Группа: Active User Сообщений: 794 Регистрация: 19.4.2007 Из: ДС Поблагодарили: 276 раз Репутация: 53
|
Возможны два вида ограничений:
1) Файл robots.txt в корневом каталоге сервера позволяет удалить из индекса сервер целиком, отдельные директории сервера и, непосредственно перечисленные отдельные файлы. Семантика директив в файле robots.txt: User-agent: * Disallow: / # Удаляет из индексирования весь сервер целиком или User-agent: * Disallow: /cgi-bin/ # Удаляет из индексирования директорию Disallow: /info/fakeinfo.html # Удаляет из индексирования файл Строка User-agent: указывает, что последующие директивы Disallow: относятся к указанному роботу. Символ * означает, что директивы предназначаются всем роботам. Если робот специфицирован непосредственно, то он рассматривает только предназначающиеся ему директивы, и не учитывает директивы, перечисленные в разделе User-agent: *. Для указания директив непосредственно Googlebot, необходимо задать имя робота: User-agent: Googlebot Файл robots.txt может содержать несколько наборов директив, например, для всех роботов (*) и для некоторох роботов непосредственно, предваряемые соответствующими строками User-agent: *, User-agent: Googlebot, и т.д. Количество последующих директив Disallow: не ограничено, и каждая последующая должна размещаться в новой строке. Каждая директива должна содержать только один путь или имя файла. Перечисления, например, "Disallow: /cgi-bin/ /mydir/" или "Disallow: /cgi-bin/;/mydir/" не поддерживаются. Символ # указывает на начало комментария, и часть строки после этого символа роботом не рассматривается. 2) Мета-Теги, внутри HTML страницы позволяют ограничивать индексирование данной страницы сайта. Мета-Тег добавляется в раздел <HEAD> страницы, и также как и в случае с файлом robots.txt, ограничение может относиться либо ко всем роботам, либо непосредственно к указанному. Теги: <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> или <META NAME="WEBALTA" CONTENT="NOINDEX, NOFOLLOW"> запрещают индексировать страницу всем роботам, или только Googlebot, соответственно. Теги: <META NAME="ROBOTS" CONTENT="NOFOLLOW"> или <META NAME="Googlebot" CONTENT="NOFOLLOW"> Разрешают индексировать страницу, но запрещают переходить по внешним ссылкам всем роботам, или только Googlebot, соответственно. Теги: <META NAME="ROBOTS" CONTENT="NOINDEX"> или <META NAME="Googlebot" CONTENT="NOINDEX"> запрещают индексировать страницу, но позволяют переходить по внешним ссылкам всем роботам, или только Googlebot, соответственно. Также, возможно одновременное размещения нескольких Мета-Тегов, ограничивающих индексирование, как для всех роботов, так и для непосредственно указанных. В этом случае, непосредственно указанный робот Googlebot принимает ограничения, как сумму из указанных ему и указанных для всех роботов. |
|
|
|
|
VitVus
|
29.4.2007, 13:05;
Ответить: VitVus
Сообщение
#3
|
|
Новичок Группа: Viewer Сообщений: 4 Регистрация: 29.4.2007 Поблагодарили: 0 раз Репутация: 0
|
Как запретить индексацию некоторых страниц Яндекс боту и гугл боту, а другим разрешить, я че то прописывал запрет на яндекс и гугл, указываю каталогу ссылку, он говорит стоит запрет всем роботам...
|
|
|
|
|
ig0r
|
29.4.2007, 13:29;
Ответить: ig0r
Сообщение
#4
|
|
0.о Группа: Active User Сообщений: 794 Регистрация: 19.4.2007 Из: ДС Поблагодарили: 276 раз Репутация: 53
|
Примерно так:
User-agent: Googlebot
Disallow: /cgi-bin/ # Удаляет из индексирования директорию Disallow: /info/fakeinfo.html # Удаляет из индексирования файл |
|
|
|
|
Zla
|
19.5.2007, 21:45;
Ответить: Zla
Сообщение
#5
|
|
Новичок Группа: Viewer Сообщений: 15 Регистрация: 19.5.2007 Поблагодарили: 0 раз Репутация: 0
|
Отличная познавательная инфа. Большне нигде не встречал, чтобы так терпеливо всё объяснили. Спасибо!
|
|
|
|
|
tulvit
|
1.6.2007, 22:57;
Ответить: tulvit
Сообщение
#6
|
 Участник Группа: User Сообщений: 143 Регистрация: 1.6.2007 Поблагодарили: 2 раза Репутация: 0
|
Скажите пожалуйста, что надо прописать в robots.txt, чтобы зпретить индексацию всех поисковых роботов? Яндекс вам в помощь! вот нарыл интересный мануал на русском http://robotstxt.org.ru/ |
|
|
|
|
BumBah
|
1.9.2007, 23:20;
Ответить: BumBah
Сообщение
#7
|
|
Новичок Группа: User Сообщений: 26 Регистрация: 29.8.2007 Поблагодарили: 0 раз Репутация: -1
|
(ig0r @ 29.4.2007, 9:29)  Примерно так: User-agent: Googlebot Disallow: /cgi-bin/ # Удаляет из индексирования директорию Disallow: /info/fakeinfo.html # Удаляет из индексирования файл А Гуглу всё это по барабану. Забудьте о robots.txt, изучайте матчасть по htaccess Сообщение отредактировал BumBah - 1.9.2007, 23:22 |
|
|
|
|
LEXENUS
|
16.9.2007, 23:02;
Ответить: LEXENUS
Сообщение
#8
|
 Старожил Группа: Active User Сообщений: 1230 Регистрация: 24.8.2007 Из: SPb Поблагодарили: 430 раз Репутация: 83
|
Скажите пожалуйста а как отредактировать фаил robots.txt я его найти немогу сайт на юкосе
|
|
|
|
|
Fred
|
17.9.2007, 2:16;
Ответить: Fred
Сообщение
#9
|
|
Новичок Группа: User Сообщений: 16 Регистрация: 15.9.2007 Поблагодарили: 0 раз Репутация: 0
|
Подскажите пожалуйста еще: как склеить с помощью robots.txt 3 сайта. (2-идентичные 1-идентичен на 95%).
Имеет ли вообще значение идентичный на них контент или нет. ------------------------------------------------- Сайт студентов - http://gr823.spb.ru. Мебель - http://tron.spb.ru |
|
|
|
|
Dizman
|
17.9.2007, 19:22;
Ответить: Dizman
Сообщение
#10
|
|
|
Новичок Группа: Viewer Сообщений: 2 Регистрация: 17.9.2007 Поблагодарили: 0 раз Репутация: 0
|
Скажите пожалуйста а как отредактировать фаил robots.txt я его найти немогу сайт на юкосе нужно создать вручную в блокноте и залить на сервер.
|
|
|
|
|
|
|
|
Похожие темы
| Тема | Ответов | Автор | Просмотров | Последний ответ | |
|---|---|---|---|---|---|
 |
 CapMonster Cloud - Автоматическое распознавание всех видов капч |
2 | nuaru_ | 1100 | 29.3.2023, 16:31 автор: nuaru_ |
|
Twitter запустил бета-тестирование Search Keyword Ads для всех рекламодателей | 0 | VinogradOFF | 296 | 27.1.2023, 14:20 автор: VinogradOFF |
|
Secretsline VPN - скорость до 100 мбит/c. Без логов. Для всех платформ. | 2 | Secrets_Line | 995 | 30.3.2022, 12:49 автор: EvilGomel |
 |
ClickDealer - Офферы во всех вертикалях и ГЕО. Своя дейтинг смартлинка. |
79 | ClickDealer | 24548 | 9.2.2022, 11:45 автор: ClickDealer |
|
Списки всех зарегистрированных доменов с указанными NS адресами | 11 | phosphoruss | 7506 | 4.11.2021, 21:07 автор: phosphoruss |
|
Текстовая версия | Сейчас: 2.4.2023, 7:22 |
