X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Исключения в robots.txt - это возможно?, Вопрос по настройке robots.txt
vi3dok
vi3dok
Topic Starter сообщение 26.8.2014, 10:08; Ответить: vi3dok
Сообщение #1


Частый гость
**

Группа: User
Сообщений: 92
Регистрация: 2.9.2013
Поблагодарили: 3 раза
Репутация:   0  


Нужно закрыть от индексации все страницы с /component/ но оставить для индексации 1ну страницу по адресу site.com/component/televizoru.html. Такое возможно? Если да - то как?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Muwqa
Muwqa
сообщение 26.8.2014, 10:21; Ответить: Muwqa
Сообщение #2


Мошенник
*****

Группа: Banned
Сообщений: 797
Регистрация: 29.11.2011
Поблагодарили: 215 раз
Репутация:   44  


Используйте allow.
Больше информации по клику

Сообщение отредактировал Muwqa - 26.8.2014, 10:22


--------------------
Заблокирован за мошенничество.


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
vi3dok
vi3dok
Topic Starter сообщение 26.8.2014, 10:56; Ответить: vi3dok
Сообщение #3


Частый гость
**

Группа: User
Сообщений: 92
Регистрация: 2.9.2013
Поблагодарили: 3 раза
Репутация:   0  


Muwqa, Спасибо большое, это то что нужно.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
v1st
v1st
сообщение 26.8.2014, 11:27; Ответить: v1st
Сообщение #4


Новичок
*

Группа: User
Сообщений: 21
Регистрация: 26.6.2014
Поблагодарили: 5 раз
Репутация:   0  


Также не стоит забывать, что директива robots может игнорироваться ботами (например, если кто-то вашим урлом, которые заблокирован в роботс, поделился на форуме). Поэтому смотря что вы закрываете, если ту инфу, которая 100% не должна появиться в результах поисках, нужно еще подстраховаться.

Это кстати, написано в помощи Гугл: "Хотя Google не сканирует и не индексирует контент, заблокированный в файле robots.txt, запрещенные URL, размещенные на других сайтах в Интернете, могут быть доступны для поиска и индексации. Таким образом, URL, а также другие общедоступные сведения, например текст ссылок на сайт, могут появиться в результатах поиска Google. Чтобы полностью заблокировать URL в результатах поиска, используйте файл robots.txt вместе с другими методами блокировки URL"

Сообщение отредактировал v1st - 26.8.2014, 11:32
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
vi3dok
vi3dok
Topic Starter сообщение 26.8.2014, 11:39; Ответить: vi3dok
Сообщение #5


Частый гость
**

Группа: User
Сообщений: 92
Регистрация: 2.9.2013
Поблагодарили: 3 раза
Репутация:   0  


v1st, Если я закрою раздел в роботсе и панели вебмастера гугл, но в роботсе я разрешу одну страницу, гугл её проиндексирует?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
v1st
v1st
сообщение 26.8.2014, 11:50; Ответить: v1st
Сообщение #6


Новичок
*

Группа: User
Сообщений: 21
Регистрация: 26.6.2014
Поблагодарили: 5 раз
Репутация:   0  


vi3dok, Да, по ссылке которую давали вам выше, эта инфа есть:
User-agent: Yandex
Allow: /
Disallow: /catalog
Allow: /catalog/auto
# запрещает скачивать страницы, начинающиеся с '/catalog',
# но разрешает скачивать страницы, начинающиеся с '/catalog/auto'.

но я имел в виду немного другое, что если для инфы, которую хотите закрыть - критично не попадание в индекс, следует подстраховаться директиивой: <meta name="robots" content="noindex,nofollow">.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
vi3dok
vi3dok
Topic Starter сообщение 26.8.2014, 12:34; Ответить: vi3dok
Сообщение #7


Частый гость
**

Группа: User
Сообщений: 92
Регистрация: 2.9.2013
Поблагодарили: 3 раза
Репутация:   0  


v1st, У меня не та причина. Мне надо закрыть дубли, но пару страниц на старые адреса которых были куплены ссылки и которые сидят в выдаче надо склеить. А для этого нужно что бы старые адреса этих страниц были доступны. К сожалению настроить массовый 301й редирект нет возможности.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


Сообщение отредактировал vi3dok - 26.8.2014, 12:35
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Чем снимать сниппеты и зачем это делать
seoandme.ru - SEO-блог Анны Ященко
1 AnnaYa 415 14.5.2018, 16:59
автор: JOHNY
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
136 Akira 49814 28.4.2018, 1:36
автор: Akira
Открытая тема (нет новых ответов) Это верстка/микроразметка или что?
Как так-то? Подскажите
4 richif 1139 17.4.2018, 22:48
автор: dedicat
Открытая тема (нет новых ответов) Правильный robots.txt для datalife engine какой он?
4 cerrus 830 24.3.2018, 18:17
автор: bobur
Открытая тема (нет новых ответов) Деньги — это бумага!
10 Анубис 777 6.3.2018, 18:34
автор: TierraPay


 



RSS Текстовая версия Сейчас: 24.5.2018, 10:24
Дизайн