X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> robots.txt можно ли сделать так?, правильно ли будет?
admix72
admix72
Topic Starter сообщение 23.2.2012, 21:42; Ответить: admix72
Сообщение #1


Бывалый
****

Группа: User
Сообщений: 337
Регистрация: 12.7.2010
Из: Тюмень
Поблагодарили: 57 раз
Репутация:   12  


Здравствуйте!
Собственно вопрос по роботсу!
Если я сделаю так:
User-agent: Yandex
Allow: /страница1
Allow: /страница2
Allow: /страница3
Allow: /страница4
Allow: /и тд
Disallow: /*
При таком раскладе главная будет ли индексироваться?
И вообще может неправильно это?
Чтоб просто включить в поиск только список нужных страниц их около 100
Но вот дублей в индексе очень много (joomla)


--------------------
подпись:) Я за правду и справедливость...
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
genjnat
genjnat
сообщение 23.2.2012, 21:46; Ответить: genjnat
Сообщение #2


Старожил
******

Группа: Active User
Сообщений: 2333
Регистрация: 29.10.2008
Из: Одесса
Поблагодарили: 1038 раз
Репутация:   115  


Анализ robots.txt


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
admix72
admix72
Topic Starter сообщение 23.2.2012, 21:54; Ответить: admix72
Сообщение #3


Бывалый
****

Группа: User
Сообщений: 337
Регистрация: 12.7.2010
Из: Тюмень
Поблагодарили: 57 раз
Репутация:   12  


Ну работать то он работает) а как узнать будет ли главная индексироваться?


--------------------
подпись:) Я за правду и справедливость...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Reader
Reader
сообщение 23.2.2012, 22:00; Ответить: Reader
Сообщение #4


манимейкер
*******

Группа: Active User
Сообщений: 2511
Регистрация: 22.4.2009
Из: России
Поблагодарили: 1017 раз
Репутация:   121  


Вам выше скинули ссылку, там и можно поверить.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
admix72
admix72
Topic Starter сообщение 23.2.2012, 22:06; Ответить: admix72
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 337
Регистрация: 12.7.2010
Из: Тюмень
Поблагодарили: 57 раз
Репутация:   12  


Такс понял, не будет индексироваться. Можно как то сделать так чтобы ничего не индексировалось, кроме определенных страниц, включая главную? то есть только главная и только страницы которые я внесу в список Allow:


--------------------
подпись:) Я за правду и справедливость...
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serezka
serezka
сообщение 24.2.2012, 12:00; Ответить: serezka
Сообщение #6


Бывалый
****

Группа: User
Сообщений: 442
Регистрация: 7.5.2011
Из: Санкт-Петербург
Поблагодарили: 154 раза
Репутация:   28  


admix72, обычно делают наоборот - закрывают не нужные страницы.
Так например одним правилом можно запретить для индексации ряд схожих страниц.
например:
Disallow: /abc
будет закрывать индексацию всем страницам, начинающимся с abc ( /abc123 , /abcy5534 , /abcfg54f , и т.п.)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
azarchick
azarchick
сообщение 28.2.2012, 15:07; Ответить: azarchick
Сообщение #7


Частый гость
**

Группа: User
Сообщений: 53
Регистрация: 27.2.2012
Из: Беларусь
Поблагодарили: 16 раз
Репутация:   3  


(admix72 @ 23.2.2012, 21:06) *
Такс понял, не будет индексироваться. Можно как то сделать так чтобы ничего не индексировалось, кроме определенных страниц, включая главную? то есть только главная и только страницы которые я внесу в список Allow:


Если у страниц, которые вы хотите разрешить индексировать, в адресах есть что-то общее - тогда

allow:/что-то общее

Если нет - то придется вручную вносить.

Или поступить наоборот, если есть что-то общее в страницах для запрещения.

После зоздания роботс его можно проверить в вебмастере и Яндекса, и Гугла, чтобы не гадать, как они поведут себя, увидев его. Если все ок - то загружать.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
afonia
afonia
сообщение 7.3.2012, 11:46; Ответить: afonia
Сообщение #8


Новичок
*


Группа: User
Сообщений: 43
Регистрация: 7.1.2011
Поблагодарили: 11 раз
Репутация:   2  


Директивы Allow в robots.txt не существует.

В этом файле вы только запрещаете к индексации, а все остальное разрешено.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
morfe7
morfe7
сообщение 28.3.2012, 15:10; Ответить: morfe7
Сообщение #9


Новичок
*

Группа: Banned
Сообщений: 34
Регистрация: 26.3.2012
Поблагодарили: 5 раз
Репутация:   2  


Директива allow нестандартна для robots.txt , но в тоже время поддерживается всеми основными поисковиками.
Из Википедии

А чтобы главную разрешить надо просто указать её адрес типа /index.html

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыПошив одежды - что не так с сайтом ?
69 bridge8 7478 Сегодня, 14:42
автор: про100та
Открытая тема (нет новых ответов) Сделать видео для инстаграмма
0 katuwa 394 Сегодня, 8:25
автор: katuwa
Открытая тема (нет новых ответов) Где можно найти хорошего копирайтера?
10 megi 1029 Вчера, 13:23
автор: Halcy0n
Открытая тема (нет новых ответов) Где можно узнать, прочитать правила "Веб-дизайна"
4 unbur 1310 18.5.2018, 19:21
автор: megi
Открытая тема (нет новых ответов) SESS обязательно, или можно обойтись?
3 Telnor 440 18.5.2018, 1:09
автор: bum


 



RSS Текстовая версия Сейчас: 24.5.2018, 18:33
Дизайн