X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Вопрос о robots.txt
MedLib
MedLib
Topic Starter сообщение 12.8.2012, 4:39; Ответить: MedLib
Сообщение #1


Не очень добрый Док
******


Группа: Active User
Сообщений: 2381
Регистрация: 9.8.2008
Из: Румыния & Украина
Поблагодарили: 767 раз
Репутация:   150  


Собственно, есть может и нубский, но вопрос: можно ли, запретив к индексации весь раздел сайта, разрешить индексироваться отдельным страницам этого раздела.

Например, на сайте есть раздел Авторы - он запрещен директивой Disallow, но можно ли как-то разрешить индексироваться странице этого раздела Автор Мэгги Стивотер и если можно, то как, не открывая весь раздел?

Сообщение отредактировал MedLib - 12.8.2012, 4:42


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serkaz
serkaz
сообщение 12.8.2012, 4:42; Ответить: serkaz
Сообщение #2


Участник
***

Группа: User
Сообщений: 203
Регистрация: 15.2.2012
Поблагодарили: 60 раз
Репутация:   10  


Disallow: /authors/
Allow: /authors/stivoter-meggi


Проверить можно на аддурилке яндекса

Сообщение отредактировал serkaz - 12.8.2012, 4:46


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MedLib
MedLib
Topic Starter сообщение 12.8.2012, 4:50; Ответить: MedLib
Сообщение #3


Не очень добрый Док
******


Группа: Active User
Сообщений: 2381
Регистрация: 9.8.2008
Из: Румыния & Украина
Поблагодарили: 767 раз
Репутация:   150  


serkaz, спасибо, так и сделал, затем проверил через панель ЯВМ. Указанный урл разрешен к индексации. А Директиву Allow лучше в каком порядке (в самом начале, в середине, в конце) указывать в robots.txt или без разницы?

И ещё один вопрос. У сайта есть поддомен. Яндекс понимает его как отдельный сайт и индексирует отдельно от основного домена. Google же считает его одним целым с доменом, поэтому разница проиндексированных страниц у основного домена в гугле и яндексе ну очень большая. Можно через robots как то указать гуглу, что поддомен - это отдельный сайт?

Сообщение отредактировал MedLib - 12.8.2012, 4:52


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
saraus
saraus
сообщение 12.8.2012, 5:41; Ответить: saraus
Сообщение #4


Старожил
******

Группа: Active User
Сообщений: 1219
Регистрация: 21.6.2011
Поблагодарили: 418 раз
Репутация:   67  


(MedLib @ 12.8.2012, 3:50) *
А Директиву Allow лучше в каком порядке

Помойму без разницы, но я всегда в начал прописываю (логично размышляя, с начало боту показываешь, что нужно индексировать, потом, что нет)

(MedLib @ 12.8.2012, 3:50) *
Google же считает его одним целым с доменом

Как вариант, прописать поддомену отдельный роботс с хостом.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
serkaz
serkaz
сообщение 12.8.2012, 6:25; Ответить: serkaz
Сообщение #5


Участник
***

Группа: User
Сообщений: 203
Регистрация: 15.2.2012
Поблагодарили: 60 раз
Репутация:   10  


А Директиву Allow лучше в каком порядке


Насколько мне известно, без разницы, но на мой взгляд логичнее более длинное правило указывать после короткого. То есть в данном случае Allow: /authors/stivoter-meggi после Disallow: /authors/. Для удобства можете указать вот так:

User-Agent: *
Disallow: /authors/
Disallow: /*replytocom=
Disallow: /*page=
Disallow: /*s=
Disallow: /?p=
Disallow: /wp-admin/
Allow: /authors/stivoter-meggi


Как вариант, прописать поддомену отдельный роботс с хостом.


Хост это яндексовская приблуда.

Сообщение отредактировал serkaz - 12.8.2012, 6:28


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
loginmain
loginmain
сообщение 12.8.2012, 9:10; Ответить: loginmain
Сообщение #6


Оптимизатор
*******

Группа: Super Moderator
Сообщений: 4361
Регистрация: 5.10.2008
Из: UA
Поблагодарили: 2012 раз
Репутация:   199  


(MedLib @ 12.8.2012, 3:50) *
А Директиву Allow лучше в каком порядке (в самом начале, в середине, в конце) указывать в robots.txt или без разницы?

яша говорит, что разницы нет, но лучше сортировать по длине
Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то выбирается последняя в порядке появления в сортированном списке. Таким образом порядок следования директив в файле robots.txt не влияет на использование их роботом.


(MedLib @ 12.8.2012, 3:50) *
И ещё один вопрос. У сайта есть поддомен. Яндекс понимает его как отдельный сайт и индексирует отдельно от основного домена. Google же считает его одним целым с доменом, поэтому разница проиндексированных страниц у основного домена в гугле и яндексе ну очень большая. Можно через robots как то указать гуглу, что поддомен - это отдельный сайт?

Хм... поддомен помоему всегда является отдельным сайтом.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Вопрос по поводу цен на сайте
16 WildWeb8 944 13.5.2018, 17:40
автор: genjnat
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
136 Akira 49818 28.4.2018, 1:36
автор: Akira
Открытая тема (нет новых ответов) Вопрос к тем, кто зарабатывает на недвижимости?
Как заработать на недвижке.?
15 Dross 2754 26.4.2018, 18:26
автор: megachange
Открытая тема (нет новых ответов) Вопрос по сетке сайтов
Стоит ли так делать?
10 asskra 1426 12.4.2018, 22:33
автор: Ancitrus
Открытая тема (нет новых ответов) Вопрос по расингу контента
5 gold15 669 2.4.2018, 19:18
автор: mmkulikov


 



RSS Текстовая версия Сейчас: 24.5.2018, 22:07
Дизайн