X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Файл robots, Для сайта на нескольких языках
azartan
azartan
Topic Starter сообщение 29.4.2011, 16:42; Ответить: azartan
Сообщение #1


Завсегдатай
*****

Группа: Active User
Сообщений: 521
Регистрация: 17.11.2010
Поблагодарили: 123 раза
Репутация:   26  


Подскажите, пожалуйста, как сделать правильнее, если сайт на 3 языках рус, укр, en

Главные страницы вида
mysite.ru/index.html
mysite.ru/ukr/index.html
mysite.ru/en/index.html

соответствующие страницы сайта в папках /ukr/ и /en/

необходимо ли создавать ТРИ файла robots, или в одном в корневой папке прописать Disallow

например, отдельно в папке /ukr/:

User-agent: Yandex
Disallow: /ukr/am/
Disallow: /ukr/myp/
Host: mysite.ru
Sitemap: http://mysite.ru/ukr/sitemap.xml


и в папке /en/

User-agent: Yandex
Disallow: /en/am/
Disallow: /en/myp/
Host: mysite.ru
Sitemap: http://mysite.ru/en/sitemap.xml


или все в одном файле в корне, например:

User-agent: Yandex
Disallow: /am/
Disallow: /myp/
Host: mysite.ru
Sitemap: http://mysite.ru/sitemap.xml

User-agent: Yandex
Disallow: /en/am/
Disallow: /en/myp/
Host: mysite.ru
Sitemap: http://mysite.ru/en/sitemap.xml

User-agent: Yandex
Disallow: /ukr/am/
Disallow: /ukr/myp/
Host: mysite.ru
Sitemap: http://mysite.ru/ukr/sitemap.xml


Спасибо


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
promoman
promoman
сообщение 29.4.2011, 17:28; Ответить: promoman
Сообщение #2


Участник
***

Группа: User
Сообщений: 113
Регистрация: 21.2.2011
Поблагодарили: 44 раза
Репутация:   9  


По моему не имеет смысла несколько раз объявлять юзер агент. Напшите в одном файле.

User-agent: Yandex
Disallow: /am/
Disallow: /myp/
Disallow: /en/am/
Disallow: /en/myp/
Disallow: /ukr/am/
Disallow: /ukr/myp/
Host: mysite.ru
Sitemap: http://mysite.ru/sitemap.xml
Sitemap: http://mysite.ru/en/sitemap.xml
Sitemap: http://mysite.ru/ukr/sitemap.xml


ИМХО: Так будет правильнее всего.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
gr3y
gr3y
сообщение 29.4.2011, 17:55; Ответить: gr3y
Сообщение #3


Участник
***

Группа: User
Сообщений: 104
Регистрация: 30.6.2010
Из: Хабаровск
Поблагодарили: 31 раз
Репутация:   5  


Конечно в одном. robots.txt собирается роботами только из корня.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 29.4.2011, 18:12; Ответить: liveman
Сообщение #4


Участник
***


Группа: User
Сообщений: 178
Регистрация: 24.3.2011
Из: 360 км. от столицы Нашей Раши
Поблагодарили: 43 раза
Репутация:   15  


(promoman @ 29.4.2011, 17:28) *
...
Disallow: /am/
Disallow: /myp/
Disallow: /en/am/
Disallow: /en/myp/
Disallow: /ukr/am/
Disallow: /ukr/myp/
...


Вот этот кусок можно заменить двумя строчками:

Disallow: */am/
Disallow: */myp/


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
azartan
azartan
Topic Starter сообщение 29.4.2011, 21:31; Ответить: azartan
Сообщение #5


Завсегдатай
*****

Группа: Active User
Сообщений: 521
Регистрация: 17.11.2010
Поблагодарили: 123 раза
Репутация:   26  


(liveman @ 29.4.2011, 17:12) *
Вот этот кусок можно заменить двумя строчками:
Disallow: */am/
Disallow: */myp/


Нашла в яндекс помощи такой ответ:
Disallow: /*private # запрещает не только '/private',
                    # но и '/cgi-bin/private'


Куда же * ставить, чтобы /en/am/ не читалось - так */am или так /*am ??


P.S.: Спасибо за ответы


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hybrid
hybrid
сообщение 29.4.2011, 21:35; Ответить: hybrid
Сообщение #6


Завсегдатай
*****

Группа: Active User
Сообщений: 649
Регистрация: 29.6.2010
Поблагодарили: 127 раз
Репутация:   23  


Не понимаю, зачем создавать отдельный User-agent: Yandex, если яндекс без проблем кушает User-agent: * post-2472-1287325497.gif
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
azartan
azartan
Topic Starter сообщение 29.4.2011, 22:57; Ответить: azartan
Сообщение #7


Завсегдатай
*****

Группа: Active User
Сообщений: 521
Регистрация: 17.11.2010
Поблагодарили: 123 раза
Репутация:   26  


(hybrid @ 29.4.2011, 20:35) *
Не понимаю, зачем создавать отдельный User-agent: Yandex, если яндекс без проблем кушает User-agent: * post-2472-1287325497.gif


Например, для того чтобы прописать директиву Host для сайта (а то зеркало цепляет) - ее кушает только яндекс


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hybrid
hybrid
сообщение 29.4.2011, 23:02; Ответить: hybrid
Сообщение #8


Завсегдатай
*****

Группа: Active User
Сообщений: 649
Регистрация: 29.6.2010
Поблагодарили: 127 раз
Репутация:   23  


azartan, host можно прописать и в User-agent: * для этого не обязательно создавать для яндекса отдельно User-agent: Yandex, и всё отлично работает. Понимаю ещё когда нужно настроить время сканирования для какого-то определенного робота и тд, а так у вас идентичный получается.

Сообщение отредактировал hybrid - 29.4.2011, 23:03
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
volchoc
volchoc
сообщение 30.4.2011, 3:07; Ответить: volchoc
Сообщение #9


Участник
***

Группа: User
Сообщений: 185
Регистрация: 22.1.2009
Поблагодарили: 30 раз
Репутация:   3  


Зачем?
p.s. Ибо это имело смысл некоторое время назад (когда Яндекс позиционировал себя как только русскоязычный). А зачем сейчас?
p.s.s. Более правильно разнести на сабдомены, но при этом чтобы был редирект из папок.

Сообщение отредактировал volchoc - 30.4.2011, 3:09


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
liveman
liveman
сообщение 30.4.2011, 3:57; Ответить: liveman
Сообщение #10


Участник
***


Группа: User
Сообщений: 178
Регистрация: 24.3.2011
Из: 360 км. от столицы Нашей Раши
Поблагодарили: 43 раза
Репутация:   15  


(azartan @ 29.4.2011, 21:31) *
Нашла в яндекс помощи такой ответ:

Disallow: /*private # запрещает не только '/private',
                    # но и '/cgi-bin/private'


Куда же * ставить, чтобы /en/am/ не читалось - так */am или так /*am ??

P.S.: Спасибо за ответы


В вашем варианте ставить куда и написал выше ("...*/am/").

Так как у вас каталоги состоят из нескольких букв, то возможно, что функцией "/*am" зацепите еще какие-нибудь подкаталоги, например, такой путь _http://сайт.ру/lamp/бла-бла-бла.html

Сообщение отредактировал liveman - 30.4.2011, 3:58


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Nofollow ссылки из robots.txt, как это работает?
Как-то запретить к индексации без rel="nofollow" из robots.txt
7 coremission 511 17.11.2017, 17:17
автор: coremission
Открытая тема (нет новых ответов) В файле robots.txt сайта задана противоречивая директива Host
5 RMak 1194 26.9.2017, 13:16
автор: kstnews
Открытая тема (нет новых ответов) Срочно требуется специалист по robots.txt
Разовая работа
1 tankoff 619 8.3.2017, 1:56
автор: PavelMarty
Открытая тема (нет новых ответов) Работы по файлу robots.txt
8 tankoff 947 19.3.2016, 20:02
автор: tankoff
Открытая тема (нет новых ответов) Ищу Копипастера 3р файл картинка+текст+кач файла и закач ко мне на хостинг
0 dimka1109 1793 21.1.2015, 20:13
автор: dimka1109


 



RSS Текстовая версия Сейчас: 16.12.2017, 23:08
Дизайн