X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Имеет ли значение кодировка для robots.txt
Жук
Жук
Topic Starter сообщение 27.11.2010, 21:58; Ответить: Жук
Сообщение #1


Участник
***

Группа: User
Сообщений: 125
Регистрация: 13.8.2010
Поблагодарили: 13 раз
Репутация:   5  


Гугл начал индексировать новый сайт, игнорируя robots.txt. Да и с другими сайтами иногда проблемы возникали - в индекс Гугла попадал закрытый скрипт с обратками для каталогов. Может, в кодировке дело? Проверил роботс нового сайта, он в кириллице windows. На всякий случай переправил на UTF-8. Роботс составлен правильно. Некоторые советуют ставить после всех Disallow одну пустую директиву Disallow: В этом есть какой-то смысл?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
schved
schved
сообщение 27.11.2010, 22:06; Ответить: schved
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 405
Регистрация: 22.5.2009
Из: Россия
Поблагодарили: 84 раза
Репутация:   12  


не правильно составляете значит, кодировка не причем.

примерно так надо;

User-agent: *
Disallow: /ваша страница/

По моему если последнее просто Disallow: то закроется весь сайт от индексации

Сообщение отредактировал schved - 27.11.2010, 22:10


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
E-body
E-body
сообщение 27.11.2010, 22:29; Ответить: E-body
Сообщение #3


Новичок
*

Группа: Banned
Сообщений: 45
Регистрация: 15.6.2010
Из: LV
Поблагодарили: 10 раз
Репутация:   1  


Наверно хотел как лучше но получилось как всегда. Если файл ../robots.txt открывается в броузерах нормально то и поисквикам также будет виден. Содержимое в студию.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Жук
Жук
Topic Starter сообщение 27.11.2010, 22:54; Ответить: Жук
Сообщение #4


Участник
***

Группа: User
Сообщений: 125
Регистрация: 13.8.2010
Поблагодарили: 13 раз
Репутация:   5  


User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /go.php

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /go.php
Host: мой сайт.com
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
diktator
diktator
сообщение 28.11.2010, 12:46; Ответить: diktator
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 459
Регистрация: 26.4.2008
Поблагодарили: 54 раза
Репутация:   7  


Гугл это может. Почитайте тут - http://www.webpronews.com/topnews/2009/10/...ow-up-in-google
Вкратце - страницы, закрытые в роботсе, в индекс попадают, но по контенту не находятся. Если не хотите, чтобы их урлы светились в индексе, закрывайте метатегом noindex на самой странице или пользуйтесь инструментом в вебмастере гугла.


--------------------


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Жук
Жук
Topic Starter сообщение 28.11.2010, 14:34; Ответить: Жук
Сообщение #6


Участник
***

Группа: User
Сообщений: 125
Регистрация: 13.8.2010
Поблагодарили: 13 раз
Репутация:   5  


Хм... Полезность данной "фичи" Гугла крайне сомнительна. Спасибо за информацию. А то я уже и не знал, где ковырять.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


Сообщение отредактировал Жук - 28.11.2010, 14:35
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыЛюблю творить! Статьи для вас
Копирайтинг- моя жизнь!
288 Zoya83 106058 Сегодня, 14:22
автор: Molderjkee
Открытая тема (нет новых ответов) 90 статейных ссылок. Хорошие доноры для вашего сайта.
7 blogprogon 438 Сегодня, 12:27
автор: blogprogon
Горячая тема (нет новых ответов) 10 бесплатных сервисов Google для бизнеса, о которых мало кто слышал
37 jack 11291 Сегодня, 2:36
автор: EconDude
Открытая тема (нет новых ответов) Дизайн Landing Page для Вашего бизнеса
2 DPavelV 922 Вчера, 20:34
автор: DPavelV
Открытая тема (нет новых ответов) Единый инструмент для аналитики монетизации
0 tehno_music 323 Вчера, 17:38
автор: tehno_music


 



RSS Текстовая версия Сейчас: 22.5.2018, 14:51
Дизайн