X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Имеет ли значение кодировка для robots.txt
Жук
Жук
Topic Starter сообщение 27.11.2010, 21:58; Ответить: Жук
Сообщение #1


Участник
***

Группа: User
Сообщений: 125
Регистрация: 13.8.2010
Поблагодарили: 13 раз
Репутация:   5  


Гугл начал индексировать новый сайт, игнорируя robots.txt. Да и с другими сайтами иногда проблемы возникали - в индекс Гугла попадал закрытый скрипт с обратками для каталогов. Может, в кодировке дело? Проверил роботс нового сайта, он в кириллице windows. На всякий случай переправил на UTF-8. Роботс составлен правильно. Некоторые советуют ставить после всех Disallow одну пустую директиву Disallow: В этом есть какой-то смысл?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
schved
schved
сообщение 27.11.2010, 22:06; Ответить: schved
Сообщение #2


Бывалый
****

Группа: User
Сообщений: 405
Регистрация: 22.5.2009
Из: Россия
Поблагодарили: 84 раза
Репутация:   12  


не правильно составляете значит, кодировка не причем.

примерно так надо;

User-agent: *
Disallow: /ваша страница/

По моему если последнее просто Disallow: то закроется весь сайт от индексации

Сообщение отредактировал schved - 27.11.2010, 22:10


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
E-body
E-body
сообщение 27.11.2010, 22:29; Ответить: E-body
Сообщение #3


Новичок
*

Группа: Banned
Сообщений: 45
Регистрация: 15.6.2010
Из: LV
Поблагодарили: 10 раз
Репутация:   1  


Наверно хотел как лучше но получилось как всегда. Если файл ../robots.txt открывается в броузерах нормально то и поисквикам также будет виден. Содержимое в студию.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Жук
Жук
Topic Starter сообщение 27.11.2010, 22:54; Ответить: Жук
Сообщение #4


Участник
***

Группа: User
Сообщений: 125
Регистрация: 13.8.2010
Поблагодарили: 13 раз
Репутация:   5  


User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /go.php

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /go.php
Host: мой сайт.com
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
diktator
diktator
сообщение 28.11.2010, 12:46; Ответить: diktator
Сообщение #5


Бывалый
****

Группа: User
Сообщений: 459
Регистрация: 26.4.2008
Поблагодарили: 54 раза
Репутация:   7  


Гугл это может. Почитайте тут - http://www.webpronews.com/topnews/2009/10/...ow-up-in-google
Вкратце - страницы, закрытые в роботсе, в индекс попадают, но по контенту не находятся. Если не хотите, чтобы их урлы светились в индексе, закрывайте метатегом noindex на самой странице или пользуйтесь инструментом в вебмастере гугла.


--------------------


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Жук
Жук
Topic Starter сообщение 28.11.2010, 14:34; Ответить: Жук
Сообщение #6


Участник
***

Группа: User
Сообщений: 125
Регистрация: 13.8.2010
Поблагодарили: 13 раз
Репутация:   5  


Хм... Полезность данной "фичи" Гугла крайне сомнительна. Спасибо за информацию. А то я уже и не знал, где ковырять.

Сообщение отредактировал Жук - 28.11.2010, 14:35
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Вопрос по seo для интернет магазина
куда девать продвинутые товары, которые уже не выпускают
18 viktormerke 2759 Сегодня, 15:18
автор: Smspva
Открытая тема (нет новых ответов) ВНИМАНИЕ: Тема для обсуждения работ фотоконкурса «Новогодний косплей» 18+
6 admin 1037 Сегодня, 15:14
автор: admin
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыSE Ranking – новый сервис для проверки позиций сайтов в поисковиках
173 seranking 158046 Сегодня, 14:29
автор: seranking
Открытая тема (нет новых ответов) SimplePay: Прием платежей на сайте для юридических и физических лиц
4 kuprum 487 Сегодня, 14:07
автор: kuprum
Открытая тема (нет новых ответов) LSender VK PRO - самая мощная программа для рассылки Вконтакте
0 BoRzZoY 309 Сегодня, 13:32
автор: BoRzZoY


 



RSS Текстовая версия Сейчас: 15.12.2017, 20:24
Дизайн