X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Имеет ли значение кодировка для robots.txt
Жук
Жук
Topic Starter сообщение 27.11.2010, 21:58; Ответить: Жук
Сообщение #1


Гугл начал индексировать новый сайт, игнорируя robots.txt. Да и с другими сайтами иногда проблемы возникали - в индекс Гугла попадал закрытый скрипт с обратками для каталогов. Может, в кодировке дело? Проверил роботс нового сайта, он в кириллице windows. На всякий случай переправил на UTF-8. Роботс составлен правильно. Некоторые советуют ставить после всех Disallow одну пустую директиву Disallow: В этом есть какой-то смысл?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
schved
schved
сообщение 27.11.2010, 22:06; Ответить: schved
Сообщение #2


не правильно составляете значит, кодировка не причем.

примерно так надо;

User-agent: *
Disallow: /ваша страница/

По моему если последнее просто Disallow: то закроется весь сайт от индексации

Сообщение отредактировал schved - 27.11.2010, 22:10


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
E-body
E-body
сообщение 27.11.2010, 22:29; Ответить: E-body
Сообщение #3


Наверно хотел как лучше но получилось как всегда. Если файл ../robots.txt открывается в броузерах нормально то и поисквикам также будет виден. Содержимое в студию.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Жук
Жук
Topic Starter сообщение 27.11.2010, 22:54; Ответить: Жук
Сообщение #4


User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /go.php

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /go.php
Host: мой сайт.com
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
diktator
diktator
сообщение 28.11.2010, 12:46; Ответить: diktator
Сообщение #5


Гугл это может. Почитайте тут - http://www.webpronews.com/topnews/2009/10/...ow-up-in-google
Вкратце - страницы, закрытые в роботсе, в индекс попадают, но по контенту не находятся. Если не хотите, чтобы их урлы светились в индексе, закрывайте метатегом noindex на самой странице или пользуйтесь инструментом в вебмастере гугла.


--------------------


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Жук
Жук
Topic Starter сообщение 28.11.2010, 14:34; Ответить: Жук
Сообщение #6


Хм... Полезность данной "фичи" Гугла крайне сомнительна. Спасибо за информацию. А то я уже и не знал, где ковырять.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


Сообщение отредактировал Жук - 28.11.2010, 14:35
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыAzinomoney.com - гемблинг-партнерка с 65%RS для каждого
Гарантированный заработок на гемблинг-трафике
65 AzinoMoney 29157 Вчера, 19:10
автор: AzinoMoney
Горячая тема (нет новых ответов) Делаю полностью уникальный дизайн для сайтов!
46 AlexDIZ 93430 26.3.2024, 20:03
автор: AlexDIZ
Открытая тема (нет новых ответов) Большие ставки для кликов в Я.Директ. Как удешевить?
2 rownong27 1116 26.3.2024, 14:13
автор: knezevolk
Горячая тема (нет новых ответов) Betatransfer.net - прием платежей для HIGH RISK проектов, интернет эквайринг и мерчант онлайн оплат
52 arendator 34114 26.3.2024, 4:43
автор: arendator
Открытая тема (нет новых ответов) Покупаем рекламу на ваших площадка для 2х интернет сервисов
Покупаем статьи для фотохостинга и мониторинга сайтов.
1 AndrePro 994 25.3.2024, 13:46
автор: Wilkinson


 



RSS Текстовая версия Сейчас: 28.3.2024, 11:58
Дизайн