X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Имеет ли значение кодировка для robots.txt
Жук
Жук
Topic Starter сообщение 27.11.2010, 21:58; Ответить: Жук
Сообщение #1


Гугл начал индексировать новый сайт, игнорируя robots.txt. Да и с другими сайтами иногда проблемы возникали - в индекс Гугла попадал закрытый скрипт с обратками для каталогов. Может, в кодировке дело? Проверил роботс нового сайта, он в кириллице windows. На всякий случай переправил на UTF-8. Роботс составлен правильно. Некоторые советуют ставить после всех Disallow одну пустую директиву Disallow: В этом есть какой-то смысл?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
schved
schved
сообщение 27.11.2010, 22:06; Ответить: schved
Сообщение #2


не правильно составляете значит, кодировка не причем.

примерно так надо;

User-agent: *
Disallow: /ваша страница/

По моему если последнее просто Disallow: то закроется весь сайт от индексации

Сообщение отредактировал schved - 27.11.2010, 22:10


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
E-body
E-body
сообщение 27.11.2010, 22:29; Ответить: E-body
Сообщение #3


Наверно хотел как лучше но получилось как всегда. Если файл ../robots.txt открывается в броузерах нормально то и поисквикам также будет виден. Содержимое в студию.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Жук
Жук
Topic Starter сообщение 27.11.2010, 22:54; Ответить: Жук
Сообщение #4


User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /go.php

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /go.php
Host: мой сайт.com
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
diktator
diktator
сообщение 28.11.2010, 12:46; Ответить: diktator
Сообщение #5


Гугл это может. Почитайте тут - http://www.webpronews.com/topnews/2009/10/...ow-up-in-google
Вкратце - страницы, закрытые в роботсе, в индекс попадают, но по контенту не находятся. Если не хотите, чтобы их урлы светились в индексе, закрывайте метатегом noindex на самой странице или пользуйтесь инструментом в вебмастере гугла.


--------------------


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Жук
Жук
Topic Starter сообщение 28.11.2010, 14:34; Ответить: Жук
Сообщение #6


Хм... Полезность данной "фичи" Гугла крайне сомнительна. Спасибо за информацию. А то я уже и не знал, где ковырять.

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


Сообщение отредактировал Жук - 28.11.2010, 14:35
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Обучение Email Рассылкам + Софт Для Автоматизации (100к в сутки с сервера)
9 zennoboss 4581 Вчера, 21:03
автор: 100ftd
Открытая тема (нет новых ответов) Посоветуйте массажер для спины и шеи
9 Boymaster 868 Вчера, 13:56
автор: Vmir
Открытая тема (нет новых ответов) Какой % отказов нормален для сайта?
14 Aloof 3372 Вчера, 13:50
автор: Vmir
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыЛюблю творить! Статьи для вас
Копирайтинг- моя жизнь!
312 Zoya83 190671 Вчера, 7:51
автор: DimonX
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыСовременный сервис для быстрого и безопасного обмена валют.
15 CryptoTims 4951 22.4.2024, 22:32
автор: CryptoTims


 



RSS Текстовая версия Сейчас: 24.4.2024, 2:35
Дизайн