X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Как посмотреть sitemap у irr.ru?
Magnat
Magnat
Topic Starter сообщение 18.4.2013, 12:05; Ответить: Magnat
Сообщение #1


Участник
***

Группа: User
Сообщений: 181
Регистрация: 17.10.2010
Поблагодарили: 34 раза
Репутация:   3  


Необходимо посмотреть какой sitemap отдаёт сайт "из рук в руки" для поисковиков. Захожу на irr.ru/robots.txt, там ссылка http://monolith.irr.ru/sitemaps/sitemap-moscow.xml
Пытаюсь открыть этот файл, а там пусто. Может что не так делаю? Подскажите.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bibika
bibika
сообщение 18.4.2013, 12:12; Ответить: bibika
Сообщение #2


Завсегдатай
*****

Группа: Active User
Сообщений: 580
Регистрация: 23.7.2012
Из: Львов
Поблагодарили: 148 раз
Репутация:   12  


По Вашей ссылке открывается однопиксельный gif файл. Можно еще просканировать структуру сайта каким-то сканером, возможно там увидите где лежит sitemap


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Magnat
Magnat
Topic Starter сообщение 18.4.2013, 12:21; Ответить: Magnat
Сообщение #3


Участник
***

Группа: User
Сообщений: 181
Регистрация: 17.10.2010
Поблагодарили: 34 раза
Репутация:   3  


bibika, разве это нормально, иметь однопиксельный гиф в sitemap?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
devuser
devuser
сообщение 18.4.2013, 12:25; Ответить: devuser
Сообщение #4


Все будет тип-топ
*****

Группа: Active User
Сообщений: 713
Регистрация: 5.12.2012
Из: Online
Поблагодарили: 342 раза
Репутация:   52  


Magnat, ну это вам отображается.
Возможно, их система определяет поисковых роботов по своему и отображает им нормальный SiteMap
Хотя я пробовал юзер-агентом представиться гуглом, яндексом и бингом - все равно гифка.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
fioru
fioru
сообщение 18.4.2013, 12:25; Ответить: fioru
Сообщение #5


Завсегдатай
*****

Группа: Active User
Сообщений: 508
Регистрация: 30.11.2010
Из: Смоленск
Поблагодарили: 172 раза
Репутация:   37  


Вообще то зачет irr.ru
Дабы их не парсили они обычным пользователям отдают 1пиксельную картинку а поисковым ботом нормальный файл
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Magnat
Magnat
Topic Starter сообщение 18.4.2013, 12:41; Ответить: Magnat
Сообщение #6


Участник
***

Группа: User
Сообщений: 181
Регистрация: 17.10.2010
Поблагодарили: 34 раза
Репутация:   3  


devuser, интересно как они тогда определяют, что это настоящий бот поисковика? Думаю это действительно сделано специально, чтобы никто кроме ПС не смог воспользоваться.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
devuser
devuser
сообщение 18.4.2013, 12:45; Ответить: devuser
Сообщение #7


Все будет тип-топ
*****

Группа: Active User
Сообщений: 713
Регистрация: 5.12.2012
Из: Online
Поблагодарили: 342 раза
Репутация:   52  


(Magnat @ 18.4.2013, 11:41) *
интересно как они тогда определяют, что это настоящий бот поисковика?


IP-адреса, которые использует робот Googlebot, время от времени меняются. Лучший способ определить обращение робота Googlebot – по агенту пользователя (Googlebot). С помощью обратного DNS-запроса можно проверить, действительно ли робот, который обращается к вашему серверу, является роботом Googlebot.


Некоторые роботы могут маскироваться под роботов Яндекса путем указания соответствующего user-agent. Вы можете проверить, что робот является тем, за кого себя выдает используя идентификацию, основанную на обратных DNS запросах (reverse DNS lookup).


и так далее


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
x64
x64
сообщение 18.4.2013, 13:15; Ответить: x64
Сообщение #8


F.A.L.L.O.U.T.
*******

Группа: Super Moderator
Сообщений: 3544
Регистрация: 30.6.2011
Из: Железнодорожный (Балашиха)
Поблагодарили: 2881 раз
Репутация:   294  


яндекс сайтмап не видит.
либо некорректно настроен http://monolith.irr.ru/sitemaps/ (накосячили с .htaccess, как вариант), либо файл отдаётся только на определённые ip

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Как заработать новичку?
141 Emeralda 25525 Сегодня, 12:43
автор: Emtec
Открытая тема (нет новых ответов) Как организовать индексацию защищенных pdf с ключами и ссылками
И разместить pdf на внешних жирных ресурсах
0 kirch 380 Вчера, 23:37
автор: kirch
Открытая тема (нет новых ответов) [Книга] Налог на глупость: Как я заработал в интернете 5,5 млн рублей.
7 kotovsky 2123 Вчера, 8:30
автор: kolor73
Открытая тема (нет новых ответов) Король социалок 7: Генератор видео и 5 способов как на нём заработать
0 Volgar 403 19.5.2018, 17:09
автор: Volgar
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыКак носить смартфоны диагональю 5.5 - 6.4 дюйма?
41 Room 5084 19.5.2018, 15:28
автор: Chezarius


 



RSS Текстовая версия Сейчас: 21.5.2018, 14:48
Дизайн