X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Как посмотреть sitemap у irr.ru?
Magnat
Magnat
Topic Starter сообщение 18.4.2013, 12:05; Ответить: Magnat
Сообщение #1


Необходимо посмотреть какой sitemap отдаёт сайт "из рук в руки" для поисковиков. Захожу на irr.ru/robots.txt, там ссылка http://monolith.irr.ru/sitemaps/sitemap-moscow.xml
Пытаюсь открыть этот файл, а там пусто. Может что не так делаю? Подскажите.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bibika
bibika
сообщение 18.4.2013, 12:12; Ответить: bibika
Сообщение #2


По Вашей ссылке открывается однопиксельный gif файл. Можно еще просканировать структуру сайта каким-то сканером, возможно там увидите где лежит sitemap


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Magnat
Magnat
Topic Starter сообщение 18.4.2013, 12:21; Ответить: Magnat
Сообщение #3


bibika, разве это нормально, иметь однопиксельный гиф в sitemap?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
devuser
devuser
сообщение 18.4.2013, 12:25; Ответить: devuser
Сообщение #4


Magnat, ну это вам отображается.
Возможно, их система определяет поисковых роботов по своему и отображает им нормальный SiteMap
Хотя я пробовал юзер-агентом представиться гуглом, яндексом и бингом - все равно гифка.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
fioru
fioru
сообщение 18.4.2013, 12:25; Ответить: fioru
Сообщение #5


Вообще то зачет irr.ru
Дабы их не парсили они обычным пользователям отдают 1пиксельную картинку а поисковым ботом нормальный файл
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Magnat
Magnat
Topic Starter сообщение 18.4.2013, 12:41; Ответить: Magnat
Сообщение #6


devuser, интересно как они тогда определяют, что это настоящий бот поисковика? Думаю это действительно сделано специально, чтобы никто кроме ПС не смог воспользоваться.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
devuser
devuser
сообщение 18.4.2013, 12:45; Ответить: devuser
Сообщение #7


(Magnat @ 18.4.2013, 11:41) *
интересно как они тогда определяют, что это настоящий бот поисковика?


IP-адреса, которые использует робот Googlebot, время от времени меняются. Лучший способ определить обращение робота Googlebot – по агенту пользователя (Googlebot). С помощью обратного DNS-запроса можно проверить, действительно ли робот, который обращается к вашему серверу, является роботом Googlebot.


Некоторые роботы могут маскироваться под роботов Яндекса путем указания соответствующего user-agent. Вы можете проверить, что робот является тем, за кого себя выдает используя идентификацию, основанную на обратных DNS запросах (reverse DNS lookup).


и так далее


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
x64
x64
сообщение 18.4.2013, 13:15; Ответить: x64
Сообщение #8


яндекс сайтмап не видит.
либо некорректно настроен http://monolith.irr.ru/sitemaps/ (накосячили с .htaccess, как вариант), либо файл отдаётся только на определённые ip

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Как в пушсетках покупают по 100-200 тысяч кликов за день?
2 Boymaster 707 Вчера, 17:52
автор: Boymaster
Горячая тема (нет новых ответов) Как вы отдыхаете от работы за компом
151 adw-kupon.ru 19884 23.4.2024, 13:52
автор: Vmir
Открытая тема (нет новых ответов) Как вы бросили работу и перешли на заработок с сайтов?
20 uahomka 3481 23.4.2024, 11:54
автор: Skyworker
Горячая тема (нет новых ответов) Как вывести деньги в Украине с заблокированного Юмани ?
30 freeax 5045 20.4.2024, 16:49
автор: Liudmila
Открытая тема (нет новых ответов) Арбитражники, как ведете учет расходов и доходов?
13 Boymaster 2039 20.4.2024, 15:06
автор: Boymaster


 



RSS Текстовая версия Сейчас: 25.4.2024, 21:07
Дизайн