X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Как посмотреть sitemap у irr.ru?
Magnat
Magnat
Topic Starter сообщение 18.4.2013, 12:05; Ответить: Magnat
Сообщение #1


Участник
***

Группа: User
Сообщений: 181
Регистрация: 17.10.2010
Поблагодарили: 34 раза
Репутация:   3  


Необходимо посмотреть какой sitemap отдаёт сайт "из рук в руки" для поисковиков. Захожу на irr.ru/robots.txt, там ссылка http://monolith.irr.ru/sitemaps/sitemap-moscow.xml
Пытаюсь открыть этот файл, а там пусто. Может что не так делаю? Подскажите.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
bibika
bibika
сообщение 18.4.2013, 12:12; Ответить: bibika
Сообщение #2


Завсегдатай
*****

Группа: Active User
Сообщений: 579
Регистрация: 23.7.2012
Из: Львов
Поблагодарили: 148 раз
Репутация:   12  


По Вашей ссылке открывается однопиксельный gif файл. Можно еще просканировать структуру сайта каким-то сканером, возможно там увидите где лежит sitemap


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Magnat
Magnat
Topic Starter сообщение 18.4.2013, 12:21; Ответить: Magnat
Сообщение #3


Участник
***

Группа: User
Сообщений: 181
Регистрация: 17.10.2010
Поблагодарили: 34 раза
Репутация:   3  


bibika, разве это нормально, иметь однопиксельный гиф в sitemap?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
devuser
devuser
сообщение 18.4.2013, 12:25; Ответить: devuser
Сообщение #4


Все будет тип-топ
*****

Группа: Active User
Сообщений: 713
Регистрация: 5.12.2012
Из: Online
Поблагодарили: 342 раза
Репутация:   52  


Magnat, ну это вам отображается.
Возможно, их система определяет поисковых роботов по своему и отображает им нормальный SiteMap
Хотя я пробовал юзер-агентом представиться гуглом, яндексом и бингом - все равно гифка.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
fioru
fioru
сообщение 18.4.2013, 12:25; Ответить: fioru
Сообщение #5


Завсегдатай
*****

Группа: Active User
Сообщений: 508
Регистрация: 30.11.2010
Из: Смоленск
Поблагодарили: 172 раза
Репутация:   37  


Вообще то зачет irr.ru
Дабы их не парсили они обычным пользователям отдают 1пиксельную картинку а поисковым ботом нормальный файл
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Magnat
Magnat
Topic Starter сообщение 18.4.2013, 12:41; Ответить: Magnat
Сообщение #6


Участник
***

Группа: User
Сообщений: 181
Регистрация: 17.10.2010
Поблагодарили: 34 раза
Репутация:   3  


devuser, интересно как они тогда определяют, что это настоящий бот поисковика? Думаю это действительно сделано специально, чтобы никто кроме ПС не смог воспользоваться.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
devuser
devuser
сообщение 18.4.2013, 12:45; Ответить: devuser
Сообщение #7


Все будет тип-топ
*****

Группа: Active User
Сообщений: 713
Регистрация: 5.12.2012
Из: Online
Поблагодарили: 342 раза
Репутация:   52  


(Magnat @ 18.4.2013, 11:41) *
интересно как они тогда определяют, что это настоящий бот поисковика?


IP-адреса, которые использует робот Googlebot, время от времени меняются. Лучший способ определить обращение робота Googlebot – по агенту пользователя (Googlebot). С помощью обратного DNS-запроса можно проверить, действительно ли робот, который обращается к вашему серверу, является роботом Googlebot.


Некоторые роботы могут маскироваться под роботов Яндекса путем указания соответствующего user-agent. Вы можете проверить, что робот является тем, за кого себя выдает используя идентификацию, основанную на обратных DNS запросах (reverse DNS lookup).


и так далее


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
x64
x64
сообщение 18.4.2013, 13:15; Ответить: x64
Сообщение #8


F.A.L.L.O.U.T.
*******

Группа: Super Moderator
Сообщений: 3429
Регистрация: 30.6.2011
Из: Железнодорожный (Балашиха)
Поблагодарили: 2749 раз
Репутация:   289  


яндекс сайтмап не видит.
либо некорректно настроен http://monolith.irr.ru/sitemaps/ (накосячили с .htaccess, как вариант), либо файл отдаётся только на определённые ip


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Как мошенники зарабатывают на прямых трансляциях в Instagram
Не ждите порно в инстаграм, его нет
12 PostBrigada 1314 Вчера, 23:00
автор: PostBrigada
Открытая тема (нет новых ответов) Как сейчас зарегистрировать Яндекс кошелек за пределами России?
4 metvekot 365 Вчера, 19:04
автор: metvekot
Открытая тема (нет новых ответов) Как поднять доверие к сайту?
5 fair_exchange 391 Вчера, 18:33
автор: genjnat
Открытая тема (нет новых ответов) Маленький кейс как сделать много почтовых ящиков в Gmail
Один аккаунт = много ящиков
1 PostBrigada 536 15.12.2017, 21:34
автор: Pingunio
Горячая тема (нет новых ответов) Черный список обменников и как безопасно обменять валюту
141 Kurses 29950 15.12.2017, 13:04
автор: BestExchangers


 



RSS Текстовая версия Сейчас: 17.12.2017, 14:27
Дизайн