[X] Помощник

[centurion Topic Starter]

Столкнулся с проблемой. Сайт большой, больше 4000 страниц.
После смены движка старались как можно лучше сделать совпадения старых адресов с новыми.
Но, как всегда остались недочеты и примерно 30% страниц-ссылок в ерор 404 ушли.

Сейчас необходимо найти страницы на сайте, которые ссылаются на битые страницы.
И нужен сам - полный список битых страниц.

Пробавал сервисы, проги. Но больше 2500 все виснуть начинают.

Кто знает решение? Чтобы можно было большой сайт обработать?

Сообщение отредактировал centurion - 4.6.2009, 20:34

[4apogeu]

Пробавал сервисы, проги. Но больше 2500 все виснуть начинают.

Когда-то использовал http://www.auditmypc.com/xml-sitemap.asp (требует установленной ява машины)
в инструкции (http://www.auditmypc.com/free-sitemap-generator.asp) есть видео (http://www.auditmypc.com/java-memory-xmx512.asp), как увеличить мозгов для явы, что бы работало на больших сайтах

For basic websites under 10,000 pages, the default memory should be good enough (no change needed).

Сообщение отредактировал 4apogeu - 4.6.2009, 20:43

[Casak]

Или я тупой, или панель вебмастера показывает станицы с ошибками. Может я не понял вопрос...?

[Zaandr]

да, Яндекс панель показывает где ошибки и на какой странице стола ссылка на ложную статью

[centurion Topic Starter]

ОФФ ТОП
Casak, за красную подпись в читатели.

По теме.

да, Яндекс панель показывает где ошибки и на какой странице стола ссылка на ложную статью

Или я тупой, или панель вебмастера показывает станицы с ошибками. Может я не понял вопрос...?

Наверное, не тупой. а может и тупой, я вас не знаю.

Я не слепой и вижу ошибки, и сразу запрещаю 404 в роботсе.
Но, если с каждым апом все прибавляются и прибавляются. То что я половину сайта в течени полугода должен на запрет в роботс кидать?

Не проще сразу выявить все ошибки и исключить индексацию битых страниц???

[JohnD]

Можно попробовать вот этот сервис: сервис проверки сайта на ошибки






-------------------------------------
компьютерная помощь

Сообщение отредактировал JohnD - 4.6.2009, 23:44

[JohnD]

А вот еще прога. Скачать можно здесь: xenu

[kiber_ua]

Столкнулся с проблемой. Сайт большой, больше 4000 страниц.
После смены движка старались как можно лучше сделать совпадения старых адресов с новыми.
Но, как всегда остались недочеты и примерно 30% страниц-ссылок в ерор 404 ушли.

Сейчас необходимо найти страницы на сайте, которые ссылаются на битые страницы.
И нужен сам - полный список битых страниц.

Пробавал сервисы, проги. Но больше 2500 все виснуть начинают.

Кто знает решение? Чтобы можно было большой сайт обработать?

Добавьте сайт в панель веб-мастера на Яндексе и будет Вам счастье...

[alexa]

+ роботы есть всякие они лазят по сайту и показывают сколько каких ссылок,
+ гляньте логи сервера, всё покажется

[Olney]

Centurion - можно настроить переадресацию со страниц с 404 ошибкой, к примеру на главную страницу, даже если поисковики эти страницы будут индексировать, то довольно быстро эти страницы выпадут из индекса...