[X] Помощник

[Пуховой Topic Starter]

Господа.)
Есть у меня база на 400000 сайтов. При чем я в принципе знаю, что 300000 из них - нерабочие (404)
Как по вашему мнению лучше отфильтровать такое количество сайтов?
Была идея: allsubmitter. мой 4.9 оллсаб захлебнулся и повис, даже когда скажем по 10000 выбирать.
Еще идея: Писать самому программулину, для чтения ответа сервера, скажем так с использованием BDE например.
НО: это будет очень много по времени и трафика уйдет ойойой...

Ваши предложения?

[Frostik]

Господа.)
Есть у меня база на 400000 сайтов. При чем я в принципе знаю, что 300000 из них - нерабочие (404)
Как по вашему мнению лучше отфильтровать такое количество сайтов?
Была идея: allsubmitter. мой 4.9 оллсаб захлебнулся и повис, даже когда скажем по 10000 выбирать.
Еще идея: Писать самому программулину, для чтения ответа сервера, скажем так с использованием BDE например.
НО: это будет очень много по времени и трафика уйдет ойойой...

Ваши предложения?

Написать небольшой скрипт на PHP и выложить на каком-нибудь хостинге. За минуту-две он создаст вам текстовый файлик (или заполнит таблицу БД) с нерабочими сайтами. Кстати, а почему ошибка 404? Это же отстутствующая страница.

[Пуховой Topic Starter]

За минуту - две? четыреста тысяч сайтов? хм.
Если учитывать то, что одна страница в среднем 100-150 кило, при учете работоспособности всех сайтов 400000*0,15Мб - 60000 мб, = 60Гб. Я думаю тут парой минут не обойдешься)))))
Идем далее - ошибки не только 404, смысл в том чтобы оставить все страницы с кодм ответа 200.

[Frostik]

За минуту - две? четыреста тысяч сайтов? хм.
Если учитывать то, что одна страница в среднем 100-150 кило, при учете работоспособности всех сайтов 400000*0,15Мб - 60000 мб, = 60Гб. Я думаю тут парой минут не обойдешься)))))
Идем далее - ошибки не только 404, смысл в том чтобы оставить все страницы с кодм ответа 200.

Вот и я про то же - вам нужно получить только код ответа, а это никак не 100 килобайт... Кстати, по спекам не только 200, но 200-299.

Давайте немного помогу, чтение списка, я думаю, сами сможете реализовать.

<?php
$url = 'http://www.your-site.ru';
$code = get_headers($url);

$pos = strpos($code[0], '200');
if ($pos === false) {
    echo "сайт не вернул код 200."; //не рабочий
} else {
    echo "сайт вернул код 200"; //рабочий
}
?>

[Frostik]

Ну еще давайте предположим, что это займет много времени и разобьем список на 100 файлов, которые обработаем по очереди, это тоже домашнее задание

Сообщение отредактировал Frostik - 16.2.2008, 10:48

[Пуховой Topic Starter]

Я PHP знаю более менее, спасибо)
Я хотел узнать другое - есть ли такие онлайн сервисы? Я видел такое... Но не помню где(((

[Richard]

Есть ЯндексАналитик но боюсь что от такого колличества он тоже глюканет...

[Frostik]

Я PHP знаю более менее, спасибо)
Я хотел узнать другое - есть ли такие онлайн сервисы? Я видел такое... Но не помню где(((

Да я вам уже все написал, осталось только чтение из списка доделать - там пять строчек, да запустить на хостинге! Хватит лениться, а?!

[Пуховой Topic Starter]

я свой сервак мучать нибуду)
я ж грю - нужен именно сервис, не свой собственный.

[Frostik]

я свой сервак мучать нибуду)
я ж грю - нужен именно сервис, не свой собственный.

Нда, я посчитал, получается что трафика будет около 130 метров, что не страшно. А вот 400000 запросов обработается примерно за 14 часов... Боюсь что готового сервиса такого вам никто не предоставит... В принципе, могу выделить вам площадку с таким сервисом, скажем за 2 тыр (вебмани, яндекс.деньги - не важно).