Помощник
 |
Сообщение сайта
|
 Массовая проверка на 40x ошибки, Приспичило!) |
Пуховой
|
Сообщение
#1
|
||
 Топовый постер  
 Группа: Active User Сообщений: 3675 Регистрация: 8.10.2007 Поблагодарили: 877 раз Репутация:  251 
 |
|
||
 |
|
||
Frostik
|
 16.2.2008, 10:17;
Ответить: Frostik
Сообщение
#2
|
|
Новичок Группа: Viewer Сообщений: 5 Регистрация: 16.2.2008 Поблагодарили: 0 раз Репутация: 0
|
(Пуховой @ 16.2.2008, 7:11)  Господа.) Есть у меня база на 400000 сайтов. При чем я в принципе знаю, что 300000 из них - нерабочие (404) Как по вашему мнению лучше отфильтровать такое количество сайтов? Была идея: allsubmitter. мой 4.9 оллсаб захлебнулся и повис, даже когда скажем по 10000 выбирать. Еще идея: Писать самому программулину, для чтения ответа сервера, скажем так с использованием BDE например. НО: это будет очень много по времени и трафика уйдет ойойой... Ваши предложения? Написать небольшой скрипт на PHP и выложить на каком-нибудь хостинге. За минуту-две он создаст вам текстовый файлик (или заполнит таблицу БД) с нерабочими сайтами. Кстати, а почему ошибка 404? Это же отстутствующая страница. |
|
|
|
|
Пуховой
|
Сообщение
#3
|
|
Топовый постер
Группа: Active User Сообщений: 3675 Регистрация: 8.10.2007 Поблагодарили: 877 раз Репутация: 251
|
За минуту - две? четыреста тысяч сайтов? хм.
Если учитывать то, что одна страница в среднем 100-150 кило, при учете работоспособности всех сайтов 400000*0,15Мб - 60000 мб, = 60Гб. Я думаю тут парой минут не обойдешься))))) Идем далее - ошибки не только 404, смысл в том чтобы оставить все страницы с кодм ответа 200. |
|
|
|
|
Frostik
|
16.2.2008, 10:46;
Ответить: Frostik
Сообщение
#4
|
|
Новичок Группа: Viewer Сообщений: 5 Регистрация: 16.2.2008 Поблагодарили: 0 раз Репутация: 0
|
(Пуховой @ 16.2.2008, 9:26) За минуту - две? четыреста тысяч сайтов? хм. Если учитывать то, что одна страница в среднем 100-150 кило, при учете работоспособности всех сайтов 400000*0,15Мб - 60000 мб, = 60Гб. Я думаю тут парой минут не обойдешься))))) Идем далее - ошибки не только 404, смысл в том чтобы оставить все страницы с кодм ответа 200. Вот и я про то же - вам нужно получить только код ответа, а это никак не 100 килобайт... Кстати, по спекам не только 200, но 200-299. Давайте немного помогу, чтение списка, я думаю, сами сможете реализовать. <?php
$url = 'http://www.your-site.ru'; $code = get_headers($url); $pos = strpos($code[0], '200'); if ($pos === false) { echo "сайт не вернул код 200."; //не рабочий } else { echo "сайт вернул код 200"; //рабочий } ?> |
|
|
|
|
Frostik
|
16.2.2008, 10:47;
Ответить: Frostik
Сообщение
#5
|
|
Новичок Группа: Viewer Сообщений: 5 Регистрация: 16.2.2008 Поблагодарили: 0 раз Репутация: 0
|
Ну еще давайте предположим, что это займет много времени и разобьем список на 100 файлов, которые обработаем по очереди, это тоже домашнее задание
Сообщение отредактировал Frostik - 16.2.2008, 10:48 |
|
|
|
|
Пуховой
|
Сообщение
#6
|
|
Топовый постер
Группа: Active User Сообщений: 3675 Регистрация: 8.10.2007 Поблагодарили: 877 раз Репутация: 251
|
Я PHP знаю более менее, спасибо)
Я хотел узнать другое - есть ли такие онлайн сервисы? Я видел такое... Но не помню где((( |
|
|
|
|
Richard
|
16.2.2008, 10:49;
Ответить: Richard
Сообщение
#7
|
 Schriftsteller Группа: Active User Сообщений: 611 Регистрация: 27.6.2007 Из: Самара Поблагодарили: 27 раз Репутация: 12
|
Есть ЯндексАналитик но боюсь что от такого колличества он тоже глюканет...
-------------------- |
|
|
|
|
Frostik
|
16.2.2008, 10:54;
Ответить: Frostik
Сообщение
#8
|
|
Новичок Группа: Viewer Сообщений: 5 Регистрация: 16.2.2008 Поблагодарили: 0 раз Репутация: 0
|
(Пуховой @ 16.2.2008, 9:48) Я PHP знаю более менее, спасибо) Я хотел узнать другое - есть ли такие онлайн сервисы? Я видел такое... Но не помню где((( Да я вам уже все написал, осталось только чтение из списка доделать - там пять строчек, да запустить на хостинге! Хватит лениться, а?! |
|
|
|
|
Пуховой
|
Сообщение
#9
|
|
Топовый постер
Группа: Active User Сообщений: 3675 Регистрация: 8.10.2007 Поблагодарили: 877 раз Репутация: 251
|
я свой сервак мучать нибуду)
я ж грю - нужен именно сервис, не свой собственный. |
|
|
|
|
Frostik
|
16.2.2008, 11:14;
Ответить: Frostik
Сообщение
#10
|
|
Новичок Группа: Viewer Сообщений: 5 Регистрация: 16.2.2008 Поблагодарили: 0 раз Репутация: 0
|
(Пуховой @ 16.2.2008, 9:58) я свой сервак мучать нибуду) я ж грю - нужен именно сервис, не свой собственный. Нда, я посчитал, получается что трафика будет около 130 метров, что не страшно. А вот 400000 запросов обработается примерно за 14 часов... Боюсь что готового сервиса такого вам никто не предоставит... В принципе, могу выделить вам площадку с таким сервисом, скажем за 2 тыр (вебмани, яндекс.деньги - не важно). |
|
|
|
|
|
Похожие темы
| Тема | Ответов | Автор | Просмотров | Последний ответ | |
|---|---|---|---|---|---|
 |
Проверка позиций сайтов в поисковых системах с помощью Positon.ru Мониторинг продвижения сайтов |
183 | Positon | 179470 | 12.4.2024, 8:32 автор: Positon |
 |
ВКонтакте: полный комплекс услуг (массовая рассылка по стенам групп и в ЛС), парсинг, лайки, инвайты Гарантия самой низкой цены |
4 | MaxChemist | 1918 | 1.1.2023, 13:23 автор: MaxChemist |
|
Массовая рассылка в директ инстаграм, парсинг instagram, сервис директ рассылки Массовая рассылка в директ инстаграм |
2 | olarma | 1591 | 15.10.2020, 22:18 автор: olarma |
|
Исправлю HTML ошибки на страницах Вашего сайта | 17 | guruapps | 17184 | 11.2.2020, 15:06 автор: guruapps |
|
Ошибки при выборе оффера! | 0 | leadkreditrf | 1424 | 21.7.2019, 20:30 автор: -leadkreditrf- |
|
Текстовая версия | Сейчас: 19.4.2024, 19:41 |
