Помощник
Здравствуйте, гость ( Вход | Регистрация )
|
![]() |
![]() |
Сообщение
#1
|
||
![]() Топовый постер ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Группа: Active User Сообщений: 3675 Регистрация: 8.10.2007 Поблагодарили: 877 раз Репутация: ![]() ![]() ![]() |
|
||
|
|||
![]() |
![]()
Сообщение
#2
|
Новичок ![]() Группа: Viewer Сообщений: 5 Регистрация: 16.2.2008 Поблагодарили: 0 раз Репутация: ![]() ![]() ![]() |
Господа.) Есть у меня база на 400000 сайтов. При чем я в принципе знаю, что 300000 из них - нерабочие (404) Как по вашему мнению лучше отфильтровать такое количество сайтов? Была идея: allsubmitter. мой 4.9 оллсаб захлебнулся и повис, даже когда скажем по 10000 выбирать. Еще идея: Писать самому программулину, для чтения ответа сервера, скажем так с использованием BDE например. НО: это будет очень много по времени и трафика уйдет ойойой... Ваши предложения? Написать небольшой скрипт на PHP и выложить на каком-нибудь хостинге. За минуту-две он создаст вам текстовый файлик (или заполнит таблицу БД) с нерабочими сайтами. Кстати, а почему ошибка 404? Это же отстутствующая страница. |
|
|
![]() |
Сообщение
#3
|
![]() Топовый постер ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Группа: Active User Сообщений: 3675 Регистрация: 8.10.2007 Поблагодарили: 877 раз Репутация: ![]() ![]() ![]() |
За минуту - две? четыреста тысяч сайтов? хм.
Если учитывать то, что одна страница в среднем 100-150 кило, при учете работоспособности всех сайтов 400000*0,15Мб - 60000 мб, = 60Гб. Я думаю тут парой минут не обойдешься))))) Идем далее - ошибки не только 404, смысл в том чтобы оставить все страницы с кодм ответа 200. |
|
|
![]() |
![]()
Сообщение
#4
|
Новичок ![]() Группа: Viewer Сообщений: 5 Регистрация: 16.2.2008 Поблагодарили: 0 раз Репутация: ![]() ![]() ![]() |
За минуту - две? четыреста тысяч сайтов? хм. Если учитывать то, что одна страница в среднем 100-150 кило, при учете работоспособности всех сайтов 400000*0,15Мб - 60000 мб, = 60Гб. Я думаю тут парой минут не обойдешься))))) Идем далее - ошибки не только 404, смысл в том чтобы оставить все страницы с кодм ответа 200. Вот и я про то же - вам нужно получить только код ответа, а это никак не 100 килобайт... Кстати, по спекам не только 200, но 200-299. Давайте немного помогу, чтение списка, я думаю, сами сможете реализовать. <?php
$url = 'http://www.your-site.ru'; $code = get_headers($url); $pos = strpos($code[0], '200'); if ($pos === false) { echo "сайт не вернул код 200."; //не рабочий } else { echo "сайт вернул код 200"; //рабочий } ?> |
|
|
![]() |
![]()
Сообщение
#5
|
Новичок ![]() Группа: Viewer Сообщений: 5 Регистрация: 16.2.2008 Поблагодарили: 0 раз Репутация: ![]() ![]() ![]() |
Ну еще давайте предположим, что это займет много времени и разобьем список на 100 файлов, которые обработаем по очереди, это тоже домашнее задание
![]() Сообщение отредактировал Frostik - 16.2.2008, 10:48 |
|
|
![]() |
Сообщение
#6
|
![]() Топовый постер ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Группа: Active User Сообщений: 3675 Регистрация: 8.10.2007 Поблагодарили: 877 раз Репутация: ![]() ![]() ![]() |
Я PHP знаю более менее, спасибо)
Я хотел узнать другое - есть ли такие онлайн сервисы? Я видел такое... Но не помню где((( |
|
|
![]() |
![]()
Сообщение
#7
|
![]() Schriftsteller ![]() ![]() ![]() ![]() ![]() Группа: Active User Сообщений: 611 Регистрация: 27.6.2007 Из: Самара Поблагодарили: 27 раз Репутация: ![]() ![]() ![]() |
Есть ЯндексАналитик но боюсь что от такого колличества он тоже глюканет...
-------------------- |
|
|
![]() |
![]()
Сообщение
#8
|
Новичок ![]() Группа: Viewer Сообщений: 5 Регистрация: 16.2.2008 Поблагодарили: 0 раз Репутация: ![]() ![]() ![]() |
|
|
|
![]() |
Сообщение
#9
|
![]() Топовый постер ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() Группа: Active User Сообщений: 3675 Регистрация: 8.10.2007 Поблагодарили: 877 раз Репутация: ![]() ![]() ![]() |
я свой сервак мучать нибуду)
я ж грю - нужен именно сервис, не свой собственный. |
|
|
![]() |
![]()
Сообщение
#10
|
Новичок ![]() Группа: Viewer Сообщений: 5 Регистрация: 16.2.2008 Поблагодарили: 0 раз Репутация: ![]() ![]() ![]() |
я свой сервак мучать нибуду) я ж грю - нужен именно сервис, не свой собственный. Нда, я посчитал, получается что трафика будет около 130 метров, что не страшно. А вот 400000 запросов обработается примерно за 14 часов... Боюсь что готового сервиса такого вам никто не предоставит... В принципе, могу выделить вам площадку с таким сервисом, скажем за 2 тыр (вебмани, яндекс.деньги - не важно). |
|
|
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
![]() |
SpySERP - самая точная проверка и анализ позиций сайта в поисковых системах Обсуждение сервиса SpySERP |
8 | SpySerp | 637 | 3.12.2019, 11:19 автор: alf74 |
![]() |
Массовая редакция объявлений в директе - как? | 8 | Latinos | 580 | 2.12.2019, 12:35 автор: knezevolk |
![]() |
Проверка позиций сайтов в поисковых системах с помощью Positon.ru Мониторинг продвижения сайтов |
132 | Positon | 108159 | 29.11.2019, 0:04 автор: Positon |
![]() |
Почему ошибки гугла в плане адаптива | 3 | Konark | 485 | 10.9.2019, 21:48 автор: Konark |
![]() |
Исправлю HTML ошибки на страницах Вашего сайта | 15 | guruapps | 5203 | 12.4.2018, 3:09 автор: guruapps |
![]() |
Текстовая версия | Сейчас: 14.12.2019, 14:07 |