X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Как организовать массовую регулярную проверку сайтов?
kontenta
kontenta
Topic Starter сообщение 6.1.2011, 18:14; Ответить: kontenta
Сообщение #1


Добрый день!

Есть около 3000 сайтов, в дальнейшем их число постепенно увеличится до 5к, возможно и более.
Для каждого сайта хранится информация о тиц, pr, нахождение в як/dmoz, число проиндексированных страниц в яндексе/гугле и т.п. Требуется как-то поддерживать актуальность этой информации.

Сайты хранятся в базе на сервере, к ней будут подключаться скрипты, перепроверяющие все значения (тиц и прочее). Но из-за большого числа сайтов возможна серьезная нагрузка на сервер, а также бан по ip со стороны поисковиков во время сбора информации.

Поэтому у меня следующие вопросы:

  1. Как часто нужно обновлять информацию, чтобы она была актуальной? Полагаю, что чаще чем раз в 2 недели показатели серьезно не меняются? К примеру, на тех же биржах статей частенько встречаю не действительные значения тиц и пр., иногда создается впечатление, что они вообще обновляют раз в месяц.
  2. Сколько потребуется прокси и как грамотно организовать процесс проверки? Может растянуть на каждый день понемногу? Вопрос также актуален в плане снижения нагрузки на сервер.
  3. Где приобрести прокси для моих нужд?
  4. Возможно есть какие-то сервисы, к которым можно было бы подключить мою базу сайтов и получать всю необходимую мне инфу? Скажем, берущие по 1 wmz за проверку 1000 сайтов? smile.gif


Спасибо заранее!


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
seotouch
seotouch
сообщение 6.1.2011, 18:16; Ответить: seotouch
Сообщение #2


http://panel.pr-cy.ru/panel.php ?


--------------------
Навсегда ушел
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kontenta
kontenta
Topic Starter сообщение 6.1.2011, 18:27; Ответить: kontenta
Сообщение #3


(seotouch @ 6.1.2011, 16:16) *


Под пунктом 4 я имел в виду сервисы, которые проводили бы измерения на своих серверах и брали бы за это оплату. Поэтому немного не то.
Система проектируется под собственные нужды, все данные будут использоваться в дальнейшем для внутренних операций в системе. Поэтому графическое отображение данных в принципе и не нужно mellow.gif

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Как вы отдыхаете от работы за компом
151 adw-kupon.ru 19809 Сегодня, 13:52
автор: Vmir
Открытая тема (нет новых ответов) Как вы бросили работу и перешли на заработок с сайтов?
20 uahomka 3441 Сегодня, 11:54
автор: Skyworker
Открытая тема (нет новых ответов) Как в пушсетках покупают по 100-200 тысяч кликов за день?
1 Boymaster 510 Сегодня, 11:45
автор: Skyworker
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыВечные ссылки с трастовых сайтов
54 1informer 22812 20.4.2024, 18:39
автор: 1informer
Горячая тема (нет новых ответов) Как вывести деньги в Украине с заблокированного Юмани ?
30 freeax 5005 20.4.2024, 16:49
автор: Liudmila


 



RSS Текстовая версия Сейчас: 23.4.2024, 20:56
Дизайн