X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Как организовать массовую регулярную проверку сайтов?
kontenta
kontenta
Topic Starter сообщение 6.1.2011, 18:14; Ответить: kontenta
Сообщение #1


Участник
***

Группа: User
Сообщений: 162
Регистрация: 15.5.2009
Поблагодарили: 76 раз
Репутация:   18  


Добрый день!

Есть около 3000 сайтов, в дальнейшем их число постепенно увеличится до 5к, возможно и более.
Для каждого сайта хранится информация о тиц, pr, нахождение в як/dmoz, число проиндексированных страниц в яндексе/гугле и т.п. Требуется как-то поддерживать актуальность этой информации.

Сайты хранятся в базе на сервере, к ней будут подключаться скрипты, перепроверяющие все значения (тиц и прочее). Но из-за большого числа сайтов возможна серьезная нагрузка на сервер, а также бан по ip со стороны поисковиков во время сбора информации.

Поэтому у меня следующие вопросы:

  1. Как часто нужно обновлять информацию, чтобы она была актуальной? Полагаю, что чаще чем раз в 2 недели показатели серьезно не меняются? К примеру, на тех же биржах статей частенько встречаю не действительные значения тиц и пр., иногда создается впечатление, что они вообще обновляют раз в месяц.
  2. Сколько потребуется прокси и как грамотно организовать процесс проверки? Может растянуть на каждый день понемногу? Вопрос также актуален в плане снижения нагрузки на сервер.
  3. Где приобрести прокси для моих нужд?
  4. Возможно есть какие-то сервисы, к которым можно было бы подключить мою базу сайтов и получать всю необходимую мне инфу? Скажем, берущие по 1 wmz за проверку 1000 сайтов? smile.gif


Спасибо заранее!


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
seotouch
seotouch
сообщение 6.1.2011, 18:16; Ответить: seotouch
Сообщение #2


Прощайте!
*****

Группа: Active User
Сообщений: 998
Регистрация: 7.1.2009
Поблагодарили: 405 раз
Репутация:   45  


http://panel.pr-cy.ru/panel.php ?


--------------------
Навсегда ушел
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kontenta
kontenta
Topic Starter сообщение 6.1.2011, 18:27; Ответить: kontenta
Сообщение #3


Участник
***

Группа: User
Сообщений: 162
Регистрация: 15.5.2009
Поблагодарили: 76 раз
Репутация:   18  


(seotouch @ 6.1.2011, 16:16) *


Под пунктом 4 я имел в виду сервисы, которые проводили бы измерения на своих серверах и брали бы за это оплату. Поэтому немного не то.
Система проектируется под собственные нужды, все данные будут использоваться в дальнейшем для внутренних операций в системе. Поэтому графическое отображение данных в принципе и не нужно mellow.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Как поднять доверие к сайту?
2 fair_exchange 308 Сегодня, 12:59
автор: fair_exchange
Открытая тема (нет новых ответов) Как мошенники зарабатывают на прямых трансляциях в Instagram
Не ждите порно в инстаграм, его нет
10 PostBrigada 1133 Вчера, 22:40
автор: JOHNY
Открытая тема (нет новых ответов) Маленький кейс как сделать много почтовых ящиков в Gmail
Один аккаунт = много ящиков
1 PostBrigada 513 Вчера, 21:34
автор: Pingunio
Горячая тема (нет новых ответов) Дизайн сайтов | Продажа готовых макетов
Визитки, лендинги, шапки
169 bakalev 68544 Вчера, 15:47
автор: bakalev
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыSE Ranking – новый сервис для проверки позиций сайтов в поисковиках
173 seranking 158091 Вчера, 14:29
автор: seranking


 



RSS Текстовая версия Сейчас: 16.12.2017, 15:41
Дизайн