X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

Открыть тему
Тема закрыта
> Как организовать массовую регулярную проверку сайтов?
kontenta
kontenta
Topic Starter сообщение 6.1.2011, 18:14; Ответить: kontenta
Сообщение #1


Участник
***

Группа: User
Сообщений: 164
Регистрация: 15.5.2009
Поблагодарили: 76 раз
Репутация:   18  


Добрый день!

Есть около 3000 сайтов, в дальнейшем их число постепенно увеличится до 5к, возможно и более.
Для каждого сайта хранится информация о тиц, pr, нахождение в як/dmoz, число проиндексированных страниц в яндексе/гугле и т.п. Требуется как-то поддерживать актуальность этой информации.

Сайты хранятся в базе на сервере, к ней будут подключаться скрипты, перепроверяющие все значения (тиц и прочее). Но из-за большого числа сайтов возможна серьезная нагрузка на сервер, а также бан по ip со стороны поисковиков во время сбора информации.

Поэтому у меня следующие вопросы:

  1. Как часто нужно обновлять информацию, чтобы она была актуальной? Полагаю, что чаще чем раз в 2 недели показатели серьезно не меняются? К примеру, на тех же биржах статей частенько встречаю не действительные значения тиц и пр., иногда создается впечатление, что они вообще обновляют раз в месяц.
  2. Сколько потребуется прокси и как грамотно организовать процесс проверки? Может растянуть на каждый день понемногу? Вопрос также актуален в плане снижения нагрузки на сервер.
  3. Где приобрести прокси для моих нужд?
  4. Возможно есть какие-то сервисы, к которым можно было бы подключить мою базу сайтов и получать всю необходимую мне инфу? Скажем, берущие по 1 wmz за проверку 1000 сайтов? smile.gif


Спасибо заранее!


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
seotouch
seotouch
сообщение 6.1.2011, 18:16; Ответить: seotouch
Сообщение #2


Прощайте!
*****

Группа: Active User
Сообщений: 998
Регистрация: 7.1.2009
Поблагодарили: 405 раз
Репутация:   45  


http://panel.pr-cy.ru/panel.php ?


--------------------
Навсегда ушел
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kontenta
kontenta
Topic Starter сообщение 6.1.2011, 18:27; Ответить: kontenta
Сообщение #3


Участник
***

Группа: User
Сообщений: 164
Регистрация: 15.5.2009
Поблагодарили: 76 раз
Репутация:   18  


(seotouch @ 6.1.2011, 16:16) *


Под пунктом 4 я имел в виду сервисы, которые проводили бы измерения на своих серверах и брали бы за это оплату. Поэтому немного не то.
Система проектируется под собственные нужды, все данные будут использоваться в дальнейшем для внутренних операций в системе. Поэтому графическое отображение данных в принципе и не нужно mellow.gif

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Недорого напишу тексты для сайтов.
Копирайт и рерайт за небольшую плату.
5 Мангуст 649 Сегодня, 8:26
автор: phant
Открытая тема (нет новых ответов) Как защитить свои данные в общественном Wi-Fi?
6 unazekoff 270 Вчера, 23:51
автор: rty9000
Открытая тема (нет новых ответов) Как раскрутить городской портал с помощью вирусной рекламы?
9 Wolfhound 839 Вчера, 23:42
автор: mherter
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыРегистрация по личным обновляемым базам: каталоги сайтов, статей, доски, соц закладки
62 mrseo 16605 Вчера, 21:41
автор: Sostavitel
Открытая тема (нет новых ответов) Как использовать показатель SERP impressions из Яндекс.Вебмастера для анализа изменений в ранжировании
alexeytrudov.com - персональный блог SEO-аналитика
0 Luden 298 Вчера, 21:39
автор: Luden


 



RSS Текстовая версия Сейчас: 23.5.2018, 9:41
Дизайн