X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

Открыть тему
Тема закрыта
> Скорость БД
ZhukV
ZhukV
Topic Starter сообщение 19.7.2011, 10:13; Ответить: ZhukV
Сообщение #1


Доброго времени суток всем.....
Стынулся с одной проблемкой, и реально не знаю как решить.... ((((
Создали новый сайт -- http://apprus.ru
Данный сайт грабит все приложения из http://itunes.apple.com
Сам грабер работает отлично, все лишние ресурсы выкидает, с ним проблем нету. Запущен грабер был неделю назад. За неделю, размер БД увеличился на 4 Гб, (на даний момент 4,2 Гб). Индексы раставлены по всем полям, по которым производится выборка. Также сайт стоит на кеширувании результатов БД (используется опять же БД).
Проблема в том, что когда парсер стоит (не парсит ни чего), сайт работает скоро и без проблем. Но когда парсер запущен, сайт виснет по полной (только при использовании расширенных фильтров на главной).

Как я понимаю, это из-за того, что:
1. Парсер и сайт работают с одной БД
2. Данные не могут закешироваться, поскольку добавляються новые.

Вопрос:
1. Как можно исправить данную ситуацию?
2. Возможно ли БД полностью установить как-то на мемкеш, либо рамкеш?
Если все один словом, то нужно чтобы работал парсер + работал сайт в нормальном режиме.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Letmetouchyou
Letmetouchyou
сообщение 19.7.2011, 10:57; Ответить: Letmetouchyou
Сообщение #2


ZhukV, а у вас что скрипт все что нашол все тулить в БД? И сколько же там инсертов/апдейтов в секунду? Не думаю, что много, так как эту всю инфу нужно брать с другого ресурса, доступ к которому не мгновенный.
Так что скорее всего у вас парсер грузит сервер, а не БД.
И к примеру, если такая уверенность, что это БД, то чего не создать отдельную базу данных?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ZhukV
ZhukV
Topic Starter сообщение 19.7.2011, 21:55; Ответить: ZhukV
Сообщение #3


Парсер вряд ли грузит серв, Он запускается совсем отдельным потоком (через оболочку php).

Вот СКЛ на главной странице:
SELECT DISTINCT node.title AS node_title, node.nid AS nid, field_data_field_app_revision.field_app_revision_value AS field_data_field_app_revision_field_app_revision_value, 'node' AS field_data_field_app_version_node_entity_type, 'node' AS field_data_field_app_type_ios_node_entity_type, 'node' AS field_data_field_app_logo_url_node_entity_type, 'node' AS field_data_body_node_entity_type, 'node' AS field_data_field_app_released_node_entity_type, 'applications:applications' AS view_name
FROM {node} node
LEFT JOIN {field_data_field_app_language} field_data_field_app_language ON node.nid = field_data_field_app_language.entity_id AND (field_data_field_app_language.entity_type = :views_join_condition_0 AND field_data_field_app_language.deleted = :views_join_condition_1)
LEFT JOIN {field_data_field_app_platform} field_data_field_app_platform ON node.nid = field_data_field_app_platform.entity_id AND (field_data_field_app_platform.entity_type = :views_join_condition_2 AND field_data_field_app_platform.deleted = :views_join_condition_3)
LEFT JOIN {field_data_field_app_revision} field_data_field_app_revision ON node.nid = field_data_field_app_revision.entity_id AND (field_data_field_app_revision.entity_type = :views_join_condition_4 AND field_data_field_app_revision.deleted = :views_join_condition_5)
WHERE (( (node.type IN ('applications')) AND (node.status = 1 OR (node.uid = 1 AND 1 <> 0 AND 1 = 1) OR 1 = 1) AND (field_data_field_app_language.field_app_language_value LIKE 'Russian' ESCAPE '\\') AND (field_data_field_app_platform.field_app_platform_value = 'ios') ))
ORDER BY field_data_field_app_revision_field_app_revision_value DESC LIMIT 20 OFFSET 0


Сейчас поставил munin. Завтра уже смогу дать более детальную инфу о загрузке.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ZhukV
ZhukV
Topic Starter сообщение 20.7.2011, 11:57; Ответить: ZhukV
Сообщение #4


Оказалось проблема совсем в другом. Нагрузки на БД существенной нету, ну нужно будет только переделать ЛЕФТ ДЖОИНЫ на ИННЕР, чтобы не перерывал потом на выборке (WHERE)
Проблема в скорее всего в локах записей.
Тему продолжаю -- http://www.html.by/threads/20142-Replikacii-BD

Замечание модератора:
Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней.
Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой
или обратитесь к любому из модераторов.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) In-to.cc - Простота использования, быстрая скорость обмена, индивидуальный подход к каждому пользователю, самые популярные направления обмена.
2 in_to 2305 13.3.2023, 14:15
автор: in_to
Открытая тема (нет новых ответов) Secretsline VPN - скорость до 100 мбит/c. Без логов. Для всех платформ.
2 Secrets_Line 2556 30.3.2022, 12:49
автор: EvilGomel
Открытая тема (нет новых ответов) Копирайтинг хэнд-мэйд. Качество и скорость.
28 Elena_Baur 16400 30.6.2018, 15:02
автор: Petechka
Открытая тема (нет новых ответов) Оптимизирую Скорость Загрузки Вашего Сайта и Увеличу количество баллов в Гугл Пейдж Спид
0 procsi 3480 18.12.2017, 17:40
автор: procsi
Открытая тема (нет новых ответов) Нужно оптимизировать скорость загрузки DLE
1 Mukis 2856 3.2.2017, 17:44
автор: bobur


 



RSS Текстовая версия Сейчас: 20.4.2024, 0:50
Дизайн