X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

6 страниц V  < 1 2 3 4 5 6 >
Открыть тему
Тема закрыта
> Собираем базы трастов самостоятельно и бесплатно., Плюшки внутри)
kronos
kronos
сообщение 14.12.2011, 14:37; Ответить: kronos
Сообщение #21


Белый веб-мастер
*******


Группа: Active User
Сообщений: 4703
Регистрация: 10.2.2009
Из: Харьков
Поблагодарили: 2631 раз
Репутация:   327  


(REGNET @ 14.12.2011, 13:04) *
если поставили минус, значит есть за что, соответственно надо исправляться

Это наверняка другие участники конкурса biggrin.gif


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
REGNET
REGNET
Topic Starter сообщение 14.12.2011, 15:51; Ответить: REGNET
Сообщение #22


Старожил
******


Группа: Active User
Сообщений: 2381
Регистрация: 13.3.2009
Из: Киев
Поблагодарили: 932 раза
Репутация:   150  


Хотелось бы увидеть побольше комментариев и оценок. Может что то дополнить, подкорректировать ?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SEOMR
SEOMR
сообщение 14.12.2011, 16:55; Ответить: SEOMR
Сообщение #23


Завсегдатай
*****

Группа: Active User
Сообщений: 531
Регистрация: 9.10.2009
Из: Симферополь, Крым
Поблагодарили: 192 раза
Репутация:   29  


Давненько занимаюсь сбором различных трастовых баз, но в основном сбор происходит посредством парсинга гугла.
Хотел бы немного прокомментировать вашу статью:
inurl:"признак" или же intext:"признак", данных команд нам хватит с головой.

Для новичков безусловно хватит, для тех, кто в теме - их однозначно мало. Обычно, когда нахожу новый движок вывожу около 10-15 вариаций различных признаков для того, чтобы спарсить как можно больше вариантов.
К примеру, по одному признаку может выйти около 300 уникальных доменов, по 10-15 признакам - около 2000.

Теперь второй шаг который очень часто пропускают, удаляем сайт которых нету в индексе Яндекса.

Если мне нужна была ру база, то я просто парсил с Яндекса, автоматом исключая, таким образом, сайты, которые отсутствуют в индексе.

Так как в ДЛЕ можно вставлять не просто ссылку, а и анкор, то надо проверить закрытость профиля от индексации.

Опять же, чтобы автоматом исключить бесполезные действия, я искал признаки профилей, впоследствии их и парсил, тем самым исключая возможность того, что они закрыты в роботсе.

количество ссылок которые останутся, так как многие ссылки администраторы сайтов удаляют

Для этого хватает несколько раз в течение месяца пройтись по базе вручную с помощью сайта типа http://www.urlopener.com/, если профили удаляют, просто выкидываем сайт из базы.
Также это можно сделать с помощью софта, который проверяет наличие обратных ссылок, что будет гораздо быстрей.

Но, повторюсь, последние пол года работал только с Google и базы собирал только под него, так что и писал конкретно про Google. На мой взгляд, если вы ищете базу для рунета, то лучше парсить сайты из обоих поисковиков и по многим признакам, будет гораздо больше вариантов.

По поводу статьи: хороший подробный мануал для новичков, хотелось бы мне его прочесть года полтора назад, тогда бы работа шла в то время гораздо быстрей и продуктивней.

Может что то дополнить, подкорректировать ?

Мне было бы интересно услышать ваш способ определения эффективности прогона по каждому отдельному сайту из базы, но это уже ближе к "палеву темы". Ведь спарсить базу не проблема, а вот собрать только качественные сайты, после прогона по которым будет отличный эффект в виде значительного повышения позиций в серпе, вот это и есть главная проблема.

Сообщение отредактировал SEOMR - 14.12.2011, 16:59


--------------------


Поблагодарили: (3)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
REGNET
REGNET
Topic Starter сообщение 16.12.2011, 12:11; Ответить: REGNET
Сообщение #24


Старожил
******


Группа: Active User
Сообщений: 2381
Регистрация: 13.3.2009
Из: Киев
Поблагодарили: 932 раза
Репутация:   150  


(SEOMR @ 14.12.2011, 15:55) *
Для новичков безусловно хватит, для тех, кто в теме - их однозначно мало. Обычно, когда нахожу новый движок вывожу около 10-15 вариаций различных признаков для того, чтобы спарсить как можно больше вариантов.
К примеру, по одному признаку может выйти около 300 уникальных доменов, по 10-15 признакам - около 2000.

Надо искать движок, а потом уже признаки, не палить же мне движки) Список дал, остальное новички сами уже сделают)

(SEOMR @ 14.12.2011, 15:55) *
Если мне нужна была ру база, то я просто парсил с Яндекса, автоматом исключая, таким образом, сайты, которые отсутствуют в индексе.

Я немного не так написал, имелось ввиду выкинуть все сайты которые под АГСом или в баньке у Яндекса.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
SEOMR
SEOMR
сообщение 16.12.2011, 13:51; Ответить: SEOMR
Сообщение #25


Завсегдатай
*****

Группа: Active User
Сообщений: 531
Регистрация: 9.10.2009
Из: Симферополь, Крым
Поблагодарили: 192 раза
Репутация:   29  


(REGNET @ 16.12.2011, 11:11) *
не палить же мне движки

Почему бы и нет, можно в ЛС)))
А если серьезно, то к моему удивлению даже на самых заспамленных движках находятся хорошие старые качественные сайты, которые еще не заспамлены.
Как обладатели Хрумера их пропускают я даже не знаю. Причем профили с них не удаляются, в день происходит не более 3-5 регистраций, хотя движок общеизвестен.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
denis_h2
denis_h2
сообщение 16.12.2011, 14:49; Ответить: denis_h2
Сообщение #26


Бывалый
****

Группа: User
Сообщений: 419
Регистрация: 16.3.2011
Поблагодарили: 40 раз
Репутация:   15  


Спасибо большое за программы ! Раньше просто в поиск вводил признаки теперь это можно автоматизировать !


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
REGNET
REGNET
Topic Starter сообщение 16.12.2011, 21:45; Ответить: REGNET
Сообщение #27


Старожил
******


Группа: Active User
Сообщений: 2381
Регистрация: 13.3.2009
Из: Киев
Поблагодарили: 932 раза
Репутация:   150  


(denis_h2 @ 16.12.2011, 13:49) *
пасибо большое за программы ! Раньше просто в поиск вводил признаки теперь это можно автоматизировать !

Пожалуйста.

(SEOMR @ 16.12.2011, 12:51) *
Почему бы и нет, можно в ЛС)))

В ближайшее время не буду. Может сделаю базу запросов и буду продавать, пока не знаю, как сессия закончится тогда и думать по этому поводу можно будет.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
House
House
сообщение 16.12.2011, 21:51; Ответить: House
Сообщение #28


Завсегдатай
*****


Группа: Banned
Сообщений: 628
Регистрация: 2.11.2011
Из: Саранск
Поблагодарили: 154 раза
Репутация:   19  


(REGNET @ 16.12.2011, 21:45) *
В ближайшее время не буду. Может сделаю базу запросов и буду продавать, пока не знаю, как сессия закончится тогда и думать по этому поводу можно будет.

Если вам не трудно поделитесь 10-ю запросами wordpress? Буду очень признателен.
Статья интересная, спасибо. Но вот, довольно часто не дописываете окончания - например Ы вот тут:
Теперь второй шаг который очень часто пропускают, удаляем сайты которых нету в индексе Яндекса.


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
REGNET
REGNET
Topic Starter сообщение 16.12.2011, 22:05; Ответить: REGNET
Сообщение #29


Старожил
******


Группа: Active User
Сообщений: 2381
Регистрация: 13.3.2009
Из: Киев
Поблагодарили: 932 раза
Репутация:   150  


(House @ 16.12.2011, 20:51) *
Если вам не трудно поделитесь 10-ю запросами wordpress? Буду очень признателе

Я основные 4 использую, вп сильно заспамленны:
inurl:"wp-signup.php"
inurl:"wp-login.php"
intext:"Powered by WordPress"
intext:"Работает на WordPress"
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
kristy
kristy
сообщение 16.12.2011, 23:26; Ответить: kristy
Сообщение #30


Новичок
*

Группа: User
Сообщений: 31
Регистрация: 28.6.2011
Из: Украина
Поблагодарили: 2 раза
Репутация:   1  


Я из разряда новичков, еще ни разу не занималась парсингом баз, поэтому огромное спасибо за статью и за полезные дополнения к ней в комментариях.


--------------------


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
6 страниц V  < 1 2 3 4 5 6 >
Открыть тему
Тема закрыта
3 чел. читают эту тему (гостей: 3, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Выгрузки из Keys.so и Bukvarix.com (бесплатно)
Могу вам бесплатно сделать выгрузку из обоих сервисов
21 tehno_music 2509 30.10.2019, 21:21
автор: itlider
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыРаздача готовых статей бесплатно!
22 bposter94 2087 24.10.2019, 19:39
автор: bposter94
Открытая тема (нет новых ответов) Базы @username Telegram для рассылок и инвайтинга
0 vodogrey 247 8.10.2019, 9:05
автор: vodogrey
Открытая тема (нет новых ответов) [Продам] Базы доменов, использующих CMS WordPress/Joomla/Drupal/OpenCart и т.д.
11 phosphoruss 3055 7.10.2019, 21:28
автор: phosphoruss
Горячая тема (нет новых ответов) Свежие базы ключевых слов с подсказок гугла!
64 Krok 28889 1.10.2019, 9:58
автор: Krok


 



RSS Текстовая версия Сейчас: 18.11.2019, 3:22
Дизайн