Например, парсить все, потом отсеить по наличию данной категории на главной странице данных директорий?

Streetmachine, немного не так поняли...

Нужно повытягивать именно тематические директории. Например: по ключевому запросу pdf editor нужны статейные директории компьютерной направленности и т.п.

Я делаю просто.. собрал все директории, потом Хрумом на наличие нужных категорий отсеиваю.

readykl,

Синтаксис запросов гугла.
1)inurl:"xxx" - поисковик выдаст все сайты у адресе которых найдет ххх, вместо ххх мы можем вставить любое другое слово, например guestbook,forum и т.д.
2)intitle:"xxx" - поисковик выдаст все сайты в заголовке которых найдет ххх. Опять же вместо ххх может быть любое слово.
3)site:.xxx.com - поисковик выдаст все страницы с домена xxx.com, вместо ххх.соm может быть любой домен любого уровня. Это может быть jopa.mail.ru или например просто .ru, если мы просто оставим .ru, то поисковик выдаст нам все сайты с доменной зоны .ru. Вместо .ru могут быть .com, .org, .net и т.д.
4)intext:"xxx" - поисковик выдаст нам все сайты в тексте у которых было найдено слово ххх. Вместо ххх - любое слово.
5)"ххх" - поисковик выдаст нам сайты в которых было найдено слово ххх (найденно было везде в урле или в тексте или в заголовке, неважно).
6) -"ххх" - поисковик выдаст нам все сайты исключая те, в которых было найдено слово ххх. После минуса также могут стоять inurl:"xxx" intitle:"xxx" site:.xxx.com intext:"xxx" и др.

***Можно писать то же самое и без кавычек, но я настоятельно рекомендую всегда их ставить, т.к. кавычки показывает гуглу строгость запроса, и поэтому он не будет выдавать всякую дрянь, которая по его мнению тоже подходит под запрос.


Очень важно не только знать синтаксис запросов, но и уметь правильно комбинировать их.

Сообщение отредактировал Kekс - 14.10.2011, 0:16

Читать умеете? Написал же, что синтаксические запросы не подходят

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.