Wandex, ага, спарсил все сайты, а что делать с ними, потом разберешься

santis, в смысле? Вы вводите запрос, коча подключается к Google, парсит результаты и выводит. Ничего сложного.

Да я не против, попробуйте.

цены на фрилансеров или местные, или предполагемые, очень дешево.


Если не брать в расчёт ограничения по запросам.

rjksdfhe, это минималка. Там парсер+прокси, ничего сложного, 2 часа дел. Плюс оформление, у них цены сильно разнятся, нужно по сути 2 страницы: выдачи и поиска.
Однако смысл? Какой смысл в очередном поисковике с результатами от Google?

rjksdfhe, даже с десятком тысяч IP никто парсить Google в лоб не будет

и это автоматически делает лажей утверждение:

уж определитесь, либо 100$ и парсить в лоб, либо вести историю, сохранять результаты, на их основе формировать что-то своё и, как следствие, на несколько порядков более высокая цена.

x64,
- тут зависит от того, какая именно планируется работа с результатами. На коче не вижу никакой разницы с гуглом
Кешировать результаты - 10 минут времени
- немного упростил, для восприятия, но на сложность это не влияет. Реализация банальна - прокси + search.aol.net (например).
Учите, что там брал минимальные значения цен, без учета всяких плюшек.

Коча - красивая обертка над Google, но никак не полноценная поисковая машина. Если автору нужен поисковик, то в сторону кочи смотреть не стоит.

Сообщение отредактировал Wandex - 22.7.2013, 1:01

Имхо, парсить резхультаты любой из существующих ПС не будет рациональным по одной простой причине: Частые изминения и зависимость от третей стороны. Я представляю себе инфраструктуру и реализацию с максимальной эффективностью следующим образом:
Берём делаем паука на Python или Ruby и запускаем это на 5-6 VPS, так как наши пауки будут просто индексировать контент, то есть тупо пихать изминения и даты проверок в Redis или MongoDB, после всё это пишем в PostgreSQL БД, которая имеет репликацию Master/Slave, чтоб ускорить работу: Один сервер для чтения и ранжирования, а другой для записи, но с одинаковым контентом. Чтоб не мучаться вести учёт title, h1, a href и на этом строить ранжирование по алгоритмам, которые все имеются, а именно Sphinx как пример, который умеет работать с БД на прямую, то есть индексировать именно БД. После ещё было бы полезно иметь какой-то кэширующий элемент на key/value принципу хранения и работать с этой прослойкой на двухсторонней основе, то есть это тоже данные и по ним можно сделать ранжирование.

Относительно бюджетов тут сложно что либо говорить, так как изначально нужно проектировать всё с максимальной возможностью масштабирования... Как-то так в общих чертах, но думаю что можно развить эту тему.

antonauslander,

Из соображений производительности Си лучше подходит для этих целей

Наивно. Забыли о ссылках, служебной информации и множестве других мелочей.

В масштабах сети sphinx не подходит, однако это вы поймете, когда упретесь в кучу нюансов, про качество выдачи я молчу.
Спам фильтры, борьба с дубликатами, сжатие всего этого дела, низкая скорость вставки в Postgresql, особенно при репликации. проблемы с ранжированием.
Это все будет всплывать и всплывать...
Строить ПС в масштабах интернета на VDS'ках используя sphinx+postgesql+mongo/redis с ботами на python глупо. Без знаний теоретической части информационного поиска, дата маининга у вас навряд ли что-то получится.
Получите очень низкую скорость индексации, ужасное качество выдачи и полную неконкурентоспособность

Сообщение отредактировал Wandex - 22.7.2013, 3:47

Wandex, я предполагаю такой момент в своём ответе: Солюшена на жанный момент нет, а значит всё это надо будет пробивать собственным опытом, а как следствие я исходил из своих знаний и умений.

Относительно средств, которые я предполагаю использовать всё на том же уровне знаний и умений.

Если с чего-то начать, то быстрее будет появляться конкретика под которую можно будет адаптироваться, верно? (:

antonauslander,

Именно. Тут нужно с чего-то начать, но самая большая сложность не в этом. На определенном этапе становится ясно, что проект сложнее, чем ожидалось. Вы думаете, что завершите за месяц, но проходит год. Информации по теме очень мало, приходится переводить её с других языков, активно изучать отечественные публикации (тот же РОМИП).
У меня все затянулось на 5 лет, если не больше и каждый раз я думал "уже скоро". Процесс еще продолжается. О старте поисковой системы обьявленно, но уже год длится процесс отладки.
Основная трудность не в масштабировании, не в скорости поиска, а в качестве и идеях. Без постоянного притока идей, интерес утихнет за пару месяцев и произойдет то, что случилось с Cuil.