Помощник
Дата поста: | В теме: | За сообщение: | Поблагодарили: | ||
---|---|---|---|---|---|
19.9.2016, 20:00 |
Народный SEO Spider - разработка программы для глубокого аудита сайтов |
ARsHi, вы заставляете меня вновь окунуться в изучение продуктов конкурентов Данные по анализу 100 тыс. записей без проблем хранятся в опер. памяти, но когда речь заходит о миллионах страниц, то у большинства начинаются проблемы. Max размер нашей базы составляет 256 гигобайт. Распределение семантического ядра по сайту. Вывод страниц наиболее релевантных запросам. Анализ текста самих страниц. Настраиваемые отчеты (порядок отображения данных, лого, контакты и т.д.), что должно быть полезно при передаче результатов анализа 3-м лицам. |
|||
4.4.2016, 18:39 |
TOBBOT - многофункциональный инструмент вебмастера (бесплатно) |
Вышла версия TOBBOT 2.0.0 Прощай GOTO, здравствуй полноценный синтаксис современных языков программирования: циклы, функции, исключения и др.
Добавлено пространство глобальнных переменных:
Добавлена возможность синхронизации потоков при выполнении действия:
Добавлены короткие синонимы для вызова наиболее популярных методов:
Немного изменен интерфейс пользователя:
Часть бесплатных модулей уже перенесены на новую версию. ----- С днем вебмастера, друзья! TOBBOT 2.0.0 это мой вам подарок сегодня. Пользуйтесь на здоровье |
|||
4.3.2016, 20:57 |
TOBBOT - многофункциональный инструмент вебмастера (бесплатно) |
foxlite, модуль для рассылок SMS через Afreesms.com был. Но я его давно не инспектировал, скорее всего, он требует доработок. |
|||
27.10.2015, 12:42 |
TOBBOT - многофункциональный инструмент вебмастера (бесплатно) |
Последние новости:
Сегодня утром я получил письмо с просьбой написать модуль для удаления страниц из индекса Яндекса: https://webmaster.yandex.com/delurl.xml Для решения данной задачи мне понадобилось не более 15 мин. При этом большая часть времени ушла на изучение и тестирование различных поведений сервиса. Предлагаю вам изучить процесс создания новых модулей на озвученном выше примере. Шаг 1. Изучение сервиса. Запускаем снифер запросов, которые передает браузер в процессе "общения" с сайтами. Я рекомендую использовать бесплатный снифер Fiddler2, но можно ограничиться и простым плагином HttpFox к браузеру Firefox. Открываем страницу сервиса и вводим различные адреса (правильные и неправильные, проиндексированные и нет) и записываем ответы сервера на отправленные запросы. Шаг 2. Создание модуля. Согласно справочника разработчика модули должны иметь следующую архитектуру: Цитата Обязательными являются файлы и директории выделенные на схеме красным цветом Поэтому создаем следующие директории и файлы:
В результате этого у нас получилось 2 текстовых файла:
Для удаления адресов нам потребуется указать их URL, поэтому откроем файл columns.txt и вставим туда всего одну строку: Код url Теперь откроем файл Del.txt и запишем туда следующий код действия: Код // устанавливаем случайный User-Agent ... "modules/Common Files/Actions/Set random useragent.txt" // открываем форму запроса на удаление URL URL_GET "https://webmaster.yandex.com/delurl.xml" // парсим скрытые поля формы VAR_RE form_key, http_body, "name=\"key\" type=\"hidden\" value=\"(.*?)\"" VAR_RE form_sk, http_body, "type=\"hidden\" name=\"sk\" value=\"(.*?)\"" // загружаем капчу в кодировке BASE64 и передаем ее на распознавание OCR сервису CHARSET "BASE64", http_body URL_GET "https://i.captcha.yandex.net/image?key=", form_key CHARSET "", http_body VAR_CAPTCHA captcha_text, http_body, "0","0","0","0","4","10","0" // отправляем запрос на удаление // переменные с префиксом row_ содержат значения данных из таблицы, // т.е. переменная row_url содержит адрес страницы, которую нужно удалить URL_POST "https://webmaster.yandex.com/delurl.xml" "url", row_url "do", "remove" "rep", captcha_text "key", form_key "sk", form_sk // проверяем ответ сервера на наш запрос SCRIPT // если задание выполнено if ((http_body.indexOf('The URL will be removed shortly') > 0) || (http_body.indexOf('not indexed') > 0)) { // выполняем команду DONE (выполнено успешно) return 'DONE'; } // если задание не может быть выполнено if ((http_body.indexOf('There is no reason to delete this URL') > 0) || (http_body.indexOf('protocol is not supported') > 0) || (http_body.indexOf('Invalid URL') > 0)) { // выполняем команду UNDONE (не может быть выполнено) return 'UNDONE'; } // если капча распознана неверно, то задание переносится на следующий цикл if (http_body.indexOf('Incorrect CAPTCHA code') > 0) return 'LOG "Incorrect CAPTCHA code"'; Важно! Созраняем все файлы в кодировке UTF-8 без BOM. Поздравляю! Ваш модуль готов к работе Скачать готовый модуль Del URL Yandex. |
|||
27.8.2015, 10:28 |
Быстрые чекеры, парсеры, регеры, настройщики (на платформе TOBBOT). |
Напишу приватные модули к программе TOBBOT Это могут быть:
Преимущества работы со мной:
Низкие цены:
Работаю по тех. заданию и без. Бесплатно проконсультирую как лучше и проще (дешевле, быстрее) выполнить вашу задачу Кто может знать API программы лучше, чем ее автор? Обращайтесь!
|
|||
17.8.2015, 21:36 |
TOBBOT - многофункциональный инструмент вебмастера (бесплатно) |
Новые бесплатные модули Accounts MailRu - регистрация email аккаунтов на Mail.ru (4 домена); SE Backlinks Index Checker - проверка индексации ссылок в Bing, Google и Яндекс (проверка через кеш страниц). |
|||
18.5.2015, 16:09 |
TOBBOT - многофункциональный инструмент вебмастера (бесплатно) |
Вышел TOBBOT 0.10.0 Добавлена API функция POST_JSON, которая позволяет выполнить POST/JSON запрос на указанный адрес. Сформировать тело запроса можно с ипользованием функции SCRIPT. Код SCRIPT data = JSON.stringify({'id': 25, 'params': {'age': 30, 'first name': 'John', 'last name': 'Doe'}}); URL_POST_JSON "http://example.com/update.php", data В API функцию FILE добавлена возможность указать параметры записи в файл. Теперь можно добавлять запись не только в новый файл, но и в уже существующий. Код FILE "D:/new.txt", data, "a" В главное меню программы добавлена команда File > Open As, которая позволяет открывать рабочие файлы других модулей. Добавлены новые бесплатные и премиум модули:
Обновляемся, не стесняемся |
|||
14.4.2015, 14:18 |
TOBBOT - многофункциональный инструмент вебмастера (бесплатно) |
Вышел TOBBOT 0.7.0 Новая API функция VAR_COOKIE - присваивает указанной переменной значение cookie для указанной страницы. Новые модули:
Появился человек (Alex G), готовый оказывать платные услуги по написанию модулей к программе: 689545275 И наконец-то, появилась первая версия хелпа к программе TOBBOT |
|||
6.4.2015, 16:09 |
TOBBOT - многофункциональный инструмент вебмастера (бесплатно) |
TOBBOT - это попытка сделать универсальный инструмент для автоматизации различных сетевых задач. Программа бесплатная, имеет базовый набор модулей и простое API для расширения функционала. Базовым набором модулей можно воспользоваться сразу же после скачивания:
Количество модулей будет постоянно расти и со временем появятся модули для выполнения всех популярных задач. Текущий список модулей: Изменять/создавать модули можно используя встроенные API функции: ... вставить код из указанного файла, Писать модули просто! Вот так выглядит код модуля URL Parse Title: Код URL_GET row_url VAR_RE row_title, http_content, "(?ims)title.*?>(.*?)<.*?title" При этом писать модули на TOBBOT быстрее, проще и дешевле, чем писать программы с нуля: Программа портативная, кроссплатформенная и не требует установки. Скачать TOBBOT можно по одноименному адресу TOBBOT.COM Для запуска программы вам потребуется виртуальная машина Java Качайте, тестируйте, критикуйте и подавайте идеи для развития проекта. |
|||
Текстовая версия | Сейчас: 25.4.2024, 12:09 |