X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

История благодарностей участнику TOBBOT. Поблагодарили: 20 раз(а)
Дата поста: В теме: За сообщение: Поблагодарили:
19.9.2016, 20:00 Народный SEO Spider - разработка программы для глубокого аудита сайтов
ARsHi, вы заставляете меня вновь окунуться в изучение продуктов конкурентов :umnik:
Данные по анализу 100 тыс. записей без проблем хранятся в опер. памяти, но когда речь заходит о миллионах страниц, то у большинства начинаются проблемы. Max размер нашей базы составляет 256 гигобайт.
Распределение семантического ядра по сайту. Вывод страниц наиболее релевантных запросам. Анализ текста самих страниц.
Настраиваемые отчеты (порядок отображения данных, лого, контакты и т.д.), что должно быть полезно при передаче результатов анализа 3-м лицам.


Спасибо сказали: (1)
ARsHi
4.4.2016, 18:39 TOBBOT - многофункциональный инструмент вебмастера (бесплатно)
Вышла версия TOBBOT 2.0.0

Прощай GOTO, здравствуй полноценный синтаксис современных языков программирования: циклы, функции, исключения и др.
  1. Можно использовать язык JavaScript (стандарт ECMAScript 5.1);
  2. Можно использовать язык Java (Java 8);
  3. Можно использовать объект T. для доступа к методам бота, например: T.addLog("Привет!").


Добавлено пространство глобальнных переменных:
  • T.getGlobalObject(String key) - получить значение / объект;
  • T.setGlobalObject(String key, Object object) - установить значение / объект.


Добавлена возможность синхронизации потоков при выполнении действия:
  • T.lock() - заблокировать доступ остальным потокам;
  • T.unlock - разрешить доступ остальным потокам.


Добавлены короткие синонимы для вызова наиболее популярных методов:
  • T.log() для T.addLog();
  • T.get() для T.getRowValue();
  • T.set() для T.setRowValue() и другие методы.


Немного изменен интерфейс пользователя:
  • В окне массвового редактирования строк добавлена кнопка Path, для указания пути к файлу / файлам;
  • Изменен интерфейс всплывающих уведомлений / ошибок.


Часть бесплатных модулей уже перенесены на новую версию.

-----
С днем вебмастера, друзья!
TOBBOT 2.0.0 это мой вам подарок сегодня. Пользуйтесь на здоровье :drinks:


Спасибо сказали: (1)
MrFanoker
4.3.2016, 20:57 TOBBOT - многофункциональный инструмент вебмастера (бесплатно)
foxlite, модуль для рассылок SMS через Afreesms.com был. Но я его давно не инспектировал, скорее всего, он требует доработок.


Спасибо сказали: (1)
zyzy
27.10.2015, 12:42 TOBBOT - многофункциональный инструмент вебмастера (бесплатно)
Последние новости:
  • Выбирать профиль настроек при запуске программы теперь обязательно.
  • Добавлена функция включения/выключения EXCEPTION, которая позволяют включить/выключить остановку выполения задания в случае возникновения ошибки.
  • Добавлена функция PROXY_NEXT, которая позволяет переключиться на следующий прокси из списка.
  • В функции GOTO добавлен параметр {направление}, который позволяет указать направление поиска метки: "-" искать вверх, "+" искать вниз.
  • В функцию VAR_CAPTCHA добавлен необязательный параметр {comment}, который позволяет оставить примечание для работника по правильному распознаывнию капчи.
  • В функции FILE исправлена ошибка записи в файл.
  • Обновлен модуль Common Files и другие модули, которые используют этот модуль в своей работе.
  • Модули проверки индексации в поисковых системах разделены на 3 модуля:
    SE Check Index (Backlinks)
    SE Check Index (Domains)
    SE Check Index (Pages)

    Важно! Не забывайте удалять старые и ненужные версии модулей, чтобы избежать путаницы.


Сегодня утром я получил письмо с просьбой написать модуль для удаления страниц из индекса Яндекса: https://webmaster.yandex.com/delurl.xml Для решения данной задачи мне понадобилось не более 15 мин. При этом большая часть времени ушла на изучение и тестирование различных поведений сервиса.

Предлагаю вам изучить процесс создания новых модулей на озвученном выше примере.


Шаг 1.
Изучение сервиса.
Запускаем снифер запросов, которые передает браузер в процессе "общения" с сайтами. Я рекомендую использовать бесплатный снифер Fiddler2, но можно ограничиться и простым плагином HttpFox к браузеру Firefox.
Открываем страницу сервиса и вводим различные адреса (правильные и неправильные, проиндексированные и нет) и записываем ответы сервера на отправленные запросы.


Шаг 2.
Создание модуля.
Согласно справочника разработчика модули должны иметь следующую архитектуру:

Цитата
Обязательными являются файлы и директории выделенные на схеме красным цветом

Поэтому создаем следующие директории и файлы:
  • В директории modules/ программы создаем директорию с модулем Del URL Yandex/
  • Переходим в указанную директорию и создаем файл columns.txt и директорию actions/
  • Переходим в директорию actions/ и создаем файл действия Del.txt

В результате этого у нас получилось 2 текстовых файла:
  • columns.txt - содержит заголовки колонок модуля
  • del.txt - содержит кодом действия удаления URL из Яндекс


Для удаления адресов нам потребуется указать их URL, поэтому откроем файл columns.txt и вставим туда всего одну строку:
Код
url


Теперь откроем файл Del.txt и запишем туда следующий код действия:
Код
// устанавливаем случайный User-Agent
... "modules/Common Files/Actions/Set random useragent.txt"

// открываем форму запроса на удаление URL
URL_GET    "https://webmaster.yandex.com/delurl.xml"

// парсим скрытые поля формы
VAR_RE    form_key, http_body, "name=\"key\" type=\"hidden\" value=\"(.*?)\""
VAR_RE    form_sk, http_body, "type=\"hidden\" name=\"sk\" value=\"(.*?)\""

// загружаем капчу в кодировке BASE64 и передаем ее на распознавание OCR сервису
CHARSET    "BASE64", http_body
URL_GET    "https://i.captcha.yandex.net/image?key=", form_key
CHARSET    "", http_body
VAR_CAPTCHA    captcha_text, http_body, "0","0","0","0","4","10","0"

// отправляем запрос на удаление
// переменные с префиксом row_ содержат значения данных из таблицы,
// т.е. переменная row_url содержит адрес страницы, которую нужно удалить
URL_POST    "https://webmaster.yandex.com/delurl.xml"
    "url", row_url
    "do", "remove"
    "rep", captcha_text
    "key", form_key
    "sk", form_sk

// проверяем ответ сервера на наш запрос
SCRIPT
    // если задание выполнено
    if ((http_body.indexOf('The URL will be removed shortly') > 0) ||
        (http_body.indexOf('not indexed') > 0)) {
        // выполняем команду DONE (выполнено успешно)
        return 'DONE';
    }
    // если задание не может быть выполнено
    if ((http_body.indexOf('There is no reason to delete this URL') > 0) ||
        (http_body.indexOf('protocol is not supported') > 0) ||
        (http_body.indexOf('Invalid URL') > 0)) {
        // выполняем команду UNDONE (не может быть выполнено)
        return 'UNDONE';
    }
    // если капча распознана неверно, то задание переносится на следующий цикл
    if (http_body.indexOf('Incorrect CAPTCHA code') > 0) return 'LOG    "Incorrect CAPTCHA code"';


Важно! Созраняем все файлы в кодировке UTF-8 без BOM.
Поздравляю! Ваш модуль готов к работе :beer:

Скачать готовый модуль Del URL Yandex.


Спасибо сказали: (2)
DukeNukem, MaxPan
27.8.2015, 10:28 Быстрые чекеры, парсеры, регеры, настройщики (на платформе TOBBOT).
Напишу приватные модули к программе TOBBOT

Это могут быть:
  • чекеры SEO параметров сайтов;
  • чекеры работоспособности аккаунтов (почты, соц. сети, фрихи);
  • парсеры данных со страниц сайтов;
  • парсеры данных с сайтов требующих авторизации;
  • регеры почтовых и фрихостинг аккаунтов;
  • регеры аккаунтов соц. сетей и блог платформ;
  • настройщики профилей (адреса, фио, аватары, фотки, пароли);
  • парсер-постеры: сначала сбор контента, затем добавление, например, в CMS;
  • и многое-многое другое.


Преимущества работы со мной:
  • позитив и хорошее настроение :da:
  • работа выполняется качественно и в срок;
  • возможно заключение договора с юр. лицами;
  • преимущества программы распространяются и на конечный продукт.


Низкие цены:
  • От $10 за чекеры (множество способов оплаты).
  • Хорошие скидки на модули с разпознованием капч.


Работаю по тех. заданию и без.
Бесплатно проконсультирую как лучше и проще (дешевле, быстрее) выполнить вашу задачу :evrika:

Кто может знать API программы лучше, чем ее автор? Обращайтесь!

690530614
tobbot.com
i@tobbot.com


Спасибо сказали: (1)
mogilover
17.8.2015, 21:36 TOBBOT - многофункциональный инструмент вебмастера (бесплатно)
Новые бесплатные модули :evrika:

Accounts MailRu - регистрация email аккаунтов на Mail.ru (4 домена);
SE Backlinks Index Checker - проверка индексации ссылок в Bing, Google и Яндекс (проверка через кеш страниц).


Спасибо сказали: (2)
frion-seo, zyzy
18.5.2015, 16:09 TOBBOT - многофункциональный инструмент вебмастера (бесплатно)
Вышел TOBBOT 0.10.0

Добавлена API функция POST_JSON, которая позволяет выполнить POST/JSON запрос на указанный адрес. Сформировать тело запроса можно с ипользованием функции SCRIPT.
Код
SCRIPT
    data = JSON.stringify({'id': 25, 'params': {'age': 30, 'first name': 'John', 'last name': 'Doe'}});
URL_POST_JSON
    "http://example.com/update.php", data


В API функцию FILE добавлена возможность указать параметры записи в файл. Теперь можно добавлять запись не только в новый файл, но и в уже существующий.
Код
FILE    "D:/new.txt", data, "a"


В главное меню программы добавлена команда File > Open As, которая позволяет открывать рабочие файлы других модулей.

Добавлены новые бесплатные и премиум модули:
  • Domain Names Availability - проверка статуса доменов: свободен / зарегистрирован через сервис GoDaddy.
  • $ Yandex Last20 Keywords - парсинг прямого эфира Яндекса (фильтр по кею, запись в файл).
  • $ Yandex Metrika Open Stats - поиск открых статистик Яндекс.Метрика.


Обновляемся, не стесняемся :)


Спасибо сказали: (1)
webFlomaster
14.4.2015, 14:18 TOBBOT - многофункциональный инструмент вебмастера (бесплатно)
Вышел TOBBOT 0.7.0


Новая API функция VAR_COOKIE - присваивает указанной переменной значение cookie для указанной страницы.


Новые модули:
  • Accounts FreeWebHostingArea - регистрация фрихостинг аккаунтов на панели FreeWHA.com (10 доменов);
  • SE Index Checker - проверка индексации доменов/страниц в поисковых системах Яндекс, Google и Bing;
  • SMS from AFreeSMS - отправка SMS сообщений в любую страну мира (автор модуля Alex G).



Появился человек (Alex G), готовый оказывать платные услуги по написанию модулей к программе:
689545275
sansalex@mail.ru


И наконец-то, появилась первая версия хелпа к программе TOBBOT :evrika:


Спасибо сказали: (5)
MaxPan, proekt-gaz, Risk, Sobesednic, TalanArtem
6.4.2015, 16:09 TOBBOT - многофункциональный инструмент вебмастера (бесплатно)
TOBBOT - это попытка сделать универсальный инструмент для автоматизации различных сетевых задач.
Программа бесплатная, имеет базовый набор модулей и простое API для расширения функционала.



Базовым набором модулей можно воспользоваться сразу же после скачивания:
  1. выбрать модуль
  2. настроить задание
  3. запустить действие


Количество модулей будет постоянно расти и со временем появятся модули для выполнения всех популярных задач. Текущий список модулей:



Изменять/создавать модули можно используя встроенные API функции:
... вставить код из указанного файла,
SAVE выполняет промежуточное сохранение данных,
STOP останавливает выполнение действия,
DONE останавливает выполнение действия и изменяет статус на "выполнено успешно",
DONE останавливает выполнение действия и изменяет статус на "не может быть выполнено",
CAPTCHA распознать капчу через выбранный OCR сервис,
COOKIE добавить запись в менеджер COOKIE,
COOKIE_CLEAR удалить все записи в менеджере COOKIE,
GOTO перейти к указанной метке,
LABEL задать метку,
LOG добавить запись в лог,
PAUSE выдержать паузу,
SCRIPT выполнить указанный JavaScript код,
URL_ENCODE закодировать параметры в адресе страницы,
URL_HEAD выполнить HEAD запрос к странице,
URL_GET выполнить GET запрос к странице,
URL_POST выполнить POST запрос к странице,
VAR задать переменной указанное значение,
VAR_RANDOM задать переменной случайное значение из указанного списка,
VAR_RE задать переменной результат выполения регулярного выражения.


Писать модули просто! Вот так выглядит код модуля URL Parse Title:
Код
URL_GET
  row_url
VAR_RE
  row_title, http_content, "(?ims)title.*?>(.*?)<.*?title"



При этом писать модули на TOBBOT быстрее, проще и дешевле, чем писать программы с нуля:
Программа портативная, кроссплатформенная и не требует установки.
Система профилей позволяет одновременно запускать любое количество копий.
Рабочие данные хранятся в удобной таблице (CSV файл), а код модулей выполняется многопоточно, с/без прокси, с передачей нужного реферера, обработкой кук и др.


Скачать TOBBOT можно по одноименному адресу TOBBOT.COM
Для запуска программы вам потребуется виртуальная машина Java

Качайте, тестируйте, критикуйте и подавайте идеи для развития проекта.
Ваш TOB, супер BOT!


Спасибо сказали: (6)
blackhead, FishBone, KM_, Risk, TalanArtem, Яков_Деменьтев

RSS Текстовая версия Сейчас: 25.4.2024, 15:10

Дизайн

 
Форум IP.Board © 2024  IPS, Inc.
Лицензия зарегистрирована на: MaulNet
Jooble
Форум IP.Board © IPS, Inc.
Лицензия зарегистрирована на: MaulNet