X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость ( Вход | Регистрация )

4 страниц V  < 1 2 3 4 >
Открыть тему
Тема закрыта
> TOBBOT - многофункциональный инструмент вебмастера (бесплатно)
TOBBOT
TOBBOT
Topic Starter сообщение 17.8.2015, 21:36; Ответить: TOBBOT
Сообщение #21


Частый гость
**

Группа: User
Сообщений: 80
Регистрация: 2.4.2015
Поблагодарили: 20 раз
Репутация:   5  


Новые бесплатные модули :evrika:

Accounts MailRu - регистрация email аккаунтов на Mail.ru (4 домена);
SE Backlinks Index Checker - проверка индексации ссылок в Bing, Google и Яндекс (проверка через кеш страниц).


--------------------


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
TOBBOT
TOBBOT
Topic Starter сообщение 27.10.2015, 12:42; Ответить: TOBBOT
Сообщение #22


Частый гость
**

Группа: User
Сообщений: 80
Регистрация: 2.4.2015
Поблагодарили: 20 раз
Репутация:   5  


Последние новости:
  • Выбирать профиль настроек при запуске программы теперь обязательно.
  • Добавлена функция включения/выключения EXCEPTION, которая позволяют включить/выключить остановку выполения задания в случае возникновения ошибки.
  • Добавлена функция PROXY_NEXT, которая позволяет переключиться на следующий прокси из списка.
  • В функции GOTO добавлен параметр {направление}, который позволяет указать направление поиска метки: "-" искать вверх, "+" искать вниз.
  • В функцию VAR_CAPTCHA добавлен необязательный параметр {comment}, который позволяет оставить примечание для работника по правильному распознаывнию капчи.
  • В функции FILE исправлена ошибка записи в файл.
  • Обновлен модуль Common Files и другие модули, которые используют этот модуль в своей работе.
  • Модули проверки индексации в поисковых системах разделены на 3 модуля:
    SE Check Index (Backlinks)
    SE Check Index (Domains)
    SE Check Index (Pages)


    Важно! Не забывайте удалять старые и ненужные версии модулей, чтобы избежать путаницы.


Сегодня утром я получил письмо с просьбой написать модуль для удаления страниц из индекса Яндекса: https://webmaster.yandex.com/delurl.xml Для решения данной задачи мне понадобилось не более 15 мин. При этом большая часть времени ушла на изучение и тестирование различных поведений сервиса.

Предлагаю вам изучить процесс создания новых модулей на озвученном выше примере.


Шаг 1.
Изучение сервиса.

Запускаем снифер запросов, которые передает браузер в процессе "общения" с сайтами. Я рекомендую использовать бесплатный снифер Fiddler2, но можно ограничиться и простым плагином HttpFox к браузеру Firefox.
Открываем страницу сервиса и вводим различные адреса (правильные и неправильные, проиндексированные и нет) и записываем ответы сервера на отправленные запросы.


Шаг 2.
Создание модуля.

Согласно справочника разработчика модули должны иметь следующую архитектуру:

Цитата
Обязательными являются файлы и директории выделенные на схеме красным цветом

Поэтому создаем следующие директории и файлы:
  • В директории modules/ программы создаем директорию с модулем Del URL Yandex/
  • Переходим в указанную директорию и создаем файл columns.txt и директорию actions/
  • Переходим в директорию actions/ и создаем файл действия Del.txt

В результате этого у нас получилось 2 текстовых файла:
  • columns.txt - содержит заголовки колонок модуля
  • del.txt - содержит кодом действия удаления URL из Яндекс


Для удаления адресов нам потребуется указать их URL, поэтому откроем файл columns.txt и вставим туда всего одну строку:
Код
url


Теперь откроем файл Del.txt и запишем туда следующий код действия:
Код
// устанавливаем случайный User-Agent
... "modules/Common Files/Actions/Set random useragent.txt"

// открываем форму запроса на удаление URL
URL_GET    "https://webmaster.yandex.com/delurl.xml"

// парсим скрытые поля формы
VAR_RE    form_key, http_body, "name=\"key\" type=\"hidden\" value=\"(.*?)\""
VAR_RE    form_sk, http_body, "type=\"hidden\" name=\"sk\" value=\"(.*?)\""

// загружаем капчу в кодировке BASE64 и передаем ее на распознавание OCR сервису
CHARSET    "BASE64", http_body
URL_GET    "https://i.captcha.yandex.net/image?key=", form_key
CHARSET    "", http_body
VAR_CAPTCHA    captcha_text, http_body, "0","0","0","0","4","10","0"

// отправляем запрос на удаление
// переменные с префиксом row_ содержат значения данных из таблицы,
// т.е. переменная row_url содержит адрес страницы, которую нужно удалить
URL_POST    "https://webmaster.yandex.com/delurl.xml"
    "url", row_url
    "do", "remove"
    "rep", captcha_text
    "key", form_key
    "sk", form_sk

// проверяем ответ сервера на наш запрос
SCRIPT
    // если задание выполнено
    if ((http_body.indexOf('The URL will be removed shortly') > 0) ||
        (http_body.indexOf('not indexed') > 0)) {
        // выполняем команду DONE (выполнено успешно)
        return 'DONE';
    }
    // если задание не может быть выполнено
    if ((http_body.indexOf('There is no reason to delete this URL') > 0) ||
        (http_body.indexOf('protocol is not supported') > 0) ||
        (http_body.indexOf('Invalid URL') > 0)) {
        // выполняем команду UNDONE (не может быть выполнено)
        return 'UNDONE';
    }
    // если капча распознана неверно, то задание переносится на следующий цикл
    if (http_body.indexOf('Incorrect CAPTCHA code') > 0) return 'LOG    "Incorrect CAPTCHA code"';


Важно! Созраняем все файлы в кодировке UTF-8 без BOM.
Поздравляю! Ваш модуль готов к работе :beer:

Скачать готовый модуль Del URL Yandex.


--------------------


Поблагодарили: (2)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
TOBBOT
TOBBOT
Topic Starter сообщение 11.11.2015, 18:34; Ответить: TOBBOT
Сообщение #23


Частый гость
**

Группа: User
Сообщений: 80
Регистрация: 2.4.2015
Поблагодарили: 20 раз
Репутация:   5  


Добавлена функция SESSION: разрешает/запрещает потоку использовать текущую сессию (cookie + proxy) при работе над следующим заданием.
Добавлена функция VAR_SESSION: позволяет узнать кол-во выполненых заданий через текущую сессию.

Где же это может пригодится? При выполнении заданий где требуется предварительная авторизация, например:

Код
// проверка сессии: новая или старая
// а) если начата новая сессия, то идет авторизация в админку
// б) если продолжается старая, то этап авторизации пропускается
VAR_SESSION    sessions_counter
SCRIPT    if (sessions_counter > 0) return 'GOTO    "Already authorized"'

// авторизация в админку
URL_POST    "http://example.com/wp-login.php"
    "log", "admin"
    "pwd", "qwerty"
    "wp-submit", "Войти"
    "redirect_to", ""http://example.com/wp-admin/"
    "testcookie", "1"

LABEL    "Already authorized"

// устанавливаем флаг передачи текущей сессии в следующее задание
SESSION+

// выполнение работ внутри админки
//...
//...



Появилась новая версия модуля Add URL Yandex.
В работе модуля использованы функции конроля сессии, что позволило сократить расходы на капчу и увеличить скорость.



--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
KM_
KM_
сообщение 17.11.2015, 9:24; Ответить: KM_
Сообщение #24


Участник
***

Группа: User
Сообщений: 229
Регистрация: 23.8.2010
Поблагодарили: 75 раз
Репутация:   13  


Понадобилось массово заменить фотографии в опенкарте, ТС любезно сделал модуль за приемлемые деньги, теперь 3500 картинок сменил за 20 минут!


--------------------
Тексты для сайта беру тут, недорого и качественно


Поблагодарили: (1)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
TOBBOT
TOBBOT
Topic Starter сообщение 16.12.2015, 18:17; Ответить: TOBBOT
Сообщение #25


Частый гость
**

Группа: User
Сообщений: 80
Регистрация: 2.4.2015
Поблагодарили: 20 раз
Репутация:   5  


Новая версия программы TOBBOT 1.5.1

- Улучшен интерфейс программы.

- Протестирована совместимость программы TOBBOT с программой TOR. Чтобы запустить программу через TOR укажите в настройках прокси Settings > Proxy следующий адрес: 127.0.0.1:9150.

- В API функциях основные изменения связаны с уточнением кодировок чтения / записи, указанием типа переменных и работе с Cookie:

Код
// загрузить бинарный файл с аватаркой используя кодировку BASE64
CHARSET    "BASE64"
VAR_FILE    file_avatar, "D:/avatar.png"
TYPE_FILE    file_avatar, "BASE64", "avatar.png"

// отправить POST запрос на сервер (загрузить аватарку) в кодировке Windows-1251
CHARSET    "Windows-1251"
URL_POST_MULTIPART    "http://example.com/configure.php"
    "name", "Иванов Иван"
    "avatar", file_avatar
    "Submit", "Изменить аватар"


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
TOBBOT
TOBBOT
Topic Starter сообщение 6.1.2016, 16:13; Ответить: TOBBOT
Сообщение #26


Частый гость
**

Группа: User
Сообщений: 80
Регистрация: 2.4.2015
Поблагодарили: 20 раз
Репутация:   5  


Поздравляю всех вебмастеров с Новым годом и Рождеством!
И желаю вам:
Мгновенной индексации,
Отсутствия фильтрации,
Высокой конвертации,
За счет автоматизации!
:beer:


Вышла версия TOBBOT 1.6.1
  • Добавлены API функции HEADER и HEADER_DELETE, которые позволяют изменять заголовки HTTP запросов.
  • Добавлены API функции для работы с файлами и директориями: DIR, DIR_DELETE, FILE_DELETE, VAR_FILE_SIZE.
  • Добавлен бесплатный модуль Download File для массового скачивания файлов по ссылкам на них.
  • Добавлен бесплатный модуль Accounts Yandex для регистрации и проверки аккаунтов Яндекс.
  • Доработан бесплатный модуль Add URL Yandex.

Также опубликован план развития программы на 2016 год.
Ваша помощь и предложения приветствуются!


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
fac2man
fac2man
сообщение 28.1.2016, 15:30; Ответить: fac2man
Сообщение #27


Новичок
*

Группа: User
Сообщений: 15
Регистрация: 16.6.2013
Поблагодарили: 3 раза
Репутация:   0  


Интересное приложение! Интересно, возможно ли изготовить парсинг статей по ключевым словам с поиска и их вывод в текстовом формате?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
TOBBOT
TOBBOT
Topic Starter сообщение 28.1.2016, 16:21; Ответить: TOBBOT
Сообщение #28


Частый гость
**

Группа: User
Сообщений: 80
Регистрация: 2.4.2015
Поблагодарили: 20 раз
Репутация:   5  


fac2man, сделать можно. Больше ничего подсказать не могу, т.к. все зависит от нюансов задачи.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
TOBBOT
TOBBOT
Topic Starter сообщение 4.2.2016, 14:58; Ответить: TOBBOT
Сообщение #29


Частый гость
**

Группа: User
Сообщений: 80
Регистрация: 2.4.2015
Поблагодарили: 20 раз
Репутация:   5  


Вышла версия TOBBOT 1.7.1



Упрощен интерфейс. Удалено назойливое окно "Work stopped Is everything ok?" :rolleyes:

Добавлена API функция URL_REQUEST: позволяет выполнить запрос с любым методом: GET, POST, PUT, DELETE и др. Функция жизненно необходима при работе с RESTful сервисами работающими на AngularJS и аналогах.

Добавлены новые бесплатные модули:
  • LiveInternet Rating Parser - собрать БД сайтов рейтинга LiveInternet.
  • Google Suggests Parser - собрать поисковые подсказки для кейвордов (с подстановками).
  • Google Translate Files - автоматически перевести тектовые файлы (любого размера!) на другой язык.


Спасибо пользователю SZ, за разрешение вынести модули в общий доступ :beer:


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
TOBBOT
TOBBOT
Topic Starter сообщение 1.3.2016, 12:09; Ответить: TOBBOT
Сообщение #30


Частый гость
**

Группа: User
Сообщений: 80
Регистрация: 2.4.2015
Поблагодарили: 20 раз
Репутация:   5  


:popcorn2: В течение недели ожидается выход TOBBOT 2.0


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
4 страниц V  < 1 2 3 4 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Видеомаркетинг как инструмент развития интернет-магазина
9 PostBrigada 1747 Вчера, 17:52
автор: Letavica
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыБесплатно публикую Ваши новости на Newsland и СМИ2
возможна взаимовыручка (при желании)
434 albedo 117797 18.11.2017, 22:35
автор: treward
Открытая тема (нет новых ответов) Домены с Тиц 10 бесплатно!
3 Doktor11 496 17.11.2017, 23:47
автор: MrKIM
Горячая тема (нет новых ответов) Сими 4.0 – многофункциональный генератор трафика
Шаблон для Zennoposter/ZennoBox + Мануал + Бонусы
43 Monah 24711 9.11.2017, 18:52
автор: Monah
Горячая тема (нет новых ответов) Тема имеет прикрепленные файлыГемблинг партнерка CashPlanet и ее бородатые вебмастера
CashPlanet - ПП для русского азартного трафика
43 CashPlanet 8299 7.11.2017, 11:28
автор: CashPlanet


 



RSS Текстовая версия Сейчас: 22.11.2017, 22:32
Дизайн