Примеры парсеров (сборщиков, грабберов)

Сбор и анализ всего что можно собрать из сети.
Ответить
darmoed
Сообщения: 2
Зарегистрирован: 11 июл 2014, 23:11

Примеры парсеров (сборщиков, грабберов)

Сообщение darmoed » 19 окт 2017, 14:31

Хочу сделать скрипт, который будет собирать определённую информацию с сайта. Где лучше смотреть примеры парсеров с применением human emulator?

Аватара пользователя
Support
Site Admin
Сообщения: 1000
Зарегистрирован: 10 апр 2009, 17:45
Контактная информация:

Re: Примеры парсеров (сборщиков, грабберов)

Сообщение Support » 19 окт 2017, 17:59

Сборщик слов с Google.KeywordPlanner http://x-datas.bigfozzy.com/?p=340
Сборщик слов с Яндекс.Вордстат http://x-datas.bigfozzy.com/?p=334
СБОРЩИКИ, ПАРСЕРЫ, ГРАББЕРЫ http://www.x-scripts.com/scripts.php#parse
Как написать простой скрипт парсер на Human Emulator http://www.x-scripts.com/articles/how_parse.php

В этом уроке есть про парсер http://www.x-scripts.com/video/video10.php.
Только пролистать надо до 83 минуты, там в начале про постер рассказывают.

Видео пример как работает сборщик в human emulator https://www.youtube.com/watch?v=CfGoV93iAF4

Полезный объект $harvestor. Безбраузерный сбор интернет страниц. Про этот объект можно прочитать в нашем блоге

darmoed
Сообщения: 2
Зарегистрирован: 11 июл 2014, 23:11

Re: Примеры парсеров (сборщиков, грабберов)

Сообщение darmoed » 19 окт 2017, 21:25

Спасибо. А можно ли делать парсинг с помощью GET и POST запросов? И есть ли примеры?

Аватара пользователя
Support
Site Admin
Сообщения: 1000
Зарегистрирован: 10 апр 2009, 17:45
Контактная информация:

Re: Примеры парсеров (сборщиков, грабберов)

Сообщение Support » 19 окт 2017, 21:44

Да можно. Отправляем запрос в GET или POST виде с помощью функций $browser->send_get_query или $browser->send_post_query и разбираем полученный результат. Также можно для разбора использовать PHP функцию file_get_contents или $webpage->load_web_page. Эти функции грузят страницы без отображения в браузере, но такой вариант подходит если нужная для разбора информация не подгружается JS скриптами после загрузки страницы в браузере.

Ответить