Объект $harvestor. Безбраузерный сбор интернет страниц.

Обсуждение статей из нашего блога
Ответить
Аватара пользователя
Support
Site Admin
Сообщения: 1000
Зарегистрирован: 10 апр 2009, 17:45
Контактная информация:

Объект $harvestor. Безбраузерный сбор интернет страниц.

Сообщение Support » 26 апр 2018, 19:44

Объект $harvestor. Безбраузерный сбор интернет страниц. https://xn--80awbbeioodeq4h3a.xn--p1ai/blog/работа- ... рный-сбор/

Аватара пользователя
spaiker
Сообщения: 33
Зарегистрирован: 14 сен 2017, 02:01

Re: Объект $harvestor. Безбраузерный сбор интернет страниц.

Сообщение spaiker » 17 май 2018, 13:44

Объект как мне кажется получился сыроват, он не увеличил скорость сбора, и логика его использования в скрипте не очень понятна. Не удобно то что надо писать ссылки в файл. Задумка объекта хорошая, но надо его доработать.

1. Добавлять списки урлов прямо из скрипта в объект.
2. Возможность работы во многопточном режиме. Сейчас на сколько я понимаю объект работает иначе, так как времени уходит на обработку 10 урлов собранных из выдачи.

Аватара пользователя
Support
Site Admin
Сообщения: 1000
Зарегистрирован: 10 апр 2009, 17:45
Контактная информация:

Re: Объект $harvestor. Безбраузерный сбор интернет страниц.

Сообщение Support » 17 май 2018, 13:54

spaiker писал(а):
17 май 2018, 13:44
Объект как мне кажется получился сыроват, он не увеличил скорость сбора, и логика его использования в скрипте не очень понятна. Не удобно то что надо писать ссылки в файл. Задумка объекта хорошая, но надо его доработать.

1. Добавлять списки урлов прямо из скрипта в объект.
2. Возможность работы во многопточном режиме. Сейчас на сколько я понимаю объект работает иначе, так как времени уходит на обработку 10 урлов собранных из выдачи.
Это всего лишь первая версия объекта. Далее по пожеланиям наших клиентов он будет доработан. Основной его плюс в том, что он отдаёт страницы с уже выполненным JS без отображения его в браузере. Таким образом, экономится время на загрузку этих страниц в браузере. Работа с урлами идёт не во многопотоке, но асинхронно, что тоже ускоряет работу с ними. По поводу, добавления урлов добавим нужный функционал в будущем.

Аватара пользователя
spaiker
Сообщения: 33
Зарегистрирован: 14 сен 2017, 02:01

Re: Объект $harvestor. Безбраузерный сбор интернет страниц.

Сообщение spaiker » 17 май 2018, 14:01

Support писал(а):
17 май 2018, 13:54
Работа с урлами идёт не во многопотоке, но асинхронно, что тоже ускоряет работу с ними.
Вот это думаю ключевой момент, объект будет более полезен если будет работать во многопоточном режиме.

Ответить