Объект $harvestor. Безбраузерный сбор интернет страниц.
Объект $harvestor. Безбраузерный сбор интернет страниц.
Объект $harvestor. Безбраузерный сбор интернет страниц. https://xn--80awbbeioodeq4h3a.xn--p1ai/blog/работа- ... рный-сбор/
Re: Объект $harvestor. Безбраузерный сбор интернет страниц.
Объект как мне кажется получился сыроват, он не увеличил скорость сбора, и логика его использования в скрипте не очень понятна. Не удобно то что надо писать ссылки в файл. Задумка объекта хорошая, но надо его доработать.
1. Добавлять списки урлов прямо из скрипта в объект.
2. Возможность работы во многопточном режиме. Сейчас на сколько я понимаю объект работает иначе, так как времени уходит на обработку 10 урлов собранных из выдачи.
1. Добавлять списки урлов прямо из скрипта в объект.
2. Возможность работы во многопточном режиме. Сейчас на сколько я понимаю объект работает иначе, так как времени уходит на обработку 10 урлов собранных из выдачи.
Re: Объект $harvestor. Безбраузерный сбор интернет страниц.
Это всего лишь первая версия объекта. Далее по пожеланиям наших клиентов он будет доработан. Основной его плюс в том, что он отдаёт страницы с уже выполненным JS без отображения его в браузере. Таким образом, экономится время на загрузку этих страниц в браузере. Работа с урлами идёт не во многопотоке, но асинхронно, что тоже ускоряет работу с ними. По поводу, добавления урлов добавим нужный функционал в будущем.spaiker писал(а): ↑17 май 2018, 13:44Объект как мне кажется получился сыроват, он не увеличил скорость сбора, и логика его использования в скрипте не очень понятна. Не удобно то что надо писать ссылки в файл. Задумка объекта хорошая, но надо его доработать.
1. Добавлять списки урлов прямо из скрипта в объект.
2. Возможность работы во многопточном режиме. Сейчас на сколько я понимаю объект работает иначе, так как времени уходит на обработку 10 урлов собранных из выдачи.