Вообщем выбрал я через поиск интересующий меня контингент аккаунтов для последующего парсинга.
Дописал выкусывание нужных мне id, но вот тут у меня возник вопрос. Интересующего меня контингента около миллиона, которые понятное дело
на одной странице не вмещаются, а динамически подгружаются в процессе скроллинга. Ок дописал также и скроллинг в результате на экране меняется список аккаунтов, когда же я смотрю cтраницу в HTML варианте - остаются первые 300-400 уников хотя в данный момент находимся где-то на 10000.
Вообщем парсит максимум первых 1000 уников.
Подскажите пожалуйста как заставить парсить всю выборку.
Спасибо.
Парсер VK по заданному запросу в поиске парсит очень мало
-
- Сообщения: 38
- Зарегистрирован: 03 мар 2013, 18:42
Re: Парсер VK по заданному запросу в поиске парсит очень мал
Как вариант расширяй критерии поиска, по нужному контингенту. Например перебор возраста - даты - месяца - дня рождения в нужном диапазоне, таким макаром спарсите всю выдачу.
-
- Сообщения: 38
- Зарегистрирован: 03 мар 2013, 18:42
Re: Парсер VK по заданному запросу в поиске парсит очень мал
я понял, спасибо. Но это как бы танцы с бубном... Мб что лучшее посоветует кто?
Re: Парсер VK по заданному запросу в поиске парсит очень мал
Даже не знаю, я на Human не делал парсер, когда он мне нужен был я делал на дескопе, через API вконтакте, парсит шустро, благодаря перебору выдираются все результаты.
-
- Сообщения: 38
- Зарегистрирован: 03 мар 2013, 18:42
Re: Парсер VK по заданному запросу в поиске парсит очень мал
опробовал танцы с бубном, подробил нужные мне аккаунты по группам 300-400, результат неутешительный, парсит все равно половину т.е. должно спарсить 382, а парсит около 160.. Я новичок в работе с хуманом но все же не пойму, защита что ли у vk? Уже есть что и думать не знаю. Парсинг произвожу по id (выкусываю id нужные) мб они не у всех аккаунтов есть?
Re: Парсер VK по заданному запросу в поиске парсит очень мал
Так вы парсите аккаунты через поиск или с групп?
-
- Сообщения: 38
- Зарегистрирован: 03 мар 2013, 18:42