Парсер VK по заданному запросу в поиске парсит очень мало

Автоматизация вконтакте, мой мир, одноклассники, фейсбук, твиттер.
Ответить
Munhgauzen
Сообщения: 38
Зарегистрирован: 03 мар 2013, 18:42

Парсер VK по заданному запросу в поиске парсит очень мало

Сообщение Munhgauzen » 19 июл 2014, 12:13

Вообщем выбрал я через поиск интересующий меня контингент аккаунтов для последующего парсинга.
Дописал выкусывание нужных мне id, но вот тут у меня возник вопрос. Интересующего меня контингента около миллиона, которые понятное дело
на одной странице не вмещаются, а динамически подгружаются в процессе скроллинга. Ок дописал также и скроллинг в результате на экране меняется список аккаунтов, когда же я смотрю cтраницу в HTML варианте - остаются первые 300-400 уников хотя в данный момент находимся где-то на 10000.
Вообщем парсит максимум первых 1000 уников.

Подскажите пожалуйста как заставить парсить всю выборку.

Спасибо.

nikson
Сообщения: 94
Зарегистрирован: 20 янв 2011, 02:36
Контактная информация:

Re: Парсер VK по заданному запросу в поиске парсит очень мал

Сообщение nikson » 19 июл 2014, 21:28

Как вариант расширяй критерии поиска, по нужному контингенту. Например перебор возраста - даты - месяца - дня рождения в нужном диапазоне, таким макаром спарсите всю выдачу.

Munhgauzen
Сообщения: 38
Зарегистрирован: 03 мар 2013, 18:42

Re: Парсер VK по заданному запросу в поиске парсит очень мал

Сообщение Munhgauzen » 20 июл 2014, 11:57

я понял, спасибо. Но это как бы танцы с бубном... Мб что лучшее посоветует кто?

nikson
Сообщения: 94
Зарегистрирован: 20 янв 2011, 02:36
Контактная информация:

Re: Парсер VK по заданному запросу в поиске парсит очень мал

Сообщение nikson » 20 июл 2014, 13:26

Даже не знаю, я на Human не делал парсер, когда он мне нужен был я делал на дескопе, через API вконтакте, парсит шустро, благодаря перебору выдираются все результаты.

Munhgauzen
Сообщения: 38
Зарегистрирован: 03 мар 2013, 18:42

Re: Парсер VK по заданному запросу в поиске парсит очень мал

Сообщение Munhgauzen » 21 июл 2014, 01:05

опробовал танцы с бубном, подробил нужные мне аккаунты по группам 300-400, результат неутешительный, парсит все равно половину т.е. должно спарсить 382, а парсит около 160.. Я новичок в работе с хуманом но все же не пойму, защита что ли у vk? Уже есть что и думать не знаю. Парсинг произвожу по id (выкусываю id нужные) мб они не у всех аккаунтов есть?

nikson
Сообщения: 94
Зарегистрирован: 20 янв 2011, 02:36
Контактная информация:

Re: Парсер VK по заданному запросу в поиске парсит очень мал

Сообщение nikson » 21 июл 2014, 09:41

Так вы парсите аккаунты через поиск или с групп?


Ответить