Selenium Chrome ошибки и анонимность

вопросы связанные с работой версии с Chromium
Misha
Сообщения: 102
Зарегистрирован: 22 июл 2019, 19:31

Selenium Chrome ошибки и анонимность

Сообщение Misha » 11 окт 2021, 17:59

Мне очень понравилась модель браузера Selenium Chrome, работает быстрее, не зависает, хочу перевести все свои скрипты на эту модель.
В данной ветке буду публиковать ошибки и пожелания.
Доведите, пожалуйста, "до ума" эту модель, чтобы можно было переехать.

1. Смена JA3 SSL Fingerprint, через профили.
У меня все настройки хранятся в профилях, добавьте, пожалуйста, такую возможность.

2. При открытии новой вкладки через $browser->add_tab(1), заново приходиться авторизовываться, куки из 1-й вкладки не подтягиваются.
В настройках выключены "изолированные вкладки".

3. В настройках стоит запрет определения геолокации, но на сайтах она активна.

Аватара пользователя
bigfozzy
Site Admin
Сообщения: 3047
Зарегистрирован: 28 июл 2008, 17:24
Контактная информация:

Re: Selenium Chrome ошибки и анонимность

Сообщение bigfozzy » 11 окт 2021, 21:41

Принято, но будет сделано чуть позже. (через неделю - две где-то). Сейчас работаем над улучшением компьютерного зрения. Будут полезные новые возможности по капчам и не только.

Аватара пользователя
bigfozzy
Site Admin
Сообщения: 3047
Зарегистрирован: 28 июл 2008, 17:24
Контактная информация:

Re: Selenium Chrome ошибки и анонимность

Сообщение bigfozzy » 14 окт 2021, 10:56

1 и 3 cделали

Misha
Сообщения: 102
Зарегистрирован: 22 июл 2019, 19:31

Re: Selenium Chrome ошибки и анонимность

Сообщение Misha » 14 окт 2021, 19:12

bigfozzy писал(а):
14 окт 2021, 10:56
1 и 3 cделали
Спасибо, проверил, все работает.
Буду постепенно добавлять новые пункты.

4. В WebGL не меняются Unmasked Vendor и Unmasked Renderer.

5. Куки не сохраняются в указанную папку.

6. Клавиша Enter вместо отправки формы, прописывает "1" в поле ввода.


Попытался запустить свои скрипты, не сработал скроллинг страницы и др.
Видимо вы еще не подключали основной функционал?
Еще заметил, что во время выполнения скрипта, сильно тормозит курсор мыши, когда я им управляю.

Misha
Сообщения: 102
Зарегистрирован: 22 июл 2019, 19:31

Re: Selenium Chrome ошибки и анонимность

Сообщение Misha » 14 окт 2021, 20:17

Хотел пока на Chromium поменять SSL Fingerprint, но что-то не получается.
Нужно брать список кодов из блока "Cipher Suites"?
Перезагружать браузер не нужно? Пробовал, слетают же все настройки, приходится заново загружать профиль.

Аватара пользователя
bigfozzy
Site Admin
Сообщения: 3047
Зарегистрирован: 28 июл 2008, 17:24
Контактная информация:

Re: Selenium Chrome ошибки и анонимность

Сообщение bigfozzy » 14 окт 2021, 20:26

Для хромиум нужен рестарт, а профиль при страте можно задавать через ключ командной строки /default_profile_path:"path" , или через расширенные настройки браузера.
Да, список кодов берется из Cipher Suites. (только там не все влияют на Fingerprint)

Аватара пользователя
bigfozzy
Site Admin
Сообщения: 3047
Зарегистрирован: 28 июл 2008, 17:24
Контактная информация:

Re: Selenium Chrome ошибки и анонимность

Сообщение bigfozzy » 14 окт 2021, 20:31

Спасибо - принято будем исправлять
Еще заметил, что во время выполнения скрипта, сильно тормозит курсор мыши, когда я им управляю.
Пока можно отключить в настройках на вкладке Скрипты- "отслеживать позицию мыши в строке статуса" и на вкладке Редактор - "Заменять контекстное меню сайта". Дальше будем разбираться как это сделать лучше.
Видимо вы еще не подключали основной функционал?
Функционал подключили - но еще не весь протестировали до конца + еще все будем проверять. По скролингу - возможно нужно паузы добавить перед ним. Еще посмотрим конкретно - но если будут простые примеры - то кидайте - будем по ним ориентироваться.

Аватара пользователя
bigfozzy
Site Admin
Сообщения: 3047
Зарегистрирован: 28 июл 2008, 17:24
Контактная информация:

Re: Selenium Chrome ошибки и анонимность

Сообщение bigfozzy » 14 окт 2021, 21:51

В WebGL не меняются Unmasked Vendor и Unmasked Renderer.
А подскажите через как вы проверяли ? Этот код его меняет.
echo "1. Зададим генерировать случайный WebGL fingerprint: ";
echo $browser->set_random_webgl_fingerprint(true,"123456","123456789012345678901234567890",
"New Unmasked Vendor","New Unmasked Renderer",
"New GL Version","New Shading Version","New Vendor","New Renderer"
)."\n";

// 2 
echo "2 Перейдем на страницу для детектирвоания браузера : ";
echo $browser->navigate("https://browserleaks.com/webgl")."<br>";
$td->set_focus_by_inner_text("WebGL Report Hash", false);
sleep(4);

// 3
echo "3. Отключим рандомный WebGL fingeprint: ";
echo $browser->set_random_webgl_fingerprint(false)."<br>";

// 4 
echo "4. Перейдем на страницу для детектирвоания браузера : ";
echo $browser->navigate("https://browserleaks.com/webgl")."<br>";
$td->set_focus_by_inner_text("WebGL Report Hash", false);
Вложения
sc1.jpg
sc1.jpg (160.47 КБ) 1472 просмотра

Аватара пользователя
bigfozzy
Site Admin
Сообщения: 3047
Зарегистрирован: 28 июл 2008, 17:24
Контактная информация:

Re: Selenium Chrome ошибки и анонимность

Сообщение bigfozzy » 14 окт 2021, 22:06

6. Клавиша Enter вместо отправки формы, прописывает "1" в поле ввода.
по клавишам все вроде тоже работает, проверяли так:
$browser->navigate("http://humanemulator.net/poligon/form.html");
$input->send_keyboard_input_by_number(1,"\n", "20:40");

$app->pause(0);

$browser->navigate("http://humanemulator.net/poligon/form.html");
$input->get_by_number(1)->send_key_down(13,false);




Аватара пользователя
bigfozzy
Site Admin
Сообщения: 3047
Зарегистрирован: 28 июл 2008, 17:24
Контактная информация:

Re: Selenium Chrome ошибки и анонимность

Сообщение bigfozzy » 14 окт 2021, 22:54

5. Куки не сохраняются в указанную папку.
Исправлено, обновлено

Misha
Сообщения: 102
Зарегистрирован: 22 июл 2019, 19:31

Re: Selenium Chrome ошибки и анонимность

Сообщение Misha » 15 окт 2021, 13:26

bigfozzy писал(а):
14 окт 2021, 21:51
В WebGL не меняются Unmasked Vendor и Unmasked Renderer.
А подскажите через как вы проверяли ? Этот код его меняет.
echo "1. Зададим генерировать случайный WebGL fingerprint: ";
echo $browser->set_random_webgl_fingerprint(true,"123456","123456789012345678901234567890",
"New Unmasked Vendor","New Unmasked Renderer",
"New GL Version","New Shading Version","New Vendor","New Renderer"
)."\n";

// 2 
echo "2 Перейдем на страницу для детектирвоания браузера : ";
echo $browser->navigate("https://browserleaks.com/webgl")."<br>";
$td->set_focus_by_inner_text("WebGL Report Hash", false);
sleep(4);

// 3
echo "3. Отключим рандомный WebGL fingeprint: ";
echo $browser->set_random_webgl_fingerprint(false)."<br>";

// 4 
echo "4. Перейдем на страницу для детектирвоания браузера : ";
echo $browser->navigate("https://browserleaks.com/webgl")."<br>";
$td->set_focus_by_inner_text("WebGL Report Hash", false);
В эти поля, должна выводиться модель видеокарты, а не Vendor
Изображение

Misha
Сообщения: 102
Зарегистрирован: 22 июл 2019, 19:31

Re: Selenium Chrome ошибки и анонимность

Сообщение Misha » 15 окт 2021, 13:28

bigfozzy писал(а):
14 окт 2021, 20:26
Для хромиум нужен рестарт, а профиль при страте можно задавать через ключ командной строки /default_profile_path:"path" , или через расширенные настройки браузера.
Да, список кодов берется из Cipher Suites. (только там не все влияют на Fingerprint)
Подскажите, пожалуйста, как это сделать.
Вот моя функция загрузки профилей:

Код: Выделить всё

function load_prof($tab){
    global $browser,$path_prog;
    $arr_path_cook = explode("\\",$browser->get_cookies_folder()); 

    if($arr_path_cook[5] != "Cookies" || (int)preg_replace('~\D+~','', $arr_path_cook[6]) != $tab){
	   dbg("Загрузили профиль №".$tab);  
	   $browser->load_profile($path_prog."Cookies\\cook".$tab."\\cook".$tab.".json");
    }
}

Misha
Сообщения: 102
Зарегистрирован: 22 июл 2019, 19:31

Re: Selenium Chrome ошибки и анонимность

Сообщение Misha » 15 окт 2021, 13:32

bigfozzy писал(а):
14 окт 2021, 20:31
Спасибо - принято будем исправлять
Еще заметил, что во время выполнения скрипта, сильно тормозит курсор мыши, когда я им управляю.
Пока можно отключить в настройках на вкладке Скрипты- "отслеживать позицию мыши в строке статуса" и на вкладке Редактор - "Заменять контекстное меню сайта". Дальше будем разбираться как это сделать лучше.
Видимо вы еще не подключали основной функционал?
Функционал подключили - но еще не весь протестировали до конца + еще все будем проверять. По скролингу - возможно нужно паузы добавить перед ним. Еще посмотрим конкретно - но если будут простые примеры - то кидайте - будем по ним ориентироваться.
Спасибо, проверю.

Вот моя функция скроллинга:

Код: Выделить всё

$type_cur = array("line","curve","readtext","circle");

function scroll_bottom($concur=false){
	global $mouse,$browser,$type_cur;

	$page_height = $browser->get_page_height();
	$window_height = $browser->get_window_height();
	$bottom_screen = $page_height-$window_height;

	for($i=0;$i<=30;$i++){
		if($concur){
			$rnd = rand(1000,500000);
		}
		else{
			$rnd = rand(500000,1000000);
			if(rand(1,5) == 1){
				$x = $mouse->get_x(true);
				$y = $mouse->get_y(true);
				$mouse->send_move_to($x+rand(-30,30),$y+rand(-30,30),$type_cur[rand(0,2)],rand(100,700));
			}
		}

		usleep($rnd);
		$mouse->send_wheel(-rand(1,5),$mouse->get_x(true), $mouse->get_y(true));
		if($browser->get_vertical_scroll_pos() >= $bottom_screen-30){
			break;
		}
	}

	dbg("Проскроллили страницу вниз");
}

Misha
Сообщения: 102
Зарегистрирован: 22 июл 2019, 19:31

Re: Selenium Chrome ошибки и анонимность

Сообщение Misha » 15 окт 2021, 13:34

bigfozzy писал(а):
14 окт 2021, 22:06
6. Клавиша Enter вместо отправки формы, прописывает "1" в поле ввода.
по клавишам все вроде тоже работает, проверяли так:
$browser->navigate("http://humanemulator.net/poligon/form.html");
$input->send_keyboard_input_by_number(1,"\n", "20:40");

$app->pause(0);

$browser->navigate("http://humanemulator.net/poligon/form.html");
$input->get_by_number(1)->send_key_down(13,false);



У меня используется эта команда - $keyboard->send_key(VK_ENTER);

Misha
Сообщения: 102
Зарегистрирован: 22 июл 2019, 19:31

Re: Selenium Chrome ошибки и анонимность

Сообщение Misha » 15 окт 2021, 17:09

Еще в последней версии Chromium не работает прокси socks5 загруженное из профиля.
Но если после загрузки профиля зайти в Сервис - Настройка и нажать Ок, то прокси включается.
Откатился на старую версию, в ней работает.

Ответить