Дата: 30.12.2015

Создание локального прокси-сервера по средствам UserGate 2.8.

С предварительной настройкой статических IP-адресов.

В этой части статьи, мы создаём классический локальный прокси-сервер для доступа в сеть Интернет компьютера подключённого к локальной сети (интернет-шлюз в локальной сети), за тем исключением, что наша сеть и компьютеры раздающие интернет виртуальные. Инструкция является универсальной и будет полезна тем, кто хочет присвоить адаптерам для любой локальной сети статические IP-адреса и\или настроить интернет-шлюз в локальной сети для раздачи интернета по средствам прокси-сервера.

Страница является независимой частью cтатьи
Делаем свой прокси-сервер для парсинга в Key Collector и прочих.

Вначале мы должны назначить нашим адаптерам статические IP-адреса.

Начнём с настройки компьютера, который будет подключаться к виртуальной ОС с прокси-сервером. Если у Вас Windows 7 - Windows 10, заходим через:

ПУСК – Панель управления – Сеть и интернет – Просмотр состояния сети – Изменение параметров адаптера.
ИЛИ
открываем любую папку и вставляем в адресную строку:
rundll32.exe shell32.dll,Control_RunDLL ncpa.cpl

Перед нами открылось окно «Сетевые подключения» со списком всех адаптеров, включая наши виртуальные. Выбираем адаптер, в нашем случае это VMware Network Adapter VMnet с нужным порядковым номером, кликаем правой кнопкой и выбираем в контекстном меню пункт Свойства. Перед нами открылось окно «свойства» нашего адаптера, выделяем пункт «Протокол Интернета версии 4 (TCP/IPv4)» и жмём кнопку Свойства. На открывшейся дополнительной вкладке переключаем радиокнопку на пункт «Использовать следующий IP-адрес».

Окно Сетевые подключения и порядок действий по присвоению статического IP-адреса

Теперь, для того чтобы ввести новый IP-адрес, смотрим адрес подсети для данного адаптера из «Редактор виртуальной сети…» VMware Worstation (или переходим к значку нашего адаптера и в открывающему правой кнопкой меню выбираем пункт «Состояние», далее Сведения и смотрим значение строки “Адрес IPv4”). Перед глазами у нас что-то типа 192.168.65.хх. В вашем подобном адресе мы меняем цифры после последней точки на 1. Было 192.168.65.хх, вместо хх стало 2. Вводим его в поле «IP-адрес». Это также адрес нашего компьютера, который мы должны будем ввести в UserGate, поэтому записываем его где-нибудь как IP пользователя этого адаптера. Теперь кликаем по полю «Маска подсети:» и оно автоматически (или вами) заполнится значением «255.255.255.0» нажимаем OK. Настройка данного компьютера окончена, мы записали или запомнили где посмотреть этот адрес.

Теперь переходим к настройке сетевого адаптера виртуального компьютера, который будет раздавать интернет.

В Windows XP нажимаем Пуск - Панель управления – Сетевые подключения.

Перед нами открылось окно «Сетевые подключения». Выбираем адаптер «подключение по локальной сети», кликаем правой кнопкой и выбираем в контекстном меню пункт Свойства. Перед нами открылось окно «Cвойства» нашего адаптера, выделяем пункт «Протокол Интернета версии 4 (TCP)» и жмём кнопку Свойства. Далее, аналогично Windows 7, на открывшейся дополнительной вкладке переключаем радиокнопку на пункт «Использовать следующий IP-адрес».

Порядок действий по присвоению статического IP-адреса в Windows XP

Вспоминаем, как смотреть IP-адрес сети из предыдущего пункта и при вводе в поле «IP-адрес» меняем цифры после последней точки на «2» или любую другую цифру отличную от тех, что мы указали на других компьютерах этой подсети. Итак, было что-то типа 192.168.65.хх, теперь вместо .хх стало .2. Этот адрес является адресом нашего прокси-сервера, нам останется только указать к нему порт в UserGate. Теперь кликаем по полю «Маска подсети:» и оно автоматически (или вами) заполнится значением «255.255.255.0», нажимаем кнопку [ОК].

На этом настройка операционных систем закончена, у нас есть полноценная локальная сеть, которую можно донастроить под стандартные цели мастерами Windows, однако для создания прокси-сервера нам понадобятся дополнительные действия, представленные далее.

Настройка UserGate 2.8

Когда у нас есть виртуальное локальное соединение, мы можем приступить к настройке программы прокси-сервера.

Перетаскиваем папку с программой UserGate 2.8 на рабочий стол виртуальной машины.

Устанавливаем через setup.exe и запускаем программу. В верхнем меню программы выбираем «Настройки», далее в левом меню дважды кликаем на вкладку «пользователи», появится подстрока «Default» (группа подключаемых пользователей по умолчанию), нажимаем на нее и в появившемся интерфейсе «Редактируем группу “Default”», нажимаем кнопку [Добавить].

создание прокси-сервера для локальной сети

В открывшемся окне в области «Авторизация» выбираем радиокнопку «ПО IP-адресу» и в поле «Логин (IP)» вводим IP-адрес указанный нами в адаптере компьютера, который будет подключаться через прокси сервер (т.е. IP того компьютера, что не с UserGate). После ввода адреса типа 192.168.16.1, нажимаем на зелёный значок сетевой платы справа от поля «Пароль (MAC)», сгенерируется числовое значение. Жмём [Применить].

настройки при созданим прокси-сервера для локальной сети в UserGate 2.8

Теперь переходим к настройке протокола нашего прокси. В нашем случае это HTTP протокол (если это не противоречит настройкам вашей программы, в которой указан тип SOCKS5 прокси-сервера). Выбираем пункт «HTTP» в боковом меню и в открывшемся интерфейсе ставим галочку напротив пункта «Разрешить HTTP», а в поле «Порты клиентов» оставляем значение «8080». Это порт нашего будущего прокси-сервера. Нажимаем [Применить]. выбор и настройка протокола при созданим прокси-сервера для локальной сети

Если вы используете 3G или Dial-UP модем, заключительным этапом настройки программы User Gate является настройка автодозвона в пункте бокового меню «Автодозвон».
В интерфейсе вкладки ставим галочку напротив «Разрешить автодозвон». Во всплывающем списке выбираем название соединения уже подключённого и настроенного модема. Если список пуст, то вам надо обеспечить автозапуск вашего соединения при помощи утилиты провайдера. В поле «Имя» и «Пароль», вводим значения, которые можно посмотреть на сайте оператора. Далее ставим галочку напротив «Проверять необходимость DialUp соединения», указываем задержку перед повторным соединением равную нулю, а время разрыва после простоя не менее 300 секунд. (чтобы соединение завершалось только после завершения парсинга, а не при кратковременных паузах и сбоях).

В заключение закрываем окно программы (она останется в трее) и удерживая ярлык программы переносим его в папку «Автозагрузка» через ПУСК – Все программы, чтобы программа стартовала вместе с системой.

Повторяем эти действия для каждого виртуального прокси-сервера.

На этом настройка нашего локального прокси-сервера для парсинга окончена! Теперь, зная адрес нашего прокси (указанный нами IP-адрес в настройках адаптера виртуального компьютера с UserGate) и адрес его порта: 8080 (для HTTP) мы можем ввести эти значения в любой программе, где можно указать прокси-сервер и наслаждаться дополнительным потоком!

К примеру, в Key Collector, на вкладке настроек «сеть» данные прокси-сервера будут выглядеть примерно так:

Если планируется активно использовать прокси-сервер несколько дней подряд или ресурсы компьютера сильно ограничены, имеет смысл отключать логирование в UserGate, для этого на вкладке «Монитор» нажимаем значок с красным крестиком. К сожалению, отключить эту функцию сразу и навсегда нельзя.

Для Key Collector необходимо также выполнить дополнительные действия, подключив основное соединение через прокси-сервер UserGate, т.к. по сложным причинам KC может начать работать в два потока с основного соединения, что приводит к увеличению запросов к ПС по одному потоку и появлению капчей. Это же поведение замечено в иных ситуациях, поэтому данный прием будет не лишним в любом случае. Дополнительным преимуществом является то, что мы получаем контроль над трафиком через монитор UserGate. Процесс установки схож с тем, что уже было описано выше: устанавливаем UserGate на основной системе, сразу добавляем в автозагрузку, свободно создаем пользователя и указываем ему в поле «логин (IP)» «127.0.0.1» (так называемый, «локальный хост»). Выбираем пункт «HTTP» в боковом меню и указываем в текстовом поле «порты клиентов» - 8081, те же данные указываем в KC, аналогично тому, как указываем для других прокси-серверов.
В завершении в настройках KC отключаем опцию «использовать основной IP» во всех видах парсинга.

FAQ: решение проблем:

Если прокси-сервер не заработает:

Прежде всего, важно понимать, что перед началом парсинга нужно дождаться инициализации нашей относительно медленной виртуальной машины, а также утилит обеспечивающих связь и их подключения к сети Интернет, иначе наш прокси может быть исключен из списка активных прокси серверов как нерабочий (в Key Collector).
Проверьте Интернет-соединение на виртуальной машине зайдя на любой сайт через Internet Explorer. При необходимости, включите Интернет-соединение в ручную, проверьте данные автодозвона. Если страницы открываются, зайдите на целевую страницу, чтобы убедиться в отсутствии бана по IP-адресу.
Если интернет отсутствует, проверьте локальную сеть сделав ping. Для этого, в поле «найти» (или «Выполнить» для Windows XP) введите «cmd» и в открывшемся окне терминала введите команду «ping 192.168.xx.xx», где 192.168.xx.xx это IP-адрес адаптера на том, другом компьютере. Если пакеты получены с обоих "компьютеров", значит настройки адаптеров верны и проблема в другом (например, нет соединения с сетью Интернет).
Проверьте правильность введённых в парсерах данные прокси-сервера, убедитесь что выбран тип прокси HTTP, а если указан SOCKS5 поменяйте его на HTTP или включите в User Gate поддержку SOCKS5, указав порт, который будет указан в UserGate на вкладке SOCKS5.
При использовании SIM-прокси убедитесь, что на виртуальной машине открыта (или в трее) его утилита, т.к. она держит порт модема открытым и позволяет работать автодозвону. В любом случае, включите модем через утилиту и проверьте нет ли проблем с автодозвоном и есть ли вообще доступ в Интернет в самой виртуальной машине.

Возврат к главной странице статьи:
Делаем свой прокси-сервер для парсинга в Key Collector и прочих.