Делаем свой прокси-сервер для парсинга в Key Collector и прочих.

Статья будет актуальна для тех, кто хочет подключить и использовать два и более Интернет-соединения одновременно на одном компьютере, указав этот прокси в торрент менеджере, браузере и другом софте поддерживающим подключение Proxy серверов, а также тем, кто хочет повысить безотказность связи с Интернетом на рабочем месте.

Каждый кто использовал прокси-серверы для парсинга сталкивался с проблемами и неприятностями связанными с их работой. В современных реалиях затраты на поиск рабочего прокси в недорогом ценовом сегменте могут стать выше, чем аренда одного дорогого прокси, на покупку которого Вы не решились сразу. Кроме того, многие компании сдающие недорогие прокси серверы в аренду добирают прибыль продавая результаты вашего парсинга в различные базы. Поэтому пришло время сделать себе парочку собственных hand made прокси для SEO!

В статье описан способ создания и настройки прокси для парсинга с использованием одного ПК на Windows и нескольких USB-модемов (3G, 4G, ADSL, Wi-Fi к роутеру, Dial-Up и тому подобное). При хорошем канале связи, такой локальный прокси будет намного быстрее любого другого и дело тут не в пропускной способности канала, а в том, что он не будет тратить время на перенаправление трафика с сервера, а его ГЕО локация и другие факторы, будет более естественными, что также позволит снизить таймауты. Кроме того, IP-адреса обычно динамические и после блокировки по IP-адресу достаточно перезапустить роутер а не покупать новый proxy. Да и основное соединение будет работать быстрее.

Нескольких экономичных вариантов с регистрацией на частное лицо:

Для Москвы, можно выбрать интернет-тариф от МГТС за 150 руб в месяц и получить вечный первосортный прокси без дальнейших приключений.

Другой вариант - проводной АКАДО на одно устройство - 300 рублей (как основное подключение) и подключение через USB устройство к любому другому поставщику Интернет-услуг.

Дружите с соседями, а соседи дружат с Wi-Fi?
Получите свои прокси!

SIM-прокси! Т.е. мы используем для парсинга модемы мобильных операторов, желательно 4G. Себестоимость равняется стоимости трафика. Это где-то 300 рублей в месяц при круглосуточном парсинге. Можно задействовать свой смартфон или планшет с функцией USB-модема на правах «турбо кнопки», а остаток пакетов тратить в своё удовольствие. Получается вообще бесплатный прокси. Также мобильный канал можно держать про запас, на случай отказа одного из обычных прокси в Key Collector (режим отвязки аккаунта от прокси при его неполадках).

для стабильной связи в любое время суток кроме ночи желателен усилитель сигнала, особенно в ЮЗАО Москвы из-за большого количества РЛС,
нельзя использовать несколько симок одного оператора при парсинге т.к. мобильные IP-адреса серые, иначе говоря могут быть одинаковыми в глазах сайтов,
мобильный интернет не любит параллельный съем поисковых подсказок в Кей Коллекторе с другими источниками (слишком маленькие таймауты).
все что ниже 4G может сильно тормозить в вечерние часы.

На всякий случай стоит еще раз отдельно прояснить, что для каждого соединения понадобится Wi-Fi-адаптер типа "USB-флешка" или USB-модем любого типа (включая работающий как модем мобильный телефон подключенный к компьютеру через USB и к сети Интернет через 4G и тп или Wi-Fi). Основное соединение желательно сделать через сетевой кабель, что на прямую повысит безотказность связи в часы нестабильной работы беспроводных каналов связи в городских районах.

Сложность реализации таких, казалось бы, простых решений в том, что ОС семейства Windows просто не способны распределять трафик от нескольких активных соединений! Поэтому я расскажу вам о создании локальных прокси-серверов в маломощных виртуальных машинах внутри вашего Windows, которые позволят обойти это ограничение. К каждому такому виртуальному ПК будет подключаться модем через монопольно зарезервированный у основной системы USB-порт . Мы настроим виртуальную локальную сеть и сможем передавать по ней трафик через созданный программой UserGate интернет-шлюз (он же локальный прокси-сервер), адрес и порт которого укажем в настройках нужных программ.
Схема создания прокси-сервера при помощи USB-модема и виртуальной машины

Мы подробно разберем создание прокси-сервера на примере подключения 3G USB-модемов, как самого удобного способа получения рабочих Proxy, однако способ подойдет и для любых других типов USB-модемов, включая Wi-Fi и телефоны с поддержкой данной функции.

Итак, приступим!

Для организации домашних прокси серверов на Windows нам понадобится только две программы: VMware Workstation – программа, создающая виртуальную систему и локальный прокси-сервер UserGate, который будет установлен на каждую виртуальную машину.

Стоит отметить, что возможность подключения Интернет-устройств к виртуальной машине присутствует только в VMware Workstation, остальные программы виртуальных машин, такие как Virtual PC и VirtualBox не способны подключаться к сети через физическое устройство самостоятельно, в том числе и через USB модемы. Поэтому лучшей виртуальной машиной для Windows является VMware, с которой мы и будем работать далее.

Я использовал VMware Workstation v9.0.2 Build 1031769 Lite + VMware-tools 9.2.3 и самую стабильную версию UserGate 2.8. VMware Workstation должна быть не ниже версии 9.0 и обязательно с пакетом VMware-tools, который повышает производительность виртуальных машин. Незабываем про руссификаторы.

Теперь, когда общие вопросы решены, мы можем перейти к поэтапному выполнению настройки: