Поиск дроп-доменов

WebBear

Прокси - Глобальные настройки

Прокси в первую очередь введены для парсинга ВебАрхива. Раньше архив позволял парсить себя нон-стопом в 40 потоков, а сейчас 3 подряд запроса (даже не параллельных, а по-очереди) уже выписывают блок на 10-20 секунд. Потому, если работать с 1-2 тысячами ключей в каждом проекте, прокси нужны для скорости.

Добавление проксей

Поддерживаются как http(s)-прокси, так и socks5. Чтобы софт мог их различить, запись должна иметь определенный формат. Если кратко, то в соксах разделить в середине знак @, а у хтпп - двоеточие. Примеры ниже.

http(s) ip:port только айпи и порт, разделитель двоеточие
http(s) ip:port:логин:пароль с авторизацией. Четыре двоеточия в строке
socks5 ip@port только айпи и порт, разделитель собака
socks5 ip:port@логин:пароль с авторизацией. Два двоеточия в строке и одна собака. IP и порт разделяются двоеточием, потом собака, потом логин и пароль разделяются двоеточием

По-умолчанию, дубли проксей (по айпи и порту) игнорируются. Но если у вас динамичные прокси (где при каждом запросе меняется реальный ip), то поставьте под формой добавления галочку на чекбокс "Разрешить дубли".

Проверка проксей

Чтобы прокси пошли в работу, их нужно проверить. После добавления нажимаем в меню ссылку проверить, после чего проверка стартанет. Будет попытка открыть архив через каждую прокси, тайм-аут соединения 20 секунд. Если ответ 200, то прокси получает статус "Живая" и с ней можно работать. В ином случае, получает пометку "Мертвая". Мертвые можно либо отправить на повторную проверку (но статус будет сброшен у всех проксей и проверка начнется с нуля), либо удалить её из списка.