Показать сообщение отдельно
  #17 (permalink)  
Старый 26.01.2018, 19:27
Аспирант
Отправить личное сообщение для eugenk Посмотреть профиль Найти все сообщения от eugenk
 
Регистрация: 14.05.2013
Сообщений: 47

Выкладываю решение для proxyrotator.com.
У Вас должен быть установлен jupyter и библиотека BeautifulSoup. Всё остальное всегда есть в любом питоньем дистре. Самый лучший питон (во всяком случае мой любимый) - Anaconda. Там всё есть искароппки
Распаковываете архив. Заходите в каталог с распакованными файлами. В консоли вводите jupyter notebook. В открывшемся окне браузера кликаете по файлу proxyrotator.ipynb.

Внимание ! Главная функция проекта - getProxyList. Мне нужно сканировать сайт избиркома. Поэтому в ней задан соответствующий проверочный URL и алгоритм проверки содержимого странички. Вы для использования должны заменить его на URL сайта, с которым хотите работать и прописать соответствующий алгоритм проверки содержимого странички.

Решение для hidemy.name выложу позже. Оно появилось только сегодня. И похоже этот сервис предпочтительнее. Хотя подробно пока не проверял. Я только-только получил с него рабочий html.
Вложения:
Тип файла: zip proxyrotator.zip (13.0 Кб, 3 просмотров)

Последний раз редактировалось eugenk, 26.01.2018 в 19:30.
Ответить с цитированием