Javascript.RU

Создать новую тему Ответ
 
Опции темы Искать в теме
  #11 (permalink)  
Старый 26.01.2018, 07:28
Аспирант
Отправить личное сообщение для eugenk Посмотреть профиль Найти все сообщения от eugenk
 
Регистрация: 14.05.2013
Сообщений: 47

Сообщение от laimas Посмотреть сообщение
alert('b' + 'a' + + 'a' + 'a')


https://habrahabr.ru/company/mailru/blog/335292/
Нда... Вот почему в разработке я javascript и не использую... Слишком много он позволяет и слишком трудно это контролировать. Когда только-только начинал, попробовал на нём писать, и на третьей тысяче строк кода проекта сдался. Слава богу на этом форуме мне посоветовали typescript. А сейчас перешел на scala.js. Потрясающая вещь ! Позволяет все функциональные штучки-дрючки, за которые публика любит javascript, но при этом строгая статическая типизация с выводом типов и прекрасная контролируемость проекта. Единственный недостаток - очень тяжелая IDE - JetBrains Idea.
Ответить с цитированием
  #12 (permalink)  
Старый 26.01.2018, 15:21
Аспирант
Отправить личное сообщение для eugenk Посмотреть профиль Найти все сообщения от eugenk
 
Регистрация: 14.05.2013
Сообщений: 47

Эх мля ! Как говорится давно не брал карт в руки... До утра сидел ффтыкал на странный ответ сервера, который вроде как html, но на самом деле бинарный, причём ни на что знакомое не похожий. И только под утро Соколиный Глаз заметил, что у сарая стены нет Иными словами что ответ сжат методом brotli. В заголовке у меня было Accept-Encoding: gzip, deflate, br. Убрал оттуда br и ответ стал в лучшем виде приходить как чистый html. А там все нужные прокси. Если кому-то надо получать на халяву прокси с сервиса hidemy.name, отпишитесь сюда. Выложу скрипт. Правда на питоне, но на node.js при желании думаю перетащит каждый. Просто не моя технология, потому сорри. Ещё умею получать на халяву прокси с proxyrotator.com. Но hidemy.name лучше. Там можно задавать множество параметров поиска. Да и кода получается существенно меньше. Вобщем кто заинтересован, пишите, всё выложу.
Ответить с цитированием
  #13 (permalink)  
Старый 26.01.2018, 15:51
Профессор
Отправить личное сообщение для Nexus Посмотреть профиль Найти все сообщения от Nexus
 
Регистрация: 04.12.2012
Сообщений: 3,791

На прошлой неделе на php писал скрипт, который с какого-то забугорного сайта 4.5к прокси тащил и сортировал по уровню анонимности.
Ответить с цитированием
  #14 (permalink)  
Старый 26.01.2018, 15:58
Аспирант
Отправить личное сообщение для eugenk Посмотреть профиль Найти все сообщения от eugenk
 
Регистрация: 14.05.2013
Сообщений: 47

Сколько у меня в К не скажу, я работаю в jupyter notebook, там с этим сложно. Для hidemy.name у меня получилось 80 строк на питоне, для proxyrotator.com 154. Вобщем полезная приблудина. Мне нужно парсить здоровенный сайт, на котором ограничение 2 потока с одного ip-адреса. По моим подсчетам, если по-тупому, времени займёт около недели. А проксей можно включить сколько угодно. Так что думаю справляться часов за 5-6.
Ответить с цитированием
  #15 (permalink)  
Старый 26.01.2018, 16:36
Интересующийся
Отправить личное сообщение для diablopc Посмотреть профиль Найти все сообщения от diablopc
 
Регистрация: 16.01.2018
Сообщений: 12

eugenk,
Nexus,
Выкладывайте оба, если не жалко
Чего-чего, а проксей всегда мало
Ответить с цитированием
  #16 (permalink)  
Старый 26.01.2018, 17:40
Аспирант
Отправить личное сообщение для eugenk Посмотреть профиль Найти все сообщения от eugenk
 
Регистрация: 14.05.2013
Сообщений: 47

diablopc, У Вас jupyter есть ? Если нет, поставьте пакет Anaconda. Я буду выкладывать в виде ноутбуков для jupyter. По-моему гораздо более удобный формат чем обычный исходник. Распаковываете архив, входите в каталог с файлами и запускаете в консоли jupyter notebook. В броузере открывается окно в котором отображено содержимое каталога. кликаете по нужному файлу с расширением ipynb и он открывается в новом окне броузера. Сейчас выложу для proxyrotator.com. Для hidemy.name надо немного допилить напильником, я его сделал только сегодня.
Ответить с цитированием
  #17 (permalink)  
Старый 26.01.2018, 19:27
Аспирант
Отправить личное сообщение для eugenk Посмотреть профиль Найти все сообщения от eugenk
 
Регистрация: 14.05.2013
Сообщений: 47

Выкладываю решение для proxyrotator.com.
У Вас должен быть установлен jupyter и библиотека BeautifulSoup. Всё остальное всегда есть в любом питоньем дистре. Самый лучший питон (во всяком случае мой любимый) - Anaconda. Там всё есть искароппки
Распаковываете архив. Заходите в каталог с распакованными файлами. В консоли вводите jupyter notebook. В открывшемся окне браузера кликаете по файлу proxyrotator.ipynb.

Внимание ! Главная функция проекта - getProxyList. Мне нужно сканировать сайт избиркома. Поэтому в ней задан соответствующий проверочный URL и алгоритм проверки содержимого странички. Вы для использования должны заменить его на URL сайта, с которым хотите работать и прописать соответствующий алгоритм проверки содержимого странички.

Решение для hidemy.name выложу позже. Оно появилось только сегодня. И похоже этот сервис предпочтительнее. Хотя подробно пока не проверял. Я только-только получил с него рабочий html.
Вложения:
Тип файла: zip proxyrotator.zip (13.0 Кб, 3 просмотров)

Последний раз редактировалось eugenk, 26.01.2018 в 19:30.
Ответить с цитированием
  #18 (permalink)  
Старый 28.01.2018, 03:46
Аспирант
Отправить личное сообщение для eugenk Посмотреть профиль Найти все сообщения от eugenk
 
Регистрация: 14.05.2013
Сообщений: 47

Хотел выложить решение для hidemy.name, однако почему-то файл не прицепился. Поэтому кому тема интересна, добро пожаловать на гитхаб https://github.com/Karabass-Barabass/FreeProxy

Последний раз редактировалось eugenk, 28.01.2018 в 04:31. Причина: Не прицепился файл
Ответить с цитированием
Ответ



Опции темы Искать в теме
Искать в теме:

Расширенный поиск


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Генератор случайных чисел без повторений в последующих генерациях Samik Общие вопросы Javascript 14 12.03.2023 00:35
НОД более чем 2-х чисел Demath Общие вопросы Javascript 4 06.01.2013 05:27
Работа с последовательностью натуральных чисел Stillife Общие вопросы Javascript 1 18.05.2011 20:03
Очень странная крос браущзерность. socengel jQuery 4 02.03.2011 19:46
Сложение чисел очень важно исправьте ошибки плиз Хранитель Света Общие вопросы Javascript 9 24.10.2010 23:36