Форум

karaul · #31 (**permalink**) 08.03.2021, 17:19

Надо чтото вроде

xhr.setRequestHeader("X-CSRFToken", csrftoken);

но где взять этот csrftoken ?

С другой стороны, если внешний сайт мне посыоает данные, csrftoken уже есть где-то

voraa · #32 (**permalink**) 08.03.2021, 17:36

Я думаю не получится считать файл, если страница берется с локального компьютера используя XMLHttpRequest или fetch.
Там идет проверка протоколов по которым получена страница. А если она локальная (from origin 'null'), то у нее нет протокола и он никогда не будет действительным и подходящим .
То, что она считывается браузером при указании в адресной строке - это совсем другое. Там таких проверок нет. Также как и при считывание с помощью <script>

karaul · #33 (**permalink**) 08.03.2021, 19:33

Спасибо за ответ. Он укрепил мою уверенность что я рою в верном направлении

В итоге нарыл пакет на питоне для соединения с гарминовским сайтом и закачки файлов - т.е. пакет делает то что мне надо. Для закачки он использует тот же URL
https://github.com/petergardfjall/garminexport

при запуске пакета сначала идет авторизация, потом там есть код типа

def _get_csrf_token(self):
        """Retrieves a Cross-Site Request Forgery (CSRF) token from Garmin's login
        page. The token is passed along in the login form for increased
        security."""
        log.info("fetching CSRF token ...")
        resp = self.session.get(SSO_LOGIN_URL, params=self._auth_params())
        if resp.status_code != 200:
            raise ValueError("auth failure: could not load {}".format(SSO_LOGIN_URL))
        # extract CSRF token
        csrf_token = re.search(r'<input type="hidden" name="_csrf" value="(\w+)"',
                               resp.content.decode('utf-8'))
        if not csrf_token:
            raise ValueError("auth failure: no CSRF token in {}".format(SSO_LOGIN_URL))
        return csrf_token.group(1)

karaul · #34 (**permalink**) 09.03.2021, 17:06

Питон делает из своей консоли для авторизации на внешнем сайте Гармине так

headers = {'origin': 'https://sso.garmin.com'}

и там все работает
Если я имитирую это поведение в JS с XMLHttpRequest

xhr.setRequestHeader('Origin', 'https://sso.garmin.com');

то получаю

Refused to set unsafe header Origin

Пишут что подменить заголовоr мешает броузер (хром). Незадача

Но есть еще один пакет для работы с Гармином на JS, в нем для авторизации используется axios вместо XMLHttpRequest и этот пакет работает из nodejs, и там также прописано в 'Origin', 'https://sso.garmin.com', иначе Гарминовский сайт возвращает пустую строку, а должен вернуть Cross-Site Request Forgery (CSRF) token

Если переписать браузерный код с XMLHttpRequest на axios, то получится выставить headers нужные для авторизации или это безнадежно?

voraa · #35 (**permalink**) 09.03.2021, 19:19

Сообщение от voraa

Я думаю не получится считать файл, если страница берется с локального компьютера используя XMLHttpRequest или fetch.

Это я опять жутко поторопился.
На самом деле МОЖНО!
Все дело в заголовках, которые посылает сервер
Вот такой простецкий сервер на nodejs

const http = require('http');

const hostname = '127.0.0.1';
const port = 3000;

const server = http.createServer((req, res) => {
  res.statusCode = 200;
  res.setHeader('Content-Type', 'text/plain');
  res.setHeader('Access-Control-Allow-Origin', '*');  // !important
  res.setHeader('Access-Control-Allow-Headers', 'origin, content-type, accept'); // !important
  res.end('Hello World with CORS!');
});

server.listen(port, hostname, () => {
  console.log(`Server running at http://${hostname}:${port}/`);
});

И вот такой html файл, расположенный локально

<!DOCTYPE html>
<html>
<head>
  <meta http-equiv="Content-type" content="text/html; charset=utf-8" lang="ru">
  <meta name="viewport" content="width=device-width, initial-scale=1.0" >
  <title>TESTE</title>
</head>

<body id="body">
<button type='button' id='bsend'>Send</button>
<br>
<div id='answ'>
</div>
</div>
<script>
	document.getElementById('bsend').addEventListener('click',
	async () => {
		try {
			const resp = await fetch('http://127.0.0.1:3000', {mode:'cors'})
			let str = await resp.text();
			document.getElementById('answ').innerHTML = str
			console.log(str)
		}catch (err){
			document.getElementById('answ').innerHTML=`Error ${err.name} ${err.code} ${err.message}`;
		}
	}
	);
</script>
</body>
</html>

Совершенно спокойно взаимодействуют.

karaul · #36 (**permalink**) 10.03.2021, 02:25

Забанили

Garmin Express Error 1006 and 1015
After attempting multiple times to log in to Garmin Express, you may receive the following errors:

"Error 1015 error RAY ID 58c1fd3vaa9dd314. You are being rate limited.  The owner of this website has banned you temporarily from accessing this website".
"Error 1006 Ray ID 5c7fda4d8a9a0d12.  Access denied.  The owner of this website (support.garmin.com) has banned your IP address (**.**.***.***).
This is the expected behavior and is displayed when too many attempts have been made to log in.  The account will be unblocked after 24 hours automatically.  Please wait 24 hours before trying to sign in again.

не так то просто отладить код при общении с чужим сайтом

karaul · #37 (**permalink**) 11.03.2021, 17:44

Меня разбанили и я кажется разобрался как правильно надо поступать.

Идея была в том чтобы прикрутить fitplotter к внешнему независимому сайту и скачивать оттда тренировки для анализа. Этот сайт требует аторизациии, считается что каждый пользователь эту автризацию проходит сам.

Если просто скачивать по одному файлу с сайта, то все работает, и каждый раз юзер общается с диалогом save as - куча ненужных кликов.

Если пытаться скачивать автоматически из браузера, то нельзя подменить заголовок и ничего не получается

Решение такое. Ставить свой сервер, на нем предварительно делать авторизацию на чужом сервере. Клиентская программа должна сначала обращаться к своему серверу, на котором прошла авторизация, и уже с него идти за файлами к чужому серверу.

Если чужой сервер такую практику приветствует, то он публикует свой API для доступа. Так сделала strava (и получается что если бы работал с ней, то я бы ломился в открытую дверь.) А Garmin такую практику осуждает и на гитхабе программисты матом исходят пытаясь разобраться что там Garmin придумал чтобы затруднить программную авторизацию.

У меня есть отдельные куски для сервера и клиента, надо ли их сшивать - это теперь больше политический вопрос чем технический

А если работать со strava, то она не выдает сырые файлы, из-за которых собственно весь проект начался.

И ходят слухи что Garmin якобы откроет свой АПИ.

Конечно, такие вещи надо знать до а не после. Неделя головоломки - это я дешево отлелался

karaul · #38 (**permalink**) 11.03.2021, 18:24

Сообщение от voraa

Все дело в заголовках, которые посылает сервер
Вот такой простецкий сервер на nodejs

да, именно так, нужен свой сервер для подмены заголовков.

Есть некий адрес, который становится доступным после авторизации. Допустим, я авторизовался как человек через окно браузера. До авторизации мне этот адрес недоступен, после я могу открыть его и прочитать содержимое страницы глазами и вручную скопировать, сохранить как файл и проч. Но всё вручную, автоматизировать через браузер не получается, для этого нужны серверные команды.

А если делать через сервер, то надо сначала делать авторизацию через сервер, и все команды для автоматического чтения файла посылать через этот сервер

Форум

Справочник

Discord чат

Курсы javascript