Подскажите символьный паккер, лучше чем base64
Задача встала ужать строку для GET запроса
Подскажите паккер произвольной инфы в URI кодировку, лучше чем base64 |
Цитата:
Цитата:
возможно дополнительный оверхед в 1-2 символа на все сообщение Так что с точки зрения занимаемого места base64 вроде как лучше |
Цитата:
http://dean.edwards.name/packer/ или любая другая запаковка JS'ом не катит? |
melky,
Основа упаковки - валидное прохождение как URL строки Цитата:
Цитата:
|
Цитата:
Да есть у мну самоделка-энтропийка, выигрыш ну 100 200 символов - но думал есть чо интересней, но крути не крути она оч близка к base64 Вот думаю попробовать сотворить LWZ в кодировке 64 (а не 256 (Мне нехватает 500 байт для счастья, вместо 2000 2500 |
Дзен-трансгуманист,
Я вот отсель утаскивал => http://vr-online.ru/?q=content/szhat...khaffmana-1547 (*Онлайн пример давно не работает с год если нужно есть символьная энтропийка-автомат но прим ~1.33 с исходной длины все одно увеличивает Для коротких файлов - Хофман - не Айс нужен либо жесткий автомат либо словарь с заранее ограниченной длиной |
Цитата:
то наверно другой вариант общения выбрать придется, наверно через прокси |
Ну на край можно в 2 захода.(маразм крепчал=) )
|
Цитата:
|
Цитата:
|
А вообще гуглили по теме?
Вот например интересный топик http://forum.ixbt.com/topic.cgi?id=26:41000 |
Цитата:
|
Дзен-трансгуманист,
Да вроде получаецо: трансформируем в base 64, затем в LWZ по основанию 64, *щас упираюсь(точнее отложено) совместить без перехода в скрипте базе 64 в символьный вид(оставить чисто числовым массивом и тогда и lwz переделать на вход не символов, а массива цифр Cжатие на длином тексте порядка двух на коротком 1.4 (хотя тут на коротких наверно разброс поди |
Дзен-трансгуманист,
Гы тут суть чтобы свести именно LWZ по модулю 64, а не повторная трансформация через base64 Используемый base64
<script>
/**
*
* Base64 encode / decode
* [url]http://www.webtoolkit.info/[/url]
*
**/
var Base64 = {
// private property
_keyStr : "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/=",
// public method for encoding
encode : function (input) {
var output = "";
var chr1, chr2, chr3, enc1, enc2, enc3, enc4;
var i = 0;
input = Base64._utf8_encode(input);
while (i < input.length) {
chr1 = input.charCodeAt(i++);
chr2 = input.charCodeAt(i++);
chr3 = input.charCodeAt(i++);
enc1 = chr1 >> 2;
enc2 = ((chr1 & 3) << 4) | (chr2 >> 4);
enc3 = ((chr2 & 15) << 2) | (chr3 >> 6);
enc4 = chr3 & 63;
if (isNaN(chr2)) {
enc3 = enc4 = 64;
} else if (isNaN(chr3)) {
enc4 = 64;
}
output = output +
this._keyStr.charAt(enc1) + this._keyStr.charAt(enc2) +
this._keyStr.charAt(enc3) + this._keyStr.charAt(enc4);
}
return output;
},
// public method for decoding
decode : function (input) {
var output = "";
var chr1, chr2, chr3;
var enc1, enc2, enc3, enc4;
var i = 0;
input = input.replace(/[^A-Za-z0-9\+\/\=]/g, "");
while (i < input.length) {
enc1 = this._keyStr.indexOf(input.charAt(i++));
enc2 = this._keyStr.indexOf(input.charAt(i++));
enc3 = this._keyStr.indexOf(input.charAt(i++));
enc4 = this._keyStr.indexOf(input.charAt(i++));
chr1 = (enc1 << 2) | (enc2 >> 4);
chr2 = ((enc2 & 15) << 4) | (enc3 >> 2);
chr3 = ((enc3 & 3) << 6) | enc4;
output = output + String.fromCharCode(chr1);
if (enc3 != 64) {
output = output + String.fromCharCode(chr2);
}
if (enc4 != 64) {
output = output + String.fromCharCode(chr3);
}
}
output = Base64._utf8_decode(output);
return output;
},
// private method for UTF-8 encoding
_utf8_encode : function (string) {
string = string.replace(/\r\n/g,"\n");
var utftext = "";
for (var n = 0; n < string.length; n++) {
var c = string.charCodeAt(n);
if (c < 128) {
utftext += String.fromCharCode(c);
}
else if((c > 127) && (c < 2048)) {
utftext += String.fromCharCode((c >> 6) | 192);
utftext += String.fromCharCode((c & 63) | 128);
}
else {
utftext += String.fromCharCode((c >> 12) | 224);
utftext += String.fromCharCode(((c >> 6) & 63) | 128);
utftext += String.fromCharCode((c & 63) | 128);
}
}
return utftext;
},
// private method for UTF-8 decoding
_utf8_decode : function (utftext) {
var string = "";
var i = 0;
var c = c1 = c2 = 0;
while ( i < utftext.length ) {
c = utftext.charCodeAt(i);
if (c < 128) {
string += String.fromCharCode(c);
i++;
}
else if((c > 191) && (c < 224)) {
c2 = utftext.charCodeAt(i+1);
string += String.fromCharCode(((c & 31) << 6) | (c2 & 63));
i += 2;
}
else {
c2 = utftext.charCodeAt(i+1);
c3 = utftext.charCodeAt(i+2);
string += String.fromCharCode(((c & 15) << 12) | ((c2 & 63) << 6) | (c3 & 63));
i += 3;
}
}
return string;
}
}
</script>
LZW
<script type="text/javascript">
// LZW-compress a string
function lzw_encode(s) {
var dict = {};
var data = (s + "").split("");
var out = [];
var currChar;
var phrase = data[0];
*!*
var code = 256;
*/!*
for (var i=1; i<data.length; i++) {
currChar=data[i];
if (dict[phrase + currChar] != null) {
phrase += currChar;
}
else {
out.push(phrase.length > 1 ? dict[phrase] : phrase.charCodeAt(0));
dict[phrase + currChar] = code;
code++;
phrase=currChar;
}
}
out.push(phrase.length > 1 ? dict[phrase] : phrase.charCodeAt(0));
for (var i=0; i<out.length; i++) {
out[i] = String.fromCharCode(out[i]);
}
return out.join("");
}
// Decompress an LZW-encoded string
function lzw_decode(s) {
var dict = {};
var data = (s + "").split("");
var currChar = data[0];
var oldPhrase = currChar;
var out = [currChar];
var code = 256;
var phrase;
for (var i=1; i<data.length; i++) {
var currCode = data[i].charCodeAt(0);
if (currCode < 256) {
phrase = data[i];
}
else {
phrase = dict[currCode] ? dict[currCode] : (oldPhrase + currChar);
}
out.push(phrase);
currChar = phrase.charAt(0);
dict[code] = oldPhrase + currChar;
code++;
oldPhrase = phrase;
}
return out.join("");
}
</script>
Вообщем везде , где 256 Для этого Выход первичного base64 и вход LWZ нужно переделать под цифровой массив 0-63 - дабы не создавать лишней конверсии |
Цитата:
Цитата:
Ну я почти добил(неделю назад, - *осталось переработать кривоватый собственный код, в чём собственно и траблы(трансформирующий выше приведенное) - общее сжатие из длинной исходной строки с последующим base64 + LWZ c основанием 64 порядка 70% , что вполне хватает для достижения нужного, но пока это для длинных строк(насколько ухудшается для более коротких, длинной в 2000 в 2500 пока, - это в полной мере не тестировал... Скорости длинных строк - приличные, страница - менее секунды Пока нет возможности добить до красоты кода, озадачили иной работой |
Цитата:
это чисто за счёт статистики строки при нормальном распределении.(естественно при большей выходной разрядности, чем входной (*реально входная у нас 64 или 2 в 6 cтепени) - сжатие лучше, но последущее выкривлениее 256 в base 64 убьёт эту всю выгоду! |
Цитата:
|
Цитата:
Усложнять код не желательно, поскольку межфреймовый обмен может включать в себя и передачу длинных текстовых файлов, что оставляет пожелания достаточно высокой скорости кодирования декодирования |
Дзен-трансгуманист, +
Забавно (Но мну все таки ограничится LWZ - c выходом base64 (Да и по Вашим графикам - интересующий диапазон символьной длины дает прогресс ужатия при LZWR весьма небольшой, а поскольку процесс использования будет скорее всего циклическим и с высокой скоростью - важна скорость кодирования/декодирования; |
Цитата:
Из всего Вышепредложенного интерес остается к данной реализации: Цитата:
|
Цитата:
Цитата:
|
Цитата:
Цитата:
В принципе в Инете можно поискать скрипт частотного словаря (как то встречал даже онлайн Вариант (наш русский) )ява-скрипт) , именно благодаря ему ужимал css до невероятных значений при минимальном словарике - посколь после частотника сразу ясно на какие фразы мон плевать... |
Цитата:
Про частотный словарик, тот что видал, был безотносителен () к буквам или цифрам - выдает Весь входной контекст отсортированный по повторяемости (но входной контент там имхо был ограничен до 20-30 кБ - работал минуты Оч удобен для построения автоматов |
Цитата:
|
Дзен-трансгуманист,
У нас легкое логическое недопонимание - собственно я подчеркнул - Да Цитата:
|
Дзен-трансгуманист, +
Ну собственно почти готовая статья для Хабра 1. Паккер 2. Паккер, - как возможная замена json + упаковка кодирование куков авторизации (сейчас base64) 3. Кроссбраузерная организация куков с многоязыковой поддержкой без увеличения объема (у ИЕ ограничение в 4кило на домен 4. Увеличение скорости обмена при Кроссдоменном Аяксе на фреймах через Хеш |
Дзен-трансгуманист,
Мну все таки считает а) под Куки оч полезна + доп шифровка авторизации, Куки оч небольшой контент - время не думаю что сильно возрастет -сейчас установка кука 10-20ms, *все таки куки наиболее и кроссбраузерно используемый способ передачи небольших объемов меж страницами Типовая востребованная задача пользовательских скриптов b) Цитата:
|
Цитата:
|
Цитата:
|
Цитата:
|
Дзен-трансгуманист,
Мну точно не нает пока.. По частоте использования: а) Вероятно HTML контент страницы вышеуказанными кусками b) Скрипты b) Чисто текст (наверно русский |
Цитата:
|
Дзен-трансгуманист,
:cray: (*Сочуйствую |
Дзен-трансгуманист,
с 10(Опера) всё шустрее И час дам ссылку про скорость ....(для мну была актуальна) http://javascript.ru/forum/misc/2945...a-raznica.html Ксать скрипты похоже из передачи отвалились(посколь удобнеее ссылкой на внешний файл передать |
Цитата:
А осел завсегда был медленней(хотя есть исключения) в три -пять раз |
Ошибки надо кидать если это ошибки.)
|
Цитата:
|
Дзен-трансгуманист,
На счет параметров - утверждения достаточно ясны, - хотя имхо - мну инструкций думаю достаточно Если речь о битом входном файле, - ну как в rar, код ошибки Цитата:
Собственно мну нужен символьный одно-двух байтовый вход и 64символьный выход если можно версию об одном двух - входных параметрах |
Цитата:
там если кука нет или кривой - значение false перво наперво идет проверка(про куки a=getCookie('name') if(a) { и далее обработка ============== if(a==false){var b=getError() |
Дзен-трансгуманист,
Цитата:
Цитата:
|
| Часовой пояс GMT +3, время: 08:29. |