Компресс

Оглавление [TOC]

Введение в открытый исходный код (микросервисная инфраструктура)

• Конфигурационный центр (mconf):

  1. GitHub: https://github.com/yu120/mconf
  2. Код Cloud: https://git.oschina.net/yu120/mconf

• Микроядро (micro):

  1. GitHub: https://github.com/yu120/micro
  2. Код Cloud: https://git.oschina.net/yu120/micro

• Нейрон микросервиса (neural):

  1. GitHub: https://github.com/yu120/neural
  2. Код Cloud: https://git.oschina.net/yu120/neural

• Последовательность микросервисов (sequence): https://git.oschina.net/yu120/sequence

1 Введение

Основан на алгоритмах gzip, deflate, lz4, snappy и lzo для сжатия данных, в основном используется для сжатия данных RPC-коммуникаций!

2 Схемы сжатия

• Bzip2: Bzip2 — это алгоритм и программа для сжатия данных, разработанные Джулианом Сьюардом и опубликованные под лицензией свободного программного обеспечения / открытого исходного кода. Сьюард впервые опубликовал bzip2 версии 0.15 в июле 1996 года, и в последующие годы этот инструмент сжатия стал более стабильным и популярным. В 2000 году Сьюард выпустил версию 1.0. Bzip2 обеспечивает более высокую степень сжатия по сравнению с традиционным gzip, но его скорость сжатия медленнее.

• Deflater: DEFLATE — это алгоритм без потерь для сжатия данных, который использует комбинацию алгоритма LZ77 и кодирования Хаффмана. Исходный код DEFLATE можно найти в zlib, библиотеке общего сжатия, доступной на официальном сайте zlib.net. JDK предоставляет поддержку для библиотеки сжатия zlib, включая классы Deflater и Inflater для сжатия и распаковки соответственно. Оба класса предоставляют собственные методы.

• Gzip: Алгоритм, лежащий в основе gzip, также является deflate. Однако gzip добавляет заголовки файлов и трейлеры к формату deflate. JDK также поддерживает gzip через классы GZIPOutputStream и GZIPInputStream, которые наследуются от DeflaterOutputStream и InflaterInputStream соответственно. В исходном коде можно найти методы writeHeader и writeTrailer.

• Lz4: Lz4 — это алгоритм сжатия без потерь, который фокусируется на скорости сжатия и распаковки.

• Lzo: LZO — это алгоритм сжатия данных без потерь, ориентированный на скорость распаковки. LZO является аббревиатурой от Lempel-Ziv-Oberhumer, и этот алгоритм не приводит к потере данных.

• Snappy: Snappy (ранее известный как Zippy) — это библиотека быстрого сжатия и распаковки данных, разработанная Google на основе подхода LZ77. Библиотека написана на C++ и была выпущена с открытым исходным кодом в 2011 году. Её цель — не максимальная степень сжатия или совместимость с другими библиотеками сжатия, а высокая скорость и разумная степень сжатия.

3 Сравнение производительности

env:JDK:1.7/CPU:4C/Compress Times: 2000times