Zstandard tok (.zstd)

IETF Standardno

Zstandard (Zstd) je Metin moderan algoritam za kompresiju bez gubitaka u stvarnom vremenu, koji pruža omjere kompresije usporedive s Deflate-om uz brzine dekompresije od nekoliko gigabajta u sekundi na modernom hardveru.

Pretvori ZSTD u GZIP

Besplatni ZSTD u GZIP pretvarač u pregledniku. Trenutno pretvorite datoteke na svom uređaju.

Pregledaj i metapodaci

Operativni sustavi i alati za analizu datoteka identificiraju Zstandard datoteke provjerom početnog niza binarnih bajtova:

Odaberite ili ispustite datoteke ovdje

100% privatna pretvorba u pregledniku - datoteke nikada ne napuštaju vaš uređaj

ili zalijepi Ctrl+V
Jamstvo privatnosti nulte mrežne transmisije: 0 bajtova učitano na vanjske poslužitelje. Sva obrada odvijala se lokalno u sandčiću vašeg preglednika.

Potpis zaglavlja na razini bajtova (Magic Bytes)

Operativni sustavi i alati za analizu datoteka identificiraju Zstandard datoteke provjerom početnog niza binarnih bajtova:

HEX POTPIS (POMAK 0):

28 B5 2F FD

ASCII PRIKAZ: (µ/ý

Standardizacija: IETF RFC 8878

Tehničke specifikacije

Arhitektura spremnikaFrame header with magic 0xFD2FB528, frame descriptor, data blocks, and optional 32-bit/64-bit checksum
KompresijaFinite State Entropy (FSE) coder + Huffman coding + LZ77 with large search windows (up to 2 GB)
字节序Little-Endian byte and bitstream order
Prostori bojaN/A (Data Compression Stream)
Kanali i strukturaGeneral-purpose byte stream compression
Maksimalne dimenzijeUnbounded streaming data capacity
Prozirnost100% bit-exact lossless data reproduction
Streaming i progresivnoUltra-high-throughput streaming designed to saturate multi-gigabit NVMe and network links

Tehnička matrica usporedbe: Zstandard vs Konkurencija

Tehnički atributZstandard (Trenutno)GZBROTLILZ4
Brzina dekompresijeUltrabrzo (1.5 - 3.0 GB/s)Umjereno (~300 MB/s)Brzo (~400 MB/s)Munjevito (~4.0 GB/s)
Učinkovitost kompresijeViša od Gzipa, odgovara Bzip2-uOsnovni standardNajviša na web tekstuNiska (fokusirano na brzinu)
Treniranje rječnikaPrilagođeni trenirani rječniciNemaFiksni web rječnik od 120 KBNema
Usvajanje od strane modernog OS-aLinux kernel, Arch, Fedora, BtrfsUniverzalni naslijeđeni UnixWeb preglednici i CDN rubLinux kernel i pokretači igara

Uobičajeni načini oštećenja i vodič za heksadecimalni oporavak

Pogreška dekompresije: 'ZSTD_error_checksum_wrong: Checksum verification failed'.

Temeljni uzrok: Oštećeni bajt u bloku podataka zbog kojeg provjera valjanosti 32-bitnog ili 64-bitnog xxHash-a ne uspijeva.

Oporavak: Izvucite s opcijom '--force' da biste zaobišli kontrolni zbroj ili popravite pomoću File2File Zstd pretvarača.

Sigurnosna analiza i vektori napada na parser

FSE stroj stanja za dekodiranje u Zstandardu mora rigorozno provjeravati opise tablica kako bi spriječio nevaljane skokove stanja.

Poznati vektori napada

  • Oštećene FSE normalizirane tablice brojača koje uzrokuju pretrage tablice stanja izvan granica.
  • Prelijevanje cijobrojnih vrijednosti (integer overflow) tijekom alokacije međuspremnika velikog prozora.
  • Uskraćivanje usluge (DoS) iscrpljivanjem memorije prilagođenog rječnika.

Najbolje obrambene prakse:

Povijesni izvori i prekretnice

2021IETF objavljuje Zstandard kao RFC 8878; glavne Linux distribucije (Arch, Fedora, Ubuntu) usvajaju ga za pakiranje.
2018Linux kernel 4.14 uključuje Zstandard kompresiju za Btrfs i SquashFS datotečne sustave.
2015Yann Collet izdaje Zstandard u Facebooku, uvodeći tehnologiju konačne entropije stanja (Finite State Entropy - FSE).

Ključne prednosti

  • Nevjerojatna brzina dekompresije: dekomprimira brzinom od 1,5 do 3,0 GB/s po jezgri, zasićujući brze NVMe SSD-ove.
  • Visoko fleksibilna skala kompresije: nudi 22 razine kompresije od ultrabrzog rada u stvarnom vremenu do ultra-čvrste arhivacije.
  • Prilagođeno treniranje rječnika omogućuje postizanje 3x do 5x bolje kompresije na malim zapisima poput JSON-a i redaka baze podataka.

Tehnička ograničenja i nedostaci

  • Nešto veći memorijski otisak od naslijeđenog Deflate-a tijekom visoke razine kompresije s velikim veličinama prozora.
  • Zahtijeva moderne alate; stariji Unix poslužitelji možda nemaju unaprijed instalirane zstd uslužne programe.
  • Sirovi .zst tokovi zahtijevaju kontejnerizaciju (poput TAR-a) za očuvanje hijerarhije direktorija.

Zanimljive tehničke činjenice

  • Zstandard koristi konačnu entropiju stanja (tANS), proboj u asimetričnim brojčanim sustavima koji je razvio Jarek Duda, a koji postiže granice Shannonove entropije pri brzinama hardvera.
  • Arch Linux i Fedora prebacili su svoje upravljače paketima (pacman i dnf) na .tar.zst, ubrzavajući instalaciju softvera za preko 400%.
  • Magični bajtovi 0x28 0xB5 0x2F 0xFD odabrani su tako da budu lako prepoznatljivi i da se izbjegne sudar s naslijeđenim formatima.

Često postavljana tehnička pitanja

Zašto Zstandard zamjenjuje Gzip u modernom Linuxu?

Zstandard komprimira datoteke manje od Gzipa uz 5 do 10 puta bržu dekompresiju, drastično smanjujući vrijeme instalacije softvera i korištenje procesora poslužitelja.

Što je kompresija s rječnikom u Zstd-u?

Zstd može trenirati na skupu malih datoteka (poput JSON API odgovora) kako bi stvorio prilagođeni rječnik, dopuštajući kasnijim datotekama kompresiju do 5 puta manju pozivajući se na dijeljene uzorke.

Kako mogu dekomprimirati .zst ili .zstd datoteku?

Možete dekomprimirati .zst i .tar.zst datoteke izravno u svom web pregledniku koristeći File2File.app bez instaliranja alata komandne linije.