Zstandard-Stream (.zst)
IETF StandardZstandard (Zstd) ist Metas moderner, verlustfreier Echtzeit-Komprimierungsalgorithmus. Er bietet Kompressionsraten, die mit Deflate.
Von ZSTD zu GZIP konvertieren
Kostenloser Konverter von ZSTD zu GZIP im Browser. Konvertieren Sie Dateien sofort auf Ihrem Gerät.
Untersuchen & Metadaten
Betriebssysteme und Dateianalyseprogramme identifizieren Zstandard-Dateien anhand der führenden binären Bytefolge:
Headersignatur auf Byte-Ebene (Magic Bytes)
Betriebssysteme und Dateianalyseprogramme identifizieren Zstandard-Dateien anhand der führenden binären Bytefolge:
HEX-SIGNATUR (OFFSET 0):
28 B5 2F FDASCII-DARSTELLUNG: (µ/ý
Standardisierung: IETF RFC 8878
Technische Daten
| Container-Architektur | Frame-Header mit Magic Number 0xFD2FB528, Frame-Deskriptor, Datenblöcke und optionaler 32-Bit/64-Bit-Prüfsumme |
| Kompression | FSE-Codierer (Finite State Entropy) + Huffman-Codierung + LZ77 mit großen Suchfenstern (bis zu 2 GB) |
| Byte-Reihenfolge | Little-Endian-Byte- und Bitstrom-Reihenfolge |
| Farbräume | Nicht zutreffend (Datenkomprimierungsstrom) |
| Kanäle und Struktur | Allgemeine Bytestrom-Komprimierung |
| Max. Abmessungen | Unbegrenzte Kapazität für Streaming-Daten |
| Transparenz | 100 % bitgenaue, verlustfreie Datenwiedergabe |
| Streaming und progressive Darstellung | Streaming mit ultrahohem Durchsatz, entwickelt, um Multi-Gigabit-NVMe- und Netzwerkverbindungen auszulasten |
Technische Vergleichsmatrix: Zstandard und Konkurrenzformate
| Technisches Attribut | Zstandard (Aktuelles Format) | GZ | BROTLI | LZ4 |
|---|---|---|---|---|
| Dekomprimierungsgeschwindigkeit | Ultraschnell (1,5 - 3,0 GB/s) | Mäßig (~300 MB/s) | Schnell (~400 MB/s) | Extrem schnell (~4,0 GB/s) |
| Komprimierungseffizienz | Höher als bei Gzip, entspricht dem Niveau von Bzip2 | Basisstandard | Am höchsten bei Web-Texten | Gering (auf Geschwindigkeit ausgelegt) |
| Wörterbuch-Training | Benutzerdefiniert trainierte Wörterbücher | Keines | Feste 120-KB-Web-Wörterbücher | Keines |
| Akzeptanz in modernen Betriebssystemen | Linux-Kernel, Arch, Fedora, Btrfs | In einigen älteren Unix-Distributionen verfügbar | Webbrowser & CDN-Edge | Linux-Kernel & Spiele-Engines |
Häufige Datenbeschädigungen und Leitfaden zur Wiederherstellung anhand von Hex-Daten
Dekomprimierungsfehler: „ZSTD_error_checksum_wrong: Checksum verification failed“.
Ursache: Beschädigtes Byte im Datenblock, wodurch die 32-Bit- oder 64-Bit-xxHash-Prüfsummenüberprüfung fehlschlägt.
Wiederherstellung: Extrahieren Sie mit „--force“, um die Prüfsumme zu umgehen, oder reparieren Sie die Datei mit dem Zstd-Konverter von File2File.app.
Sicherheitsanalyse und Angriffsvektoren für Parser
Die FSE-Dekodierungszustandsmaschine von Zstandard muss Tabellenbeschreibungen streng validieren, um ungültige Zustandssprünge zu verhindern.
Bekannte Angriffsvektoren
- Beschädigte normalisierte FSE-Zählertabellen, die Tabellenabfragen außerhalb der gültigen Zustandsgrenzen verursachen.
- Ganzzahlüberlauf (Integer Overflow) bei der Zuweisung großer Fensterpuffer.
- Diensteverweigerung (Denial of Service) durch Erschöpfung des Speichers für benutzerdefinierte Wörterbücher.
Empfohlene Schutzmaßnahmen: Validieren Sie die Grenzwerte der Fenstergröße im Frame-Header und beschränken Sie die maximal zulässigen Wörterbuchzuweisungen.
Historische Ursprünge & Meilensteine
Hauptvorteile & Stärken
- Unglaubliche Dekomprimierungsgeschwindigkeit: dekomprimiert mit 1,5 bis 3,0 GB/s pro Kern und lastet High-Speed-NVMe-SSDs voll aus.
- Äußerst flexible Komprimierungsskala: bietet 22 Komprimierungsstufen von blitzschneller Echtzeit- bis hin zu extrem dichter Archivierung.
- Benutzerdefiniertes Wörterbuch-Training ermöglicht eine 3- bis 5-mal bessere Komprimierung bei kleinen Datensätzen wie JSON und Datenbankeinträgen.
Technische Einschränkungen & Nachteile
- Etwas höherer Speicherbedarf als das alte Deflate bei hoher Kompression mit großen Fenstergrößen.
- Erfordert moderne Werkzeuge; ältere Unix-Server verfügen möglicherweise nicht über vorinstallierte zstd-Dienstprogramme.
- Rohe .zst-Ströme erfordern eine Containerisierung (wie TAR), um Verzeichnishierarchien zu erhalten.
Interessante technische Fakten
- Zstandard verwendet Finite State Entropy (tANS), einen von Jarek Duda entwickelten Durchbruch bei asymmetrischen Zahlensystemen, der Shannon-Entropiegrenzen bei Hardwaregeschwindigkeiten erreicht.
- Arch Linux und Fedora stellten ihre Paketmanager (pacman und dnf) auf .tar.zst um, wodurch die Softwareinstallation um über 400 % beschleunigt wurde.
- Die magischen Bytes 0x28 0xB5 0x2F 0xFD wurden so gewählt, dass sie leicht erkennbar sind und Kollisionen mit älteren Formaten vermieden werden.
Häufig gestellte technische Fragen
Warum ersetzt Zstandard Gzip in modernen Linux-Systemen?
Zstandard komprimiert Dateien kleiner als Gzip und dekomprimiert dabei 5- bis 10-mal schneller, was die Software-Installationszeiten und die CPU-Auslastung von Servern drastisch reduziert.
Was ist die Wörterbuchkomprimierung in Zstd?
Zstd kann anhand eines Satzes kleiner Dateien (wie JSON-API-Antworten) trainiert werden, um ein benutzerdefiniertes Wörterbuch zu erstellen. Dadurch lassen sich nachfolgende Dateien bis zu 5-mal kleiner komprimieren, indem auf gemeinsame Muster verwiesen wird.
Wie kann ich eine .zst- oder .zstd-Datei dekomprimieren?
Sie können .zst- und .tar.zst-Dateien direkt in Ihrem Webbrowser mit File2File.app dekomprimieren, ohne Befehlszeilentools installieren zu müssen.