HDF5 súbor dát (.hdf5)
The ŠtandardHierarchical Data Format 5 (HDF5) je špičková vedecká architektúra na správu dát pre masívne viendimenzionálne políčka, ktorá sa intenzívne používa v superpočítačoch, klimatickom modelovaní, neurovedách a strojovom učení.
Konvertovať HDF5 do CSV
Bezplatný konvertor z HDF5 do CSV priamo v prehliadači. Konvertujte súbory okamžite vo svojom zariadení.
Preskúmať a metadáta
Operačné systémy a analyzátory súborov identifikujú súbory HDF5 kontrolou počiatočnej binárnej bajtovej sekvencie:
Podpis hlavičky na úrovni bajtov (Magic Bytes)
Operačné systémy a analyzátory súborov identifikujú súbory HDF5 kontrolou počiatočnej binárnej bajtovej sekvencie:
HEXADECIMÁLNY PODPIS (OFFSET 0):
89 48 44 46 0D 0A 1A 0AASCII REPREZENTÁCIA: \x89HDF\r\n\x1a\n
Štandardizácia: The HDF Group Open Standard Specification
Technické špecifikácie
| Architektúra kontajnera | Hierarchical filesystem-like binary container organizing data into Groups (folders) and Datasets (multi-dimensional arrays) with attributes |
| Kompresia | Chunk-based compression filters: Gzip (Deflate), SZIP, Zstandard, Blosc, and LZF |
| Poradie bajtov (Endianness) | Declared in superblock (Little or Big-Endian) |
| Farebné priestory | N/A (Multi-dimensional Numerical Arrays) |
| Kanály a štruktúra | High-dimensional scientific arrays, compound data types, and variable-length strings |
| Max. rozmery | Practically unlimited (supports 64-bit coordinates and petabyte-scale datasets) |
| Priehľadnosť | None |
| Streamovanie a postupné načítavanie | Chunked storage enables partial hyper-slab slicing without loading full dataset into memory |
Technická porovnávacia matica: HDF5 vs konkurenti
| Technický atribút | HDF5 (Aktuálne) | NETCDF | FITS | ZARR |
|---|---|---|---|---|
| Štruktúra hierarchie | Úplný súborový systém podobný POSIX (skupiny a dátové sady) | NetCDF-4 používa pod kapotou HDF5 | Polia a tabuľky s pevnými blokmi | Cloudovo-natívny blokový formát adresárov |
| Rezanie dátových sád | Mimoriadne rýchle čítanie binárnych hyperslabov | Rýchle čítanie hyperslabov | Priame indexovanie blokov | Cloudové paralelné načítavanie blokov |
| Použitie v strojovom učení | Štandard pre váhy modelov (Keras .h5) | V AI sa používa zriedkavo | Žiadne | Rastúce využitie pre trénovacie dáta AI |
| Primárny ekosystém | NCSA, superpočítače, Python h5py | NOAA, meteorológia, oceánografia | NASA, astronómia, teleskopy | Cloudovo-natívna dátová veda |
Bežné režimy poškodenia a príručka na obnovu v hexadecimálnom kóde
Chyba Pythonu h5py: „Unable to open file (file signature not found)".
Hlavná príčina: Poškodený 8-bajtový superblok na začiatku súboru.
Obnova: Skontrolujte posuny superbloku alebo obnovte dátové sady pomocou nástroja File2File HDF5 Tool.
Bezpečnostná analýza a vektory útokov na parser
Oficiálna knižnica libhdf5 analyzuje zložité B-stromy a haldové tabuľky, kde poškodené posuny spôsobili zraniteľnosti pretečenia haldy.
Známe vektory útokov
- Pretečenie vyrovnávacej pamäte haldy počas prechodu indexu uzla B-stromu (napr. CVE-2021-37501).
- Zápis mimo určeného rozsahu v zásuvných moduloch vlastnej dekompresnej filtrovej rúry.
- Odopretie služby prostredníctvom cyklov prepojenia skupín.
Najlepšie obranné postupy:
Historický pôvod a míľniky
Kľúčové výhody a prednosti
- Kompletný súborový systém v jednom súbore: organizuje zložité multi-petabajtové súbory dát do pomenovaných skupín a dátových sád ako adresáre.
- Vysoko výkonné rezanie hyperslabov: prečítajte si malý 2D výrez z masívnej 100-gigabajtovej 5D matice bez čítania celého súboru.
- Hlboká integrácia s modernou vedeckou knižnicou Pythonu (h5py), systémom MATLAB, jazykom R a vysoko výkonnými superpočítačmi s paralelným spracovaním MPI.
Technické obmedzenia a nevýhody
- Vysoká zložitosť špecifikácie sťaží implementáciu nezávislých parserov mimo oficiálnej knižnice libhdf5 v jazyku C.
- Obmedzenia zamykania pre jedného zapisovača v klasickom formáte HDF5 historicky komplikovali pracovné postupy so súbežným zápisom.
- Poškodené superbloky môžu urobiť celý hierarchický strom nedostupným.
Zaujímavé technické drobnosti
- Prvých 8 magických bajtov súboru HDF5 (\x89HDF\r\n\x1a\n) zámerne kopíruje podpis formátu PNG na detekciu poškodených prenosov súborov.
- Systém pozorovania Zeme (EOS) agentúry NASA ukladá petabajty denných satelitných klimatických dát vo formáte HDF5.
- Rámce hlbokého učenia ako Keras a TensorFlow spopularizovali formát HDF5 (.h5) na ukladanie váh neurónových sietí.
Často kladené technické otázky
Čo je to súbor HDF5?
Súbor HDF5 je ako kompletný súborový systém uložený v jedinom súbore, ktorý je navrhnutý na efektivne ukladanie obrovských vedeckých polí, tabuliek a modelov strojového učenia.
Aký je rozdiel medzi .h5 a .hdf5?
Nie je medzi nimi žiadny rozdiel; .h5 a .hdf5 sú dve rôzne prípony súborov pre presne ten istý hierarchický dátový formát Hierarchical Data Format 5.
Ako sa môžem pozrieť dovnútra súboru HDF5?
Skupiny, súbory údajov a metadáta v akomkoľvek súbore HDF5 môžete skontrolovať pomocou programu HDFView, knižnice Python h5py alebo online pomocou File2File.app.