Datová sada HDF5 (.hdf5)
The StandardníHierarchical Data Format 5 (HDF5) je přední architekturou pro správu vědeckých dat pro masivní vícerozměrná pole, která se hojně používá v superpočítačích, klimatickém modělování, neurovědě a strojovém učení.
Převést HDF5 do CSV
Bezplatný konvertor z HDF5 do CSV v prohlížeči. Převeďte soubory okamžitě ve svém zařízení.
Zkontrolovat a metadata
Operační systémy a analyzátory souborů identifikují soubory HDF5 kontrolou počáteční binární sekvence bajtů:
Podpis hlavičky na úrovni bajtů (Magic Bytes)
Operační systémy a analyzátory souborů identifikují soubory HDF5 kontrolou počáteční binární sekvence bajtů:
HEXADECIMÁLNÍ PODPIS (OFFSET 0):
89 48 44 46 0D 0A 1A 0AASCII REPREZENTACE: \x89HDF\r\n\x1a\n
Standardizace: The HDF Group Open Standard Specification
Technické specifikace
| Architektura kontejneru | Hierarchical filesystem-like binary container organizing data into Groups (folders) and Datasets (multi-dimensional arrays) with attributes |
| Komprese | Chunk-based compression filters: Gzip (Deflate), SZIP, Zstandard, Blosc, and LZF |
| Endiantita bajtů | Declared in superblock (Little or Big-Endian) |
| Barevné prostory | N/A (Multi-dimensional Numerical Arrays) |
| Kanály a struktura | High-dimensional scientific arrays, compound data types, and variable-length strings |
| Max. rozměry | Practically unlimited (supports 64-bit coordinates and petabyte-scale datasets) |
| Průhlednost | None |
| Streamování a progresivní načítání | Chunked storage enables partial hyper-slab slicing without loading full dataset into memory |
Technická srovnávací matice: HDF5 vs konkurence
| Technický atribut | HDF5 (Aktuální) | NETCDF | FITS | ZARR |
|---|---|---|---|---|
| Hierarchická struktura | Úplný souborový systém podobný POSIXu (skupiny a datové sady) | NetCDF-4 využívá HDF5 pod kapotou | Pole a tabulky s pevnými bloky | Cloudově nativní formát s dělenými adresáři |
| Řezání datových sad | Ultra rychlé binární čtení hyperslabů | Rychlé čtení hyperslabů | Přímé indexování bloků | Cloudové paralelní načítání bloků |
| Využití ve strojovém učení | Standard pro váhy modelů (Keras .h5) | V AI se používá zřídka | Žádné | Rostoucí využití pro trénovací datové sady AI |
| Primární ekosystém | NCSA, superpočítače, Python h5py | NOAA, meteorologie, oceánografie | NASA, astronomie, teleskopy | Cloudově nativní datová věda |
Běžné režimy poškození a příručka pro obnovení v hex
Chyba v Python h5py: 'Unable to open file (file signature not found)'.
Hlavní příčina: Poškozený 8bajtový superblok na začátku souboru.
Obnovení: Zkontrolujte posuny superbloku nebo obnovte datové sady pomocí nástroje File2File HDF5 Tool.
Bezpečnostní analýza a vektory útoků na parser
Oficiální knihovna libhdf5 analyzuje složité B-stromy a tabulky haldy (heap), kde poškozené posuny způsobily zranitelnosti přetečení haldy.
Známé vektory útoků
- Přetečení vyrovnávací paměti haldy při procházení indexu uzlu B-stromu (např. CVE-2021-37501).
- Zápis mimo přidělenou paměť v pluginech vlastních dekompresních filtrů.
- Odepření služby (DoS) prostřednictvím cyklických vazeb mezi skupinami.
Doporučené bezpečnostní postupy:
Historický vývoj a milníky
Klíčové výhody a přednosti
- Kompletní souborový systém v souboru: organizuje složité datové sady o velikosti mnoha petabajtů do pojmenovaných skupin a datových sad jako adresářů.
- Vysoce výkonné řezání hyperslabů: čtení malého 2D řezu z masivní 100gigabajtové 5D matice bez nutnosti číst celý soubor.
- Hluboká integrace s moderním vědeckým Pythonem (h5py), MATLABem, jazykem R a vysoce výkonnými superpočítači s paralelním zpracováním MPI.
Technická omezení a nevýhody
- Vysoká složitost specifikace ztěžuje implementaci nezávislých parserů mimo oficiální C knihovnu libhdf5.
- Omezení zamykání pro jednoho zapisovatele v klasickém HDF5 v minulosti komplikovala souběžné pracovní postupy zápisu.
- Poškozené superbloky mohou znepřístupnit celý hierarchický strom.
Zajímavé technické drobnosti
- Prvních 8 magických bajtů souboru HDF5 (\x89HDF\r\n\x1a\n) záměrně kopíruje podpis PNG pro detekci poškozených přenosů souborů.
- Systém NASA Earth Observing System (EOS) ukládá petabajty denních satelitních klimatických dat ve formátu HDF5.
- Frameworky hlubokého učení, jako jsou Keras a TensorFlow, popularizovaly formát HDF5 (.h5) pro ukládání vah trénovaných neuronových sítí.
Často kladené technické otázky
Co je to soubor HDF5?
Soubor HDF5 je jako kompletní souborový systém uložený v jediném souboru, který je navržen pro efektivní ukládání obrovských vědeckých polí, tabulek a modelů strojového učení.
Jaký je rozdíl mezi příponami .h5 a .hdf5?
Není v tom žádný rozdíl; .h5 a .hdf5 jsou dvě různé přípony souborů pro naprosto stejný formát Hierarchical Data Format 5.
Jak mohu zjistit, co se nachází uvnitř souboru HDF5?
Skupiny, datové sady a metadata uvnitř jakéhokoli souboru HDF5 můžete zkontrolovat pomocí HDFView, Pythonu h5py nebo online pomocí File2File.app.