NetCDF mreža (.nc)
OGC StandardNetwork Common Data Form (NetCDF) je široko korišćen format za naučne nizove podataka, uključujući podatke o atmosferi, klimi i okeanima. Koriste se i drugi formati, a konvencije zavise od projekta.
Konvertujte NETCDF u CSV
Besplatan konvertor NETCDF u CSV u pregledaču. Konvertujte datoteke odmah na svom uređaju.
Pregled i metapodaci
Operativni sistemi i analizatori datoteka identifikuju NetCDF datoteke proverom početnog binarnog niza bajtova:
Potpis zaglavlja na nivou bajtova (magični bajtovi)
Operativni sistemi i analizatori datoteka identifikuju NetCDF datoteke proverom početnog binarnog niza bajtova:
HEKSADECIMALNI POTPIS (OFFSET 0):
43 44 46 01 / 43 44 46 02ASCII REPREZENTACIJA: CDF\x01 / CDF\x02
Standardizacija: OGC NetCDF Core Standard / NASA ESDS Standard
Tehničke specifikacije
| Arhitektura kontejnera | Klasični CDF format (potpis „CDF\x01“ ili pomeraj „CDF\x02“ od 64 bita) ili NetCDF-4 (HDF5 kontejner sa konvencijama Climate and Forecast CF) |
| Kompresija | Nekomprimovan format (klasični) ili kompresija blokova Deflate/Zstd (NetCDF-4) |
| Bajtni redosled (Endianness) | Big-Endian (klasični format) ili Little-Endian / Big-Endian (NetCDF-4 HDF5) |
| Prostori boja | Nije primenljivo (višedimenzionalni klimatski i okeanografski nizovi) |
| Kanali i struktura | Višedimenzionalne promenljive (temperatura, salinitet, pritisak) povezane sa dimenzijama (vreme, geografska širina, geografska dužina, dubina) |
| Maksimalne dimenzije | Klasični format ograničen je na 2 GB po promenljivoj; NetCDF-4 praktično nema ograničenja |
| Transparentnost | Nema |
| Strimovanje i progresivno učitavanje | Strimovanje promenljivih zapisa omogućava neprekidno dodavanje novih vremenskih koraka |
Tehnička matrica poređenja: NetCDF u odnosu na konkurente
| Tehnički atribut | NetCDF (Trenutno) | HDF5 | GRIB | FITS |
|---|---|---|---|---|
| Primarni domen | Meteorologija, okeanografija, klima | Opšte superračunarstvo i veštačka inteligencija | Operativne numeričke mreže vremena | Astronomija i astrofizika |
| Standardi fizičkih jedinica | CF konvencije (atribut 'units') | Nema standardizovane šeme jedinica | Fiksni parametri WMO tabela | Astronomskih jedinica po FITS standardu |
| Osnovni pogon (Engine) | Klasični CDF ili HDF5 (NetCDF-4) | Maternji HDF5 kontejner B-stabla | Upakovani okviri bit-tokova (bitstream) | Blokovi zaglavlja/podataka od 2880 bajtova |
| OGC standard | Zvanični OGC standard nauke o Zemlji | Nije OGC standard | Međunarodni standard WMO-a | Međunarodni standard IAU-a |
Uobičajeni režimi oštećenja i vodič za heksadecimalni oporavak
Softver prijavljuje: 'NetCDF: Unknown file format'.
Osnovni uzrok: NetCDF-4 datoteka otvorena sa naslednom (legacy) NetCDF-3 bibliotekom, ili nedostaju CDF magični bajtovi.
Oporavak: Pregledajte verziju zaglavlja ili konvertujte pomoću File2File.app NetCDF konvertera.
Bezbednosna analiza i vektori napada parsera
Klasične NetCDF i NetCDF-4 biblioteke obrađuju brojeve dimenzija kojima se ne veruje, gde celobrojno prekoračenje može izazvati oštećenje memorije.
Poznati vektori napada
- Celobrojno prekoračenje tokom proračuna proizvoda dimenzija u libnetcdf biblioteci.
- Prekoračenje čitanja bafera pri parsiranju oštećenih tekstualnih niski atributa.
- Uskraćivanje usluge kroz loše formirane pomake dimenzija zapisa.
Najbolje prakse za zaštitu: Obrađujte NetCDF datoteke koristeći WebAssembly mašine zaštićene po memoriji u zaštićenom okruženju.
Istorijat i prekretnice
Ključne prednosti
- NetCDF se koristi u istraživanju klime i meteorologije, uključujući neke tokove rada sa klimatskim modelima; upotreba zavisi od projekta i organizacije.
- Samoopisujući: promenljive eksplicitno navode svoje fizičke jedinice ('degrees_Celsius', 'hPa') i geografske ose koordinata.
- Dimenzije zapisa koje se mogu proširivati: stanice za praćenje vremena mogu neprekidno dodavati nova satna merenja tokom godina.
Tehnička ograničenja i nedostaci
- Dvostruka arhitektura: klasični NetCDF-3 koristi prilagođeni binarni CDF format, dok moderni NetCDF-4 koristi HDF5 u pozadini.
- Za pravilan pregled potreban je softver za geografsku vizuelizaciju (Panoply, QGIS, Python xarray).
- Veliki skupovi podataka mogu obuhvatiti desetine gigabajta po pokretanju simulacije.
Zanimljivosti
- Prva tri magična bajta 'CDF' označavaju skraćenicu za 'Common Data Form', u čast NASA-inog ranijeg formata podataka iz 1980-ih koji je inspirisao NetCDF.
- Konvencije o metapodacima za klimu i prognozu (CF) standardizuju imena promenljivih tako da računarski modeli širom sveta međusobno razumeju jedni druge.
- Meteorološki centri koriste različite modele prognoze, računarske sisteme i formate podataka; NetCDF i GRIB se koriste u operativnoj meteorologiji.
Često postavljana tehnička pitanja
Šta je NetCDF (.nc) fajl?
NetCDF fajl je naučni format podataka koji koriste meteorolozi i okeanografi za skladištenje višedimenzionalnih podataka o vremenu, temperaturi, morskim strujama i klimi.
Kako mogu da pregledam NetCDF fajl?
Možete pregledati i prikazati NetCDF podatke pomoću NASA Panoply-ja, QGIS-a, Pythona (xarray/matplotlib) ili ih konvertovati u CSV/GeoJSON pomoću File2File.app.
Koja je razlika između NetCDF-3 i NetCDF-4?
NetCDF-3 je originalni binarni format sa ograničenjem varijabli od 2 GB. NetCDF-4 koristi HDF5 tehnologiju u pozadini, podržavajući kompresiju i neograničene veličine fajlova.