Siatka NetCDF (.nc)
OGC StandardNetwork Common Data Form (NetCDF) to uniwersalny format danych w badaniach atmosfery, prognozowaniu pogody, modelowaniu klimatu i oceanografii. Jest standaryzowany przez Open Geospatial Consortium (OGC) i NOAA.
Konwertuj NETCDF na CSV
Darmowy konwerter z NETCDF na CSV w przeglądarce. Konwertuj pliki natychmiast na swoim urządzeniu.
Inspekcja i metadane
Systemy operacyjne i analizatory plików identyfikują pliki NetCDF, sprawdzając początkową sekwencję bajtów binarnych:
Podpis nagłówka na poziomie bajtów (Magic Bytes)
Systemy operacyjne i analizatory plików identyfikują pliki NetCDF, sprawdzając początkową sekwencję bajtów binarnych:
PODPIS HEX (OFFSET 0):
43 44 46 01 / 43 44 46 02REPREZENTACJA ASCII: CDF\x01 / CDF\x02
Normalizacja: OGC NetCDF Core Standard / NASA ESDS Standard
Specyfikacja techniczna
| Architektura kontenera | Klasyczny format CDF (sygnatura „CDF\x01” lub „CDF\x02” z 64-bitowym przesunięciem) albo NetCDF-4 (kontener HDF5 zgodny z konwencjami Climate and Forecast) |
| Kompresja | Brak kompresji w klasycznym formacie lub kompresja fragmentów Deflate/Zstd w NetCDF-4 |
| Kolejność bajtów (Endianness) | Big-Endian w klasycznym formacie lub Little-Endian w NetCDF-4 |
| Przestrzenie kolorów | Nie dotyczy (wielowymiarowe tablice klimatyczne i oceanograficzne) |
| Kanały i struktura | Wielowymiarowe zmienne (temperatura, zasolenie, ciśnienie) przypisane do wymiarów czasu, szerokości i długości geograficznej oraz głębokości |
| Maks. wymiary | Klasyczny format ogranicza każdą zmienną do 2 GB; NetCDF-4 nie ma praktycznego limitu |
| Przezroczystość | None |
| Streaming i progresywne ładowanie | Zmienna rekordowa umożliwia strumieniowe dopisywanie kolejnych kroków czasowych |
Techniczna macierz porównawcza: NetCDF a konkurencja
| Atrybut techniczny | NetCDF (Bieżący) | HDF5 | GRIB | FITS |
|---|---|---|---|---|
| Główna dziedzina | Meteorologia, oceanografia, klimat | Obliczenia superkomputerowe ogólnego przeznaczenia i sztuczna inteligencja | Operacyjne numeryczne siatki pogodowe | Astronomia i astrofizyka |
| Standardy jednostek fizycznych | Konwencje CF (atrybut 'units') | Brak standaryzowanego schematu jednostek | Stałe parametry tabeli WMO | Standardowe jednostki astronomiczne FITS |
| Podstawowy silnik | Klasyczny CDF lub HDF5 (NetCDF-4) | Natywny kontener drzewa B HDF5 | Upakowane ramki strumienia bitów | 2880-bajtowe bloki nagłówka/danych |
| Standard OGC | Oficjalny standard OGC w naukach o Ziemi | Nie jest standardem OGC | Międzynarodowy standard WMO | Międzynarodowy standard IAU |
Typowe tryby uszkodzeń i przewodnik odzyskiwania szesnastkowego
Oprogramowanie zgłasza błąd: 'NetCDF: Unknown file format'.
Główna przyczyna: Plik NetCDF-4 został otwarty za pomocą starszej biblioteki NetCDF-3 lub brakuje magicznych bajtów CDF.
Odzyskiwanie: Sprawdź wersję nagłówka lub skonwertuj plik za pomocą konwertera File2File.app NetCDF Converter.
Analiza bezpieczeństwa i wektory ataku na parser
Klasyczne biblioteki NetCDF oraz biblioteki NetCDF-4 przetwarzają niezaufane liczby określające wymiary; ich przepełnienie może prowadzić do uszkodzenia pamięci.
Znane wektory ataku
- Przepełnienie liczbowe podczas obliczania iloczynu wymiarów w bibliotece libnetcdf.
- Odczyt poza zakresem bufora podczas parsowania uszkodzonych ciągów tekstowych atrybutów.
- Odmowa usługi poprzez wadliwe offsety wymiarów rekordów.
Najlepsze praktyki obronne: Przetwarzaj pliki NetCDF przy użyciu bezpiecznych pod względem pamięci i odizolowanych silników WebAssembly.
Pochodzenie historyczne i kamienie milowe
Główne zalety
- NetCDF jest używany w badaniach klimatu i meteorologii, w tym w niektórych procesach pracy z modelami klimatycznymi; jego wykorzystanie zależy od projektu i organizacji.
- Format samoopisujący: zmienne jawnie określają jednostki fizyczne („degrees_Celsius”, „hPa”) oraz osie współrzędnych geograficznych.
- Wymiary rekordowe umożliwiają dopisywanie danych: stacje monitorujące pogodę mogą przez lata dodawać nowe pomiary co godzinę.
Ograniczenia techniczne i wady
- Dwie architektury: klasyczny NetCDF-3 używa własnego formatu binarnego CDF, a nowszy NetCDF-4 wykorzystuje HDF5.
- Do prawidłowego wyświetlania potrzebne jest oprogramowanie do wizualizacji danych geograficznych (Panoply, QGIS, Python xarray).
- Duże zestawy danych mogą zajmować dziesiątki gigabajtów na jedno uruchomienie symulacji.
Ciekawe informacje techniczne
- Pierwsze trzy bajty identyfikujące format, „CDF”, oznaczają „Common Data Form” i upamiętniają wcześniejszy format danych NASA z lat 80., który zainspirował NetCDF.
- Konwencje metadanych Climate and Forecast (CF) standaryzują nazwy zmiennych, dzięki czemu modele komputerowe na całym świecie rozumieją się nawzajem.
- Każda globalna prognoza pogody pokazywana w telewizji została wygenerowana przez superkomputery przetwarzające dane NetCDF.
Często zadawane pytania techniczne
Czym jest plik NetCDF (.nc)?
Plik NetCDF to naukowy format danych używany przez meteorologów i oceanografów do przechowywania wielowymiarowych danych o pogodzie, temperaturze, prądach oceanicznych i klimacie.
Jak mogę wyświetlić plik NetCDF?
Możesz wyświetlać i kreślić dane NetCDF za pomocą NASA Panoply, QGIS, Pythona (xarray/matplotlib) lub skonwertować je do formatu CSV/GeoJSON za pomocą File2File.app.
Jaka jest różnica między NetCDF-3 a NetCDF-4?
NetCDF-3 to pierwotny format binarny, w którym rozmiar każdej zmiennej jest ograniczony do 2 GB. NetCDF-4 wykorzystuje technologię HDF5, obsługuje kompresję i nie ma praktycznego limitu rozmiaru pliku.