Siatka NetCDF (.nc)
OGC StandardowyNetwork Common Data Form (NetCDF) to uniwersalny format danych przeznaczony do badań atmosferycznych, prognozowania pogody, modelowania klimatu oraz oceanografii, standaryzowany przez Open Geospatial Consortium (OGC) oraz NOAA.
Konwertuj NETCDF na CSV
Darmowy konwerter z NETCDF na CSV w przeglądarce. Konwertuj pliki natychmiast na swoim urządzeniu.
Inspekcja i metadane
Systemy operacyjne i analizatory plików identyfikują pliki NetCDF, sprawdzając początkową sekwencję bajtów binarnych:
Podpis nagłówka na poziomie bajtów (Magic Bytes)
Systemy operacyjne i analizatory plików identyfikują pliki NetCDF, sprawdzając początkową sekwencję bajtów binarnych:
PODPIS HEX (OFFSET 0):
43 44 46 01 / 43 44 46 02REPREZENTACJA ASCII: CDF\x01 / CDF\x02
Normalizacja: OGC NetCDF Core Standard / NASA ESDS Standard
Specyfikacja techniczna
| Architektura kontenera | Classic CDF format (magic 'CDF\x01' or 'CDF\x02' 64-bit offset) or NetCDF-4 (HDF5 container with Climate and Forecast CF conventions) |
| Kompresja | Uncompressed (classic) or Deflate/Zstd chunk compression (NetCDF-4) |
| Kolejność bajtów (Endianness) | Big-Endian (classic) or Little/Big-Endian (NetCDF-4 HDF5) |
| Przestrzenie kolorów | N/A (Multi-dimensional Climate & Oceanographic Arrays) |
| Kanały i struktura | Multi-dimensional variables (temperature, salinity, pressure) mapped against dimensions (time, lat, lon, depth) |
| Maks. wymiary | Classic limited to 2 GB per variable; NetCDF-4 practically unlimited |
| Przezroczystość | None |
| Streaming i progresywne ładowanie | Record variable streaming allows continuously appending new timesteps |
Techniczna macierz porównawcza: NetCDF a konkurencja
| Atrybut techniczny | NetCDF (Bieżący) | HDF5 | GRIB | FITS |
|---|---|---|---|---|
| Główna domena | Meteorologia, oceanografia, klimat | Ogólne superkomputery i AI | Operacyjne numeryczne siatki pogodowe | Astronomia i astrofizyka |
| Standardy jednostek fizycznych | Konwencje CF (atrybut 'units') | Brak standaryzowanego schematu jednostek | Stałe parametry tabeli WMO | Standardowe jednostki astronomiczne FITS |
| Podstawowy silnik | Klasyczny CDF lub HDF5 (NetCDF-4) | Natywny kontener drzewa B HDF5 | Spakowane ramki strumienia bitów | 2880-bajtowe bloki nagłówka/danych |
| Standard OGC | Oficjalny standard nauk o Ziemi OGC | Nie jest standardem OGC | Międzynarodowy standard WMO | Międzynarodowy standard IAU |
Typowe tryby uszkodzeń i przewodnik odzyskiwania szesnastkowego
Oprogramowanie zgłasza błąd: 'NetCDF: Unknown file format'.
Główna przyczyna: Plik NetCDF-4 został otwarty za pomocą starszej biblioteki NetCDF-3 lub brakuje magicznych bajtów CDF.
Odzyskiwanie: Sprawdź wersję nagłówka lub skonwertuj plik za pomocą konwertera File2File NetCDF Converter.
Analiza bezpieczeństwa i wektory ataku na parser
Klasyczne biblioteki NetCDF oraz NetCDF-4 przetwarzają niezaufane liczby wymiarów, gdzie przepełnienie liczbowe może prowadzić do uszkodzenia pamięci.
Znane wektory ataku
- Przepełnienie liczbowe podczas obliczania iloczynu wymiarów w bibliotece libnetcdf.
- Nadmierny odczyt bufora podczas parsowania uszkodzonych ciągów tekstowych atrybutów.
- Odmowa usługi poprzez wadliwe offsety wymiarów rekordów.
Najlepsze praktyki obronne:
Pochodzenie historyczne i kamienie milowe
Główne zalety
- Globalny punkt odniesienia dla nauk o klimacie i meteorologii: używany przez NOAA, NASA, ECMWF oraz modele klimatyczne IPCC.
- Samoopisujący się: zmienne wyraźnie określają swoje jednostki fizyczne ('degrees_Celsius', 'hPa') oraz geograficzne osie współrzędnych.
- Dodawalne wymiary rekordów: stacje monitorowania pogody mogą stale dopisywać nowe pomiary godzinowe przez lata.
Ograniczenia techniczne i wady
- Dwuarkitekturowość: klasyczny NetCDF-3 używa niestandardowego ramkowania binarnego CDF, podczas gdy nowoczesny NetCDF-4 wykorzystuje HDF5.
- Wymaga geograficznego oprogramowania do wizualizacji (Panoply, QGIS, Python xarray) do poprawnego wyświetlania.
- Duże zestawy danych mogą zajmować dziesiątki gigabajtów na jedno uruchomienie symulacji.
Ciekawe informacje techniczne
- Pierwsze trzy bajty magiczne 'CDF' oznaczają 'Common Data Form', co stanowi hołd dla wcześniejszego formatu danych NASA z lat 80., który zainspirował NetCDF.
- Konwencje metadanych Climate and Forecast (CF) standaryzują nazwy zmiennych, dzięki czemu modele komputerowe na całym świecie rozumieją się nawzajem.
- Każda globalna prognoza pogody pokazywana w wiadomościach telewizyjnych została wygenerowana przy użyciu superkomputerów przetwarzających dane NetCDF.
Często zadawane pytania techniczne
Czym jest plik NetCDF (.nc)?
Plik NetCDF to naukowy format danych używany przez meteorologów i oceanografów do przechowywania wielowymiarowych danych o pogodzie, temperaturze, prądach oceanicznych i klimacie.
Jak mogę wyświetlić plik NetCDF?
Możesz wyświetlać i kreślić dane NetCDF za pomocą NASA Panoply, QGIS, Pythona (xarray/matplotlib) lub skonwertować je do formatu CSV/GeoJSON za pomocą File2File.app.
Jaka jest różnica między NetCDF-3 a NetCDF-4?
NetCDF-3 to oryginalny format binarny z limitem zmiennych wynoszącym 2 GB. NetCDF-4 wykorzystuje technologię HDF5 „pod maską”, obsługując kompresję i nieograniczone rozmiary plików.