NetCDF мрежа (.nc)
OGC СтандартNetwork Common Data Form (NetCDF) е широко използван формат за научни масиви от данни, включително за изследвания на атмосферата, климата и океаните. Използват се и други формати, а конвенциите зависят от проекта.
Конвертиране от NETCDF към CSV
Безплатен конвертор от NETCDF към CSV в браузъра. Конвертирайте файлове незабавно на вашето устройство.
Проверка и метаданни
Операционните системи и файловите анализатори идентифицират NetCDF файлове чрез проверка на началната двоична байтова последователност:
Байтов подпис на заглавката (сигнатурни байтове)
Операционните системи и файловите анализатори идентифицират NetCDF файлове чрез проверка на началната двоична байтова последователност:
HEX ПОДПИС (ОФСЕТ 0):
43 44 46 01 / 43 44 46 02ASCII ПРЕДСТАВЯНЕ: CDF\x01 / CDF\x02
Стандартизация: OGC NetCDF Core Standard / NASA ESDS Standard
Технически спецификации
| Контейнерна архитектура | Класически формат CDF (сигнатура 'CDF\\x01' или 'CDF\\x02' с 64-битово отместване) или NetCDF-4 (контейнер HDF5 с конвенциите Climate and Forecast (CF)) |
| Компресия | Без компресия (класически формат) или компресия на блокове Deflate/Zstd (NetCDF-4) |
| Поредност на байтовете (Endianness) | Класическият формат използва ред от старшия към младшия байт (Big-Endian); NetCDF-4 HDF5 поддържа ред от младшия към старшия (Little-Endian) или от старшия към младшия (Big-Endian). |
| Цветови пространства | Не се прилага (многомерни масиви за климатични и океанографски данни) |
| Канали и структура | Многомерни променливи (температура, соленост, налягане), съпоставени с измерения (време, ширина, дължина, дълбочина) |
| Максимални размери | При класическия формат има лимит от 2 GB за променлива; NetCDF-4 практически е без ограничение |
| Прозрачност | Няма |
| Поточно предаване и прогресивно зареждане | Потоковият запис на променливи позволява непрекъснато добавяне на нови времеви стъпки |
Техническа сравнителна матрица: NetCDF спрямо конкуренти
| Технически атрибут | NetCDF (Текущ) | HDF5 | GRIB | FITS |
|---|---|---|---|---|
| Основна област | Метеорология, океанография, климат | Общи изчисления със суперкомпютри и приложения на изкуствения интелект | Оперативни мрежови полета за числена прогноза на времето | Астрономия и астрофизика |
| Стандарти за физически единици | CF конвенции (атрибут 'units') | Няма стандартизирана схема за единици | Фиксирани параметри на таблици на СМО (WMO) | FITS стандартни астрономически единици |
| Основен двигател | Класически CDF или HDF5 (NetCDF-4) | Вграден контейнер на HDF5 с B-дърво | Пакетирани битови рамки | Блокове със заглавки и данни по 2880 байта |
| Стандарт на OGC | Официален стандарт за наука за Земята на OGC | Не е стандарт на OGC | Международен стандарт на СМО | Международен стандарт на IAU |
Често срещани видове повреди и ръководство за възстановяване на шестнадесетични данни
Софтуерът докладва 'NetCDF: Unknown file format'.
Първопричина: NetCDF-4 файл, отварян със стара библиотека NetCDF-3, или липсващи магически байтове CDF.
Възстановяване: Проверете версията на заглавната част или конвертирайте с File2File.app NetCDF Converter.
Анализ на сигурността и вектори на атака към парсера
Библиотеките Classic NetCDF и NetCDF-4 обработват ненадеждни стойности за броя на измеренията, при които препълването на цели числа може да причини повреда на паметта.
Известни вектори на атака
- Препълване на цели числа при изчисляване на произведението на размерностите в libnetcdf.
- Четене извън границите на буфера при парсване на повредени текстови низове на атрибути.
- Отказ от услуга чрез дефектни отмествания на измеренията на записите.
Най-добри практики за защита: Обработвайте NetCDF файлове с помощта на изолирани WebAssembly среди с безопасно управление на паметта.
Исторически произход и етапи
Основни предимства
- NetCDF се използва в изследванията на климата и метеорологията, включително в някои работни процеси с климатични модели; употребата му зависи от проекта и организацията.
- Самоописващ се: променливите изрично посочват своите физически единици ('degrees_Celsius', 'hPa') и географски координатни оси.
- Разширяеми измерения на записите: станциите за мониторинг на времето могат непрекъснато да добавят нови часови измервания в продължение на години.
Технически ограничения и минуси
- Двойна архитектура: класическият NetCDF-3 използва собствено двоично форматиране CDF, докато модерният NetCDF-4 използва HDF5 под капака.
- Изисква софтуер за географска визуализация (Panoply, QGIS, Python xarray), за да се преглежда правилно.
- Големите масиви от данни могат да обхващат десетки гигабайти за едно изпълнение на симулацията.
Интересни технически факти
- Първите три магически байта 'CDF' означават 'Common Data Form' (Общ формат за данни), отдавайки почит на по-ранния формат за данни на НАСА от 80-те години на миналия век, който вдъхновява NetCDF.
- Конвенциите за метаданни Climate and Forecast (CF) стандартизират имената на променливите, така че компютърните модели по целия свят да се разбират взаимно.
- Центровете за прогноза на времето използват различни прогностични модели, изчислителни системи и формати на данни; в оперативната метеорология се използват както NetCDF, така и GRIB.
Често задавани технически въпроси
Какво представлява NetCDF (.nc) файлът?
NetCDF файлът е научен формат за данни, използван от метеоролози и океанографи за съхраняване на многоизмерни данни за времето, температурата, океанските течения и климата.
Как мога да прегледам NetCDF файл?
Можете да преглеждате и чертаете NetCDF данни с NASA Panoply, QGIS или Python (xarray/matplotlib), или да ги конвертирате в CSV/GeoJSON с File2File.app.
Каква е разликата между NetCDF-3 и NetCDF-4?
NetCDF-3 е оригиналният двоичен формат с ограничение от 2 GB за променливите. NetCDF-4 използва технологията HDF5 и поддържа компресия и файлове с неограничен размер.