Сітка NetCDF (.nc)
OGC СтандартМережевий загальний формат даних (NetCDF) - це універсальний формат даних для досліджень атмосфери, прогнозування погоди, кліматичного моделювання та океанографії, стандартизований Огеопросторовим консорціумом (OGC) та NOAA.
Конвертувати з NETCDF у CSV
Безкоштовний конвертер з NETCDF у CSV у браузері. Миттєво конвертуйте файли на своєму пристрої.
Аналіз та метадані
Операційні системи та аналізатори файлів ідентифікують файли NetCDF, перевіряючи початкову послідовність бінарних байтів:
Сигнатура заголовка на байтовому рівні (Magic Bytes)
Операційні системи та аналізатори файлів ідентифікують файли NetCDF, перевіряючи початкову послідовність бінарних байтів:
ШІСТНАДЦЯТКОВА СИГНАТУРА (ЗСУВ 0):
43 44 46 01 / 43 44 46 02ASCII-УЯВЛЕННЯ: CDF\x01 / CDF\x02
Стандартизація: OGC NetCDF Core Standard / NASA ESDS Standard
Технічні характеристики
| Архітектура контейнера | Classic CDF format (magic 'CDF\x01' or 'CDF\x02' 64-bit offset) or NetCDF-4 (HDF5 container with Climate and Forecast CF conventions) |
| Стиснення | Uncompressed (classic) or Deflate/Zstd chunk compression (NetCDF-4) |
| Порядок байтів (Endianness) | Big-Endian (classic) or Little/Big-Endian (NetCDF-4 HDF5) |
| Колірні простори | N/A (Multi-dimensional Climate & Oceanographic Arrays) |
| Канали та структура | Multi-dimensional variables (temperature, salinity, pressure) mapped against dimensions (time, lat, lon, depth) |
| Максимальні розміри | Classic limited to 2 GB per variable; NetCDF-4 practically unlimited |
| Прозорість | None |
| Потокове та прогресивне завантаження | Record variable streaming allows continuously appending new timesteps |
Технічна матриця порівняння: NetCDF проти конкурентів
| Технічний атрибут | NetCDF (Поточний) | HDF5 | GRIB | FITS |
|---|---|---|---|---|
| Основна доменна область | Метеорологія, океанографія, клімат | Загальні суперкомп'ютери та ШІ | Операційні числові сітки погоди | Астрономія та астрофізика |
| Стандарти фізичних одиниць | Конвенції CF (атрибут 'units') | Відсутня стандартизована схема одиниць | Фіксовані параметри таблиць ВМО | Астрономічні одиниці стандарту FITS |
| Базовий рушій | Класичний CDF або HDF5 (NetCDF-4) | Рідний контейнер B-дерева HDF5 | Упаковані фрейми бітового потоку | Блоки заголовка/даних по 2880 байтів |
| Стандарт OGC | Офіційний стандарт наук про Землю OGC | Не є стандартом OGC | Міжнародний стандарт ВМО | Міжнародний стандарт МАС |
Типові режими пошкодження та посібник з відновлення в шістнадцятковому форматі
Програмне забезпечення повідомляє 'NetCDF: Unknown file format' (NetCDF: невідомий формат файлу).
Першопричина: Файл NetCDF-4 відкрито за допомогою застарілої бібліотеки NetCDF-3 або відсутні магічні байти CDF.
Відновлення: Перевірте версію заголовка або конвертуйте за допомогою конвертера File2File NetCDF.
Аналіз безпеки та векторів атак на парсери
Класичні бібліотеки NetCDF та NetCDF-4 обробляють недовірену кількість розмірностей, де переповнення цілих чисел може призвести до пошкодження пам'яті.
Відомі вектори атак
- Переповнення цілих чисел під час обчислень добутків розмірностей у libnetcdf.
- Надмірне читання буфера під час синтаксичного аналізу пошкоджених текстових рядків атрибутів.
- Відмова в обслуговуванні через пошкоджені зміщення розмірності запису.
Захисні найкращі практики:
Історичне походження та віхи
Головні переваги та плюси
- Глобальний орієнтир для кліматології та метеорології: використовується NOAA, NASA, ECMWF та кліматичними моделями IPCC.
- Самоописуваний: змінні явно вказують свої фізичні одиниці ('degrees_Celsius', 'hPa') та географічні координатні осі.
- Розмірності записів, що розширюються: станції моніторингу погоди можуть безперервно додавати нові погодинні вимірювання роками.
Технічні обмеження та мінуси
- Подвійна архітектура: класичний NetCDF-3 використовує спеціальну бінарну рамку CDF, тоді як сучасний NetCDF-4 використовує HDF5 "під капотом".
- Вимагає програмного забезпечення для географічної візуалізації (Panoply, QGIS, Python xarray) для коректного перегляду.
- Великі набори даних можуть охоплювати десятки гігабайтів на один прогін симуляції.
Цікаві технічні факти
- Перші три магічні байти 'CDF' розшифровуються як 'Common Data Form' (Загальний формат даних), вшановуючи попередній формат даних NASA 1980-х років, який надихнув NetCDF.
- Конвенції метаданих Climate and Forecast (CF) стандартизують імена змінних, щоб комп'ютерні моделі по всьому світу розуміли одна одну.
- Кожен глобальний прогноз погоди, який показують у телевізійних новинах, було згенеровано за допомогою суперкомп'ютерів, що обробляють дані NetCDF.
Поширені технічні запитання
Що таке файл NetCDF (.nc)?
Файл NetCDF — це науковий формат даних, який використовується метеорологами та океанографами для зберігання багатовимірних даних про погоду, температуру, океанічні течії та клімат.
Як переглянути файл NetCDF?
Ви можете переглядати та будувати графіки даних NetCDF за допомогою NASA Panoply, QGIS, Python (xarray/matplotlib) або конвертувати їх у CSV/GeoJSON за допомогою File2File.app.
У чому різниця між NetCDF-3 та NetCDF-4?
NetCDF-3 — це оригінальний бінарний формат із лімітом змінних у 2 ГБ. NetCDF-4 використовує технологію HDF5 під капотом, підтримуючи стиснення та необмежені розміри файлів.