Сітка NetCDF (.nc)
OGC СтандартМережевий загальний формат даних (NetCDF): це універсальний формат даних для досліджень атмосфери, прогнозування погоди, кліматичного моделювання та океанографії, стандартизований Геопросторовим консорціумом (OGC) та NOAA.
Конвертувати з NETCDF у CSV
Безкоштовний конвертер з NETCDF у CSV у браузері. Миттєво конвертуйте файли на своєму пристрої.
Аналіз та метадані
Операційні системи та аналізатори файлів ідентифікують файли NetCDF, перевіряючи початкову послідовність бінарних байтів:
Сигнатура заголовка на байтовому рівні (Magic Bytes)
Операційні системи та аналізатори файлів ідентифікують файли NetCDF, перевіряючи початкову послідовність бінарних байтів:
ШІСТНАДЦЯТКОВА СИГНАТУРА (ЗСУВ 0):
43 44 46 01 / 43 44 46 02ПОДАННЯ В ASCII: CDF\x01 / CDF\x02
Стандартизація: OGC NetCDF Core Standard / NASA ESDS Standard
Технічні характеристики
| Архітектура контейнера | Класичний формат CDF (магічні байти «CDF\x01» або «CDF\x02» зі 64-бітним зміщенням) або NetCDF-4 (контейнер HDF5 із конвенціями Climate and Forecast (CF)) |
| Стиснення | Без стиснення (класичний формат) або стиснення блоків Deflate/Zstd (NetCDF-4) |
| Порядок байтів (Endianness) | Порядок байтів від старшого до молодшого (класичний формат) або від молодшого до старшого чи від старшого до молодшого (NetCDF-4 HDF5) |
| Колірні простори | Не застосовується (багатовимірні кліматичні й океанографічні масиви) |
| Канали та структура | Багатовимірні змінні (температура, солоність, тиск), пов’язані з вимірами (час, широта, довгота, глибина) |
| Максимальні розміри | Класичний формат обмежує розмір кожної змінної до 2 ГБ; NetCDF-4 практично не має обмежень |
| Прозорість | Немає |
| Потокове та прогресивне завантаження | Потокове передавання змінної запису дає змогу безперервно додавати нові часові кроки |
Технічна матриця порівняння: NetCDF проти конкурентів
| Технічний атрибут | NetCDF (Поточний) | HDF5 | GRIB | FITS |
|---|---|---|---|---|
| Основна доменна область | Метеорологія, океанографія, клімат | Загальні суперкомп'ютери та ШІ | Операційні числові сітки погоди | Астрономія та астрофізика |
| Стандарти фізичних одиниць | Конвенції CF (атрибут 'units') | Відсутня стандартизована схема одиниць | Фіксовані параметри таблиць ВМО | Астрономічні одиниці стандарту FITS |
| Базовий рушій | Класичний CDF або HDF5 (NetCDF-4) | Вбудований контейнер HDF5 із B-деревом | Упаковані фрейми бітового потоку | Блоки заголовка/даних по 2880 байтів |
| Стандарт OGC | Офіційний стандарт наук про Землю OGC | Не є стандартом OGC | Міжнародний стандарт ВМО | Міжнародний стандарт МАС |
Типові режими пошкодження та посібник з відновлення в шістнадцятковому форматі
Програмне забезпечення повідомляє 'NetCDF: Unknown file format' (NetCDF: невідомий формат файлу).
Першопричина: Файл NetCDF-4 відкрито за допомогою застарілої бібліотеки NetCDF-3 або відсутні магічні байти CDF.
Відновлення: Перевірте версію заголовка або конвертуйте за допомогою конвертера File2File.app NetCDF.
Аналіз безпеки та векторів атак на парсери
Класичні бібліотеки NetCDF та NetCDF-4 обробляють недовірені значення кількості вимірів, а переповнення цілих чисел може призвести до пошкодження пам'яті.
Відомі вектори атак
- Переповнення цілих чисел під час обчислень добутків розмірностей у libnetcdf.
- Надмірне читання буфера під час синтаксичного аналізу пошкоджених текстових рядків атрибутів.
- Відмова в обслуговуванні через пошкоджені зміщення розмірності запису.
Рекомендації щодо захисту: Обробляйте файли NetCDF у пісочницях WebAssembly, що безпечно працюють із пам’яттю.
Історичне походження та віхи
Основні переваги
- NetCDF використовують у дослідженнях клімату й метеорології, зокрема в деяких робочих процесах із кліматичними моделями; використання залежить від проєкту та організації.
- Самоописовий формат: змінні явно вказують фізичні одиниці ('degrees_Celsius', 'hPa') і осі географічних координат.
- Розмірності записів, що розширюються: станції моніторингу погоди можуть безперервно додавати нові погодинні вимірювання роками.
Технічні обмеження та недоліки
- Дві архітектури: класичний NetCDF-3 використовує власний двійковий формат CDF, а сучасний NetCDF-4 використовує HDF5.
- Вимагає програмного забезпечення для географічної візуалізації (Panoply, QGIS, Python xarray) для коректного перегляду.
- Великі набори даних можуть охоплювати десятки гігабайтів на один прогін симуляції.
Цікаві технічні факти
- Перші три магічні байти 'CDF' розшифровуються як 'Common Data Form' (Загальний формат даних), вшановуючи попередній формат даних NASA 1980-х років, який надихнув NetCDF.
- Конвенції метаданих Climate and Forecast (CF) стандартизують імена змінних, щоб комп'ютерні моделі по всьому світу розуміли одна одну.
- Метеорологічні центри використовують різні моделі прогнозування, обчислювальні системи й формати даних; NetCDF і GRIB застосовують в оперативній метеорології.
Поширені технічні запитання
Що таке файл NetCDF (.nc)?
Файл NetCDF: це науковий формат даних, який використовується метеорологами та океанографами для зберігання багатовимірних даних про погоду, температуру, океанічні течії та клімат.
Як переглянути файл NetCDF?
Ви можете переглядати та будувати графіки даних NetCDF за допомогою NASA Panoply, QGIS, Python (xarray/matplotlib) або конвертувати їх у CSV/GeoJSON за допомогою File2File.app.
У чому різниця між NetCDF-3 та NetCDF-4?
NetCDF-3: це оригінальний бінарний формат із лімітом змінних у 2 ГБ. NetCDF-4 використовує технологію HDF5 під капотом, підтримуючи стиснення та необмежені розміри файлів.