Сетка NetCDF (.nc)
OGC СтандартNetwork Common Data Form (NetCDF) - это универсальный формат данных для атмосферных исследований, прогнозирования погоды, климатического моделирования и океанографии, стандартизированный Консорциумом Open Geospatial Consortium (OGC) и NOAA.
Конвертировать из NETCDF в CSV
Бесплатный конвертер из NETCDF в CSV прямо в браузере. Конвертируйте файлы мгновенно на вашем устройстве.
Анализ и метаданные
Операционные системы и анализаторы файлов идентифицируют файлы NetCDF по начальной двоичной последовательности байтов:
Сигнатура заголовка на уровне байтов (Magic Bytes)
Операционные системы и анализаторы файлов идентифицируют файлы NetCDF по начальной двоичной последовательности байтов:
HEX-СИГНАТУРА (СМЕЩЕНИЕ 0):
43 44 46 01 / 43 44 46 02ПРЕДСТАВЛЕНИЕ ASCII: CDF\x01 / CDF\x02
Стандартизация: OGC NetCDF Core Standard / NASA ESDS Standard
Технические спецификации
| Архитектура контейнера | Классический формат CDF (сигнатура 'CDF\x01' или 'CDF\x02' с 64-битным смещением) или NetCDF-4 (контейнер HDF5 с климатическими и прогнозными конвенциями CF) |
| Сжатие | Несжатый (классический) или чанковое сжатие Deflate/Zstd (NetCDF-4) |
| Порядок байтов (Endianness) | С старшим байтом вначале (классический) или с младшим/старшим байтом вначале (NetCDF-4 HDF5) |
| Цветовые пространства | Н/Д (Многомерные климатические и океанографические массивы) |
| Каналы и структура | Многомерные переменные (температура, соленость, давление), сопоставленные с измерениями (время, широта, долгота, глубина) |
| Макс. габариты | Классический ограничен до 2 ГБ на переменную; NetCDF-4 практически не ограничен |
| Прозрачность | Отсутствует |
| Потоковая передача и прогрессивная загрузка | Потоковая передача переменных записей позволяет непрерывно добавлять новые временные шаги |
Техническая матрица сравнения: NetCDF против конкурентов
| Технический атрибут | NetCDF (Текущий) | HDF5 | GRIB | FITS |
|---|---|---|---|---|
| Основной домен | Метеорология, океанография, климатология | Общие суперкомпьютерные вычисления и ИИ | Оперативные численные сетки погоды | Астрономия и астрофизика |
| Стандарты физических единиц | CF Conventions (атрибут 'units') | Нет стандартизированной схемы единиц | Фиксированные параметры таблиц WMO | Астрономические единицы стандарта FITS |
| Базовый движок | Классический CDF или HDF5 (NetCDF-4) | Родной контейнер B-дерева HDF5 | Упакованные фреймы битстрима | Блоки заголовочных данных и данных по 2880 байт |
| Стандарт OGC | Официальный стандарт наук о Земле OGC | Не является стандартом OGC | Международный стандарт WMO | Международный стандарт IAU |
Типичные режимы повреждения и руководство по восстановлению в HEX
ПО сообщает 'NetCDF: Unknown file format'.
Первопричина: Файл NetCDF-4 открыт устаревшей библиотекой NetCDF-3 или отсутствуют магические байты CDF.
Восстановление: Проверьте версию заголовка или конвертируйте с помощью File2File NetCDF Converter.
Анализ безопасности и векторы атак на парсер
Библиотеки классического NetCDF и NetCDF-4 обрабатывают ненадежные счетчики измерений, где переполнение целых чисел может привести к повреждению памяти.
Известные векторы атак
- Переполнение целых чисел при вычислениях произведений измерений в libnetcdf.
- Чтение за пределами буфера при синтаксическом анализе поврежденных текстовых строк атрибутов.
- Отказ в обслуживании через некорректные смещения измерений записей.
Защитные лучшие практики: Обрабатывайте файлы NetCDF с помощью безопасных для памяти изолированных движков WebAssembly.
Исторические истоки и вехи
Ключевые преимущества и плюсы
- Глобальный эталон для климатологии и метеорологии: используется NOAA, NASA, ECMWF и в климатических моделях МГЭИК.
- Самоописывающийся формат: переменные явно указывают свои физические единицы ('degrees_Celsius', 'hPa') и географические оси координат.
- Дополняемые измерения записей: станции мониторинга погоды могут непрерывно добавлять новые ежечасные измерения на протяжении многих лет.
Технические ограничения и минусы
- Двойная архитектура: классический NetCDF-3 использует пользовательскую бинарную структуру CDF, в то время как современный NetCDF-4 использует HDF5 под капотом.
- Требуется программное обеспечение для географической визуализации (Panoply, QGIS, Python xarray) для корректного просмотра.
- Большие наборы данных могут занимать десятки гигабайт на один запуск моделирования.
Интересные технические факты
- Первые три магических байта 'CDF' расшифровываются как 'Common Data Form' в честь более раннего формата данных NASA 1980-х годов, который вдохновил создание NetCDF.
- Климатические и прогнозные (CF) конвенции метаданных стандартизируют имена переменных так, чтобы компьютерные модели по всему миру понимали друг друга.
- Каждый глобальный прогноз погоды, показываемый в новостях по телевидению, был создан с помощью суперкомпьютеров, обрабатывающих данные NetCDF.
Часто задаваемые технические вопросы
Что такое файл NetCDF (.nc)?
Файл NetCDF - это формат научных данных, используемый метеорологами и океанографами для хранения многомерных данных о погоде, температуре, океанских течениях и климате.
Как посмотреть файл NetCDF?
Вы можете просматривать и строить графики данных NetCDF с помощью NASA Panoply, QGIS, Python (xarray/matplotlib) или конвертировать их в CSV/GeoJSON с помощью File2File.app.
В чем разница между NetCDF-3 и NetCDF-4?
NetCDF-3 - это оригинальный бинарный формат с лимитом переменных в 2 ГБ. NetCDF-4 использует технологию HDF5 «под капотом», поддерживая сжатие и неограниченные размеры файлов.