Сетка NetCDF (.nc)
OGC СтандартNetwork Common Data Form (NetCDF): универсальный формат данных для атмосферных исследований, прогнозирования погоды, климатического моделирования и океанографии, стандартизированный Консорциумом открытой геопространственной информации (OGC) и NOAA.
Конвертировать из NETCDF в CSV
Бесплатный конвертер из NETCDF в CSV прямо в браузере. Конвертируйте файлы мгновенно на Вашем устройстве.
Анализ и метаданные
Операционные системы и анализаторы файлов идентифицируют файлы NetCDF по начальной двоичной последовательности байтов:
Сигнатура заголовка на уровне байтов (Magic Bytes)
Операционные системы и анализаторы файлов идентифицируют файлы NetCDF по начальной двоичной последовательности байтов:
HEX-СИГНАТУРА (СМЕЩЕНИЕ 0):
43 44 46 01 / 43 44 46 02ПРЕДСТАВЛЕНИЕ ASCII: CDF\x01 / CDF\x02
Стандартизация: OGC NetCDF Core Standard / NASA ESDS Standard
Технические спецификации
| Архитектура контейнера | Классический формат CDF (сигнатура 'CDF\x01' или 'CDF\x02' с 64-битным смещением) или NetCDF-4 (контейнер HDF5 с климатическими и прогнозными конвенциями CF) |
| Сжатие | Несжатый (классический формат) или сжатие чанков с помощью Deflate/Zstd (NetCDF-4) |
| Порядок байтов (Endianness) | Со старшим байтом в начале (классический) или с младшим/старшим байтом в начале (NetCDF-4 HDF5) |
| Цветовые пространства | Н/Д (Многомерные климатические и океанографические массивы) |
| Каналы и структура | Многомерные переменные (температура, соленость, давление), сопоставленные с размерностями (время, широта, долгота, глубина) |
| Максимальные размеры | Классический формат ограничен 2 ГБ на переменную; формат NetCDF-4 практически не ограничен. |
| Прозрачность | Отсутствует |
| Потоковая передача и прогрессивная загрузка | Переменные записей можно дополнять новыми временными срезами. |
Техническая матрица сравнения: NetCDF с конкурентами
| Технический атрибут | NetCDF (Текущий) | HDF5 | GRIB | FITS |
|---|---|---|---|---|
| Основной домен | Метеорология, океанография, климатология | Общие суперкомпьютерные вычисления и ИИ | Оперативные численные сетки погоды | Астрономия и астрофизика |
| Стандарты физических единиц | Соглашения CF (атрибут units) | Нет стандартизированной схемы единиц | Фиксированные параметры таблиц WMO | Астрономические единицы стандарта FITS |
| Базовый движок | Классический CDF или HDF5 (NetCDF-4) | Встроенный контейнер HDF5 на основе B-дерева | Упакованные фреймы битстрима | Блоки заголовка и данных размером 2880 байт |
| Стандарт OGC | Официальный стандарт OGC в области наук о Земле | Не является стандартом OGC | Международный стандарт WMO | Международный стандарт IAU |
Распространенные сценарии повреждения и руководство по восстановлению в HEX
ПО сообщает 'NetCDF: Unknown file format'.
Первопричина: Файл NetCDF-4 открыт устаревшей библиотекой NetCDF-3 или отсутствуют магические байты CDF.
Восстановление: Проверьте версию заголовка или конвертируйте с помощью File2File.app NetCDF Converter.
Анализ безопасности и векторы атак на парсер
Библиотеки классического NetCDF и NetCDF-4 обрабатывают ненадежные счетчики измерений, где переполнение целых чисел может привести к повреждению памяти.
Известные векторы атак
- Переполнение целых чисел при вычислениях произведений измерений в libnetcdf.
- Чтение за пределами буфера при синтаксическом анализе поврежденных текстовых строк атрибутов.
- Отказ в обслуживании через некорректные смещения измерений записей.
Лучшие практики защиты: Обрабатывайте файлы NetCDF с помощью безопасных для памяти изолированных движков WebAssembly.
История происхождения и ключевые этапы
Ключевые преимущества и плюсы
- NetCDF используется в исследованиях климата и метеорологии, в том числе в некоторых рабочих процессах с климатическими моделями; применение зависит от проекта и организации.
- Самоописывающийся формат: переменные явно указывают физические единицы измерения (например, degrees_Celsius и hPa) и географические оси координат.
- Дополняемые размерности записей: станции мониторинга погоды могут добавлять новые почасовые измерения в течение многих лет.
Технические ограничения и минусы
- Две архитектуры: в классическом NetCDF-3 используется собственный бинарный формат CDF, а современный NetCDF-4 построен на основе HDF5.
- Требуется программное обеспечение для географической визуализации (Panoply, QGIS, Python xarray) для корректного просмотра.
- Большие наборы данных могут занимать десятки гигабайт на один запуск моделирования.
Интересные технические факты
- Первые три магических байта 'CDF' расшифровываются как 'Common Data Form' в честь более раннего формата данных NASA 1980-х годов, который вдохновил создание NetCDF.
- Соглашения CF о климате и прогнозах стандартизируют названия переменных, чтобы компьютерные модели по всему миру могли взаимодействовать.
- Каждый глобальный прогноз погоды, показываемый в новостях по телевидению, был создан с помощью суперкомпьютеров, обрабатывающих данные NetCDF.
Часто задаваемые технические вопросы
Что такое файл NetCDF (.nc)?
Файл NetCDF: это формат научных данных, используемый метеорологами и океанографами для хранения многомерных данных о погоде, температуре, океанских течениях и климате.
Как посмотреть файл NetCDF?
Вы можете просматривать и строить графики данных NetCDF с помощью NASA Panoply, QGIS, Python (xarray/matplotlib) или конвертировать их в CSV/GeoJSON с помощью File2File.app.
В чем разница между NetCDF-3 и NetCDF-4?
NetCDF-3: исходный бинарный формат с ограничением размера переменной в 2 ГБ. NetCDF-4 использует HDF5 и поддерживает сжатие и практически неограниченный размер файла.