Lưới NetCDF (.nc)
OGC Tiêu chuẩnĐịnh dạng Dữ liệu Chung trên Mạng (NetCDF) là định dạng dữ liệu phổ quát cho nghiên cứu khí quyển, dự báo thời tiết, mô hình hóa khí hậu và hải dương học, được tiêu chuẩn hóa bởi Tập đoàn Không gian Địa lý Mở (OGC) và NOAA.
Chuyển đổi NETCDF sang CSV
Trình chuyển đổi từ NETCDF sang CSV miễn phí trên trình duyệt. Chuyển đổi tệp ngay lập tức trên thiết bị của bạn.
Kiểm tra & Siêu dữ liệu
Các hệ điều hành và trình phân tích tệp nhận dạng tệp NetCDF bằng cách kiểm tra chuỗi byte nhị phân đầu tệp:
Chữ ký ở đầu tệp (mẫu byte nhận diện)
Các hệ điều hành và trình phân tích tệp nhận dạng tệp NetCDF bằng cách kiểm tra chuỗi byte nhị phân đầu tệp:
CHỮ KÝ HEX (OFFSET 0):
43 44 46 01 / 43 44 46 02BIỂU DIỄN ASCII: CDF\x01 / CDF\x02
Tiêu chuẩn hóa: OGC NetCDF Core Standard / NASA ESDS Standard
Thông số kỹ thuật
| Kiến trúc Container | Định dạng CDF cổ điển (magic 'CDF\x01' hoặc 'CDF\x02' với độ lệch 64 bit) hoặc NetCDF-4 (vùng chứa HDF5 theo quy ước Khí hậu và Dự báo CF) |
| Nén | Không nén (cổ điển) hoặc nén theo khối Deflate/Zstd (NetCDF-4) |
| Thứ tự byte | Big-endian (cổ điển) hoặc little/big-endian (NetCDF-4 HDF5) |
| Không gian màu | Không áp dụng (mảng khí hậu và hải dương học đa chiều) |
| Kênh & Cấu trúc | Biến đa chiều (nhiệt độ, độ mặn, áp suất) ánh xạ theo các chiều (thời gian, vĩ độ, kinh độ, độ sâu) |
| Kích thước tối đa | Bản cổ điển giới hạn 2 GB mỗi biến; NetCDF-4 thực tế không giới hạn |
| Độ trong suốt | Không có |
| Truyền phát & Tăng dần | Truyền biến bản ghi cho phép nối thêm các bước thời gian mới liên tục |
Ma trận so sánh kỹ thuật: NetCDF so với các đối thủ
| Thuộc tính kỹ thuật | NetCDF (Hiện tại) | HDF5 | GRIB | FITS |
|---|---|---|---|---|
| Lĩnh vực chính | Khí tượng học, Hải dương học, Khí hậu | Siêu máy tính tổng quát & AI | Lưới dự báo thời tiết nghiệp vụ | Thiên văn học & Vật lý thiên văn |
| Tiêu chuẩn đơn vị vật lý | Quy ước CF (thuộc tính 'units') | Không có lược đồ đơn vị chuẩn hóa | Tham số bảng WMO cố định | Đơn vị thiên văn chuẩn FITS |
| Công cụ cơ bản | CDF cổ điển hoặc HDF5 (NetCDF-4) | Bộ chứa B-tree HDF5 gốc | Khung dòng bit được đóng gói | Khối tiêu đề/dữ liệu 2880 byte |
| Chuẩn OGC | Tiêu chuẩn Khoa học Trái Đất OGC chính thức | Không phải chuẩn OGC | Tiêu chuẩn quốc tế WMO | Tiêu chuẩn quốc tế IAU |
Các dạng hỏng thường gặp và hướng dẫn khôi phục bằng mã hex
Phần mềm báo cáo 'NetCDF: Unknown file format'.
Nguyên nhân gốc rễ: Tệp NetCDF-4 được mở bằng thư viện NetCDF-3 cũ hoặc bị thiếu byte nhận diện CDF.
Khắc phục: Kiểm tra phiên bản tiêu đề hoặc chuyển đổi bằng Trình chuyển đổi NetCDF của File2File.app.
Phân tích bảo mật và các đường tấn công nhằm vào bộ phân tích cú pháp
Các thư viện NetCDF cổ điển và NetCDF-4 xử lý số lượng chiều không đáng tin cậy, nơi tình trạng tràn số nguyên có thể gây hỏng bộ nhớ.
Các véc-tơ tấn công đã biết
- Tràn số nguyên trong quá trình tính toán tích số chiều trong libnetcdf.
- Đọc quá giới hạn bộ đệm khi phân tích chuỗi văn bản thuộc tính bị hỏng.
- Từ chối dịch vụ thông qua các độ lệch chiều bản ghi bị lỗi.
Biện pháp phòng thủ tốt nhất: Xử lý các tệp NetCDF bằng các công cụ WebAssembly chạy trong môi trường cách ly và an toàn về bộ nhớ.
Nguồn gốc lịch sử và các cột mốc
Ưu điểm & Lợi ích chính
- NetCDF được dùng trong nghiên cứu khí hậu và khí tượng, bao gồm một số quy trình làm việc với mô hình khí hậu; mức độ sử dụng tùy theo dự án và tổ chức.
- Tự mô tả: các biến nêu rõ các đơn vị vật lý của chúng ('degrees_Celsius', 'hPa') và các trục tọa độ địa lý.
- Các chiều bản ghi có thể nối thêm: các trạm giám sát thời tiết có thể liên tục nối thêm các phép đo hàng giờ mới qua nhiều năm.
Hạn chế & Nhược điểm kỹ thuật
- Kiến trúc kép: NetCDF-3 cổ điển sử dụng khung CDF nhị phân tùy chỉnh, trong khi NetCDF-4 hiện đại sử dụng HDF5 bên dưới.
- Yêu cầu phần mềm trực quan hóa địa lý (Panoply, QGIS, Python xarray) để xem đúng cách.
- Các tập dữ liệu lớn có thể trải rộng hàng chục gigabyte cho mỗi lần chạy mô phỏng.
Thông tin kỹ thuật thú vị
- Ba byte nhận diện đầu tiên 'CDF' là viết tắt của 'Common Data Form' (Dạng dữ liệu chung), để ghi nhận định dạng dữ liệu trước đó của NASA trong thập niên 1980 đã truyền cảm hứng cho NetCDF.
- Các Quy ước Siêu dữ liệu Khí hậu và Dự báo (CF) tiêu chuẩn hóa tên biến để các mô hình máy tính trên toàn thế giới có thể hiểu nhau.
- Các trung tâm dự báo thời tiết dùng nhiều mô hình, hệ thống tính toán và định dạng dữ liệu; NetCDF và GRIB đều được dùng trong khí tượng nghiệp vụ.
Các câu hỏi kỹ thuật thường gặp
Tệp NetCDF (.nc) là gì?
Tệp NetCDF là định dạng dữ liệu khoa học được các nhà khí tượng học và hải dương học sử dụng để lưu trữ dữ liệu thời tiết, nhiệt độ, hải lưu và khí hậu đa chiều.
Làm thế nào để xem tệp NetCDF?
Bạn có thể xem và vẽ biểu đồ dữ liệu NetCDF bằng NASA Panoply, QGIS, Python (xarray/matplotlib), hoặc chuyển đổi nó sang CSV/GeoJSON bằng File2File.app.
Sự khác biệt giữa NetCDF-3 và NetCDF-4 là gì?
NetCDF-3 là định dạng nhị phân gốc với giới hạn biến 2 GB. NetCDF-4 sử dụng công nghệ HDF5 bên dưới, hỗ trợ nén và kích thước tệp không giới hạn.