กริดข้อมูล NetCDF (.nc)
OGC มาตรฐานNetwork Common Data Form (NetCDF) คือรูปแบบข้อมูลสากลสำหรับการวิจัยบรรยากาศ การพยากรณ์อากาศ การจำลองสภาพภูมิอากาศ และมหาสมุทร ซึ่งมาตรฐานโดย Open Geospatial Consortium (OGC) และ NOAA
แปลง NETCDF เป็น CSV
ตัวแปลงจาก NETCDF เป็น CSV ฟรีในเบราว์เซอร์ แปลงไฟล์ได้ทันทีบนอุปกรณ์ของคุณ
ตรวจสอบและดู Metadata
ระบบปฏิบัติการและเครื่องมือวิเคราะห์ไฟล์จะระบุไฟล์ NetCDF โดยการตรวจสอบลำดับไบต์ไบนารีส่วนต้น:
ลายเซ็นส่วนหัวในระดับไบต์ (Magic Bytes)
ระบบปฏิบัติการและเครื่องมือวิเคราะห์ไฟล์จะระบุไฟล์ NetCDF โดยการตรวจสอบลำดับไบต์ไบนารีส่วนต้น:
ลายเซ็น HEX (OFFSET 0):
43 44 46 01 / 43 44 46 02การแสดงผลรูปแบบ ASCII: CDF\x01 / CDF\x02
มาตรฐาน: OGC NetCDF Core Standard / NASA ESDS Standard
ข้อมูลจำเพาะทางเทคนิค
| สถาปัตยกรรมคอนเทนเนอร์ | Classic CDF format (magic 'CDF\x01' or 'CDF\x02' 64-bit offset) or NetCDF-4 (HDF5 container with Climate and Forecast CF conventions) |
| การบีบอัด | Uncompressed (classic) or Deflate/Zstd chunk compression (NetCDF-4) |
| การจัดลำดับไบต์ (Byte Endianness) | Big-Endian (classic) or Little/Big-Endian (NetCDF-4 HDF5) |
| พื้นที่สี | N/A (Multi-dimensional Climate & Oceanographic Arrays) |
| ช่องสัญญาณและโครงสร้าง | Multi-dimensional variables (temperature, salinity, pressure) mapped against dimensions (time, lat, lon, depth) |
| ขนาดสูงสุด | Classic limited to 2 GB per variable; NetCDF-4 practically unlimited |
| ความโปร่งใส | None |
| การสตรีมและแบบโปรเกรสซีฟ | Record variable streaming allows continuously appending new timesteps |
ตารางเปรียบเทียบทางเทคนิค: NetCDF กับคู่แข่ง
| คุณลักษณะทางเทคนิค | NetCDF (ปัจจุบัน) | HDF5 | GRIB | FITS |
|---|---|---|---|---|
| โดเมนหลัก | อุตุนิยมวิทยา, สมุทรศาสตร์, ภูมิอากาศ | ซูเปอร์คอมพิวเตอร์ทั่วไปและ AI | กริดพยากรณ์อากาศเชิงตัวเลขปฏิบัติการ | ดาราศาสตร์และฟิสิกส์ดาราศาสตร์ |
| มาตรฐานหน่วยทางกายภาพ | อนุสัญญา CF (แอตทริบิวต์ 'units') | ไม่มีสกีมาหน่วยมาตรฐาน | พารามิเตอร์ตาราง WMO คงที่ | หน่วยดาราศาสตร์มาตรฐาน FITS |
| เอนจินเบื้องหลัง | CDF แบบคลาสสิกหรือ HDF5 (NetCDF-4) | คอนเทนเนอร์ B-tree ของ HDF5 ดั้งเดิม | เฟรมบิตสตรีมแบบแพ็ก | บล็อกส่วนหัว/ข้อมูลขนาด 2880 ไบต์ |
| มาตรฐาน OGC | มาตรฐานวิทยาศาสตร์โลก OGC อย่างเป็นทางการ | ไม่ใช่มาตรฐาน OGC | มาตรฐานสากล WMO | มาตรฐานสากล IAU |
รูปแบบความเสียหายทั่วไปและคู่มือการกู้คืน Hex
ซอฟต์แวร์รายงานว่า 'NetCDF: Unknown file format'.
สาเหตุหลัก: ไฟล์ NetCDF-4 ถูกเปิดด้วยไลบรารี NetCDF-3 รุ่นเก่า หรือขาดไบต์เวทมนตร์ CDF
การกู้คืน: ตรวจสอบเวอร์ชันส่วนหัวหรือแปลงด้วยเครื่องมือ File2File NetCDF Converter
การวิเคราะห์ความปลอดภัยและเวกเตอร์การโจมตีตัวแยกวิเคราะห์
ไลบรารี NetCDF แบบคลาสสิกและ NetCDF-4 ประมวลผลจำนวนมิติที่ไม่น่าเชื่อถือ ซึ่งจำนวนเต็มล้น (Integer overflow) อาจทำให้เกิดความเสียหายต่อหน่วยความจำ
เวกเตอร์การโจมตีที่ทราบ
- จำนวนเต็มล้นระหว่างการคำนวณผลคูณมิติใน libnetcdf
- การอ่านบัฟเฟอร์เกินขอบเขตเมื่อแยกวิเคราะห์สตริงแอตทริบิวต์ข้อความที่เสียหาย
- การปฏิเสธการให้บริการผ่านออฟเซ็ตมิติเรคคอร์ดที่ผิดรูปแบบ
แนวทางปฏิบัติที่ดีที่สุดในการป้องกัน:
ประวัติความเป็นมาและเหตุการณ์สำคัญ
ข้อได้เปรียบและจุดเด่นสำคัญ
- มาตรฐานระดับโลกสำหรับวิทยาศาสตร์ภูมิอากาศและอุตุนิยมวิทยา: ใช้งานโดย NOAA, NASA, ECMWF และแบบจำลองภูมิอากาศ IPCC
- อธิบายตัวเองได้ในตัว: ตัวแปรระบุหน่วยทางกายภาพอย่างชัดเจน ('degrees_Celsius', 'hPa') และแกนพิกัดทางภูมิศาสตร์
- มิติเรคคอร์ดที่เพิ่มต่อได้: สถานีตรวจวัดอากาศสามารถเพิ่มการวัดรายชั่วโมงใหม่ต่อเนื่องไปได้หลายปี
ข้อจำกัดทางเทคนิคและข้อควรพิจารณา
- สถาปัตยกรรมแบบคู่: NetCDF-3 แบบคลาสสิกใช้เฟรมเวิร์ก CDF ไบนารีแบบกำหนดเอง ในขณะที่ NetCDF-4 สมัยใหม่ใช้ HDF5 อยู่เบื้องหลัง
- ต้องใช้ซอฟต์แวร์การแสดงภาพทางภูมิศาสตร์ (Panoply, QGIS, Python xarray) เพื่อดูข้อมูลให้ถูกต้อง
- ชุดข้อมูลขนาดใหญ่อาจกินพื้นที่หลายสิบกิกะไบต์ต่อการรันการจำลองหนึ่งครั้ง
เกร็ดความรู้ทางเทคนิคที่น่าสนใจ
- ไบต์เวทมนตร์สามตัวแรก 'CDF' ย่อมาจาก 'Common Data Form' เพื่อเป็นเกียรติแก่รูปแบบข้อมูลยุค 1980 ของ NASA ที่เป็นแรงบันดาลใจให้เกิด NetCDF
- อนุสัญญาเมทาดาตาสภาพอากาศและการพยากรณ์ (CF) ทำหน้าที่มาตรฐานชื่อตัวแปรเพื่อให้คอมพิวเตอร์จำลองทั่วโลกเข้าใจกันได้
- การพยากรณ์อากาศทั่วโลกทุกรายการที่แสดงทางข่าวโทรทัศน์ถูกสร้างขึ้นโดยใช้ซูเปอร์คอมพิวเตอร์ที่ประมวลผลข้อมูล NetCDF
คำถามทางเทคนิคที่พบบ่อย
ไฟล์ NetCDF (.nc) คืออะไร
ไฟล์ NetCDF คือรูปแบบข้อมูลทางวิทยาศาสตร์ที่นักอุตุนิยมวิทยาและนักสมุทรศาสตร์ใช้เพื่อจัดเก็บข้อมูลสภาพอากาศ อุณหภูมิ กระแสน้ำ และสภาพภูมิอากาศแบบหลายมิติ
ฉันจะดูไฟล์ NetCDF ได้อย่างไร
คุณสามารถดูและพล็อตข้อมูล NetCDF ได้โดยใช้ NASA Panoply, QGIS, Python (xarray/matplotlib) หรือแปลงเป็น CSV/GeoJSON ด้วย File2File.app
ความแตกต่างระหว่าง NetCDF-3 และ NetCDF-4 คืออะไร
NetCDF-3 เป็นรูปแบบไบนารีดั้งเดิมที่มีขีดจำกัดตัวแปร 2 GB ส่วน NetCDF-4 ใช้เทคโนโลยี HDF5 เบื้องหลัง ซึ่งรองรับการบีบอัดและขนาดไฟล์ที่ไม่จำกัด