กริดข้อมูล NetCDF (.nc)
OGC มาตรฐานNetwork Common Data Form (NetCDF) คือรูปแบบข้อมูลที่ใช้กันทั่วไปในงานวิจัยบรรยากาศ การพยากรณ์อากาศ การจำลองสภาพภูมิอากาศ และสมุทรศาสตร์ โดยมี Open Geospatial Consortium (OGC) และ NOAA กำหนดมาตรฐาน
แปลง NETCDF เป็น CSV
ตัวแปลงจาก NETCDF เป็น CSV ฟรีในเบราว์เซอร์ แปลงไฟล์ได้ทันทีบนอุปกรณ์ของคุณ
ตรวจสอบไฟล์และข้อมูลเมตา
ระบบปฏิบัติการและเครื่องมือวิเคราะห์ไฟล์จะระบุไฟล์ NetCDF โดยการตรวจสอบลำดับไบต์ไบนารีส่วนต้น:
ลายเซ็นส่วนหัวระดับไบต์
ระบบปฏิบัติการและเครื่องมือวิเคราะห์ไฟล์จะระบุไฟล์ NetCDF โดยการตรวจสอบลำดับไบต์ไบนารีส่วนต้น:
ลายเซ็น HEX (OFFSET 0):
43 44 46 01 / 43 44 46 02การแสดงผลรูปแบบ ASCII: CDF\x01 / CDF\x02
มาตรฐาน: OGC NetCDF Core Standard / NASA ESDS Standard
ข้อมูลจำเพาะทางเทคนิค
| สถาปัตยกรรมคอนเทนเนอร์ | รูปแบบ CDF คลาสสิก (magic 'CDF\x01' หรือ 'CDF\x02' พร้อมออฟเซ็ต 64 บิต) หรือ NetCDF-4 (คอนเทนเนอร์ HDF5 ที่ใช้ข้อกำหนด Climate and Forecast CF) |
| การบีบอัด | ไม่บีบอัด (รุ่นคลาสสิก) หรือบีบอัดชังก์ด้วย Deflate/Zstd (NetCDF-4) |
| การจัดลำดับไบต์ | ลำดับไบต์แบบ Big-Endian (รุ่นคลาสสิก) หรือ Little/Big-Endian (NetCDF-4 HDF5) |
| พื้นที่สี | ไม่เกี่ยวข้อง (อาร์เรย์ข้อมูลภูมิอากาศและสมุทรศาสตร์หลายมิติ) |
| ช่องสัญญาณและโครงสร้าง | ตัวแปรหลายมิติ (อุณหภูมิ, ความเค็ม, ความดัน) ที่แมปกับมิติ (เวลา, ละติจูด, ลองจิจูด, ความลึก) |
| ขนาดสูงสุด | รุ่นคลาสสิกจำกัดที่ 2 GB ต่อตัวแปร; NetCDF-4 แทบไม่จำกัดขนาด |
| ความโปร่งใส | ไม่มี |
| การสตรีมและแบบโปรเกรสซีฟ | การสตรีมตัวแปรระเบียนช่วยให้เพิ่มขั้นเวลาใหม่ต่อเนื่องได้ |
ตารางเปรียบเทียบทางเทคนิค: NetCDF กับคู่แข่ง
| คุณลักษณะทางเทคนิค | NetCDF (ปัจจุบัน) | HDF5 | GRIB | FITS |
|---|---|---|---|---|
| ขอบเขตการใช้งานหลัก | อุตุนิยมวิทยา สมุทรศาสตร์ และภูมิอากาศ | ซูเปอร์คอมพิวเตอร์ทั่วไปและ AI | กริดพยากรณ์อากาศเชิงตัวเลขปฏิบัติการ | ดาราศาสตร์และฟิสิกส์ดาราศาสตร์ |
| มาตรฐานหน่วยทางกายภาพ | อนุสัญญา CF (แอตทริบิวต์ 'units') | ไม่มีรูปแบบมาตรฐานสำหรับหน่วย | พารามิเตอร์ตาราง WMO คงที่ | หน่วยดาราศาสตร์มาตรฐาน FITS |
| เอนจินเบื้องหลัง | CDF แบบคลาสสิกหรือ HDF5 (NetCDF-4) | คอนเทนเนอร์ B-tree ของ HDF5 ดั้งเดิม | เฟรมบิตสตรีมแบบแพ็ก | บล็อกส่วนหัว/ข้อมูลขนาด 2880 ไบต์ |
| มาตรฐาน OGC | มาตรฐานด้านวิทยาศาสตร์โลกอย่างเป็นทางการของ OGC | ไม่ใช่มาตรฐาน OGC | มาตรฐานสากล WMO | มาตรฐานสากล IAU |
รูปแบบความเสียหายทั่วไปและคู่มือการกู้คืน Hex
ซอฟต์แวร์รายงานว่า 'NetCDF: Unknown file format'.
สาเหตุหลัก: เปิดไฟล์ NetCDF-4 ด้วยไลบรารี NetCDF-3 รุ่นเก่า หรือไฟล์ขาดลายเซ็น CDF
การกู้คืน: ตรวจสอบเวอร์ชันส่วนหัวหรือแปลงด้วยเครื่องมือ File2File.app NetCDF Converter
การวิเคราะห์ความปลอดภัยและเวกเตอร์การโจมตีตัวแยกวิเคราะห์
ไลบรารี NetCDF แบบคลาสสิกและ NetCDF-4 ประมวลผลจำนวนมิติที่ไม่น่าเชื่อถือ ซึ่งจำนวนเต็มล้น (Integer overflow) อาจทำให้เกิดความเสียหายต่อหน่วยความจำ
เวกเตอร์การโจมตีที่ทราบ
- จำนวนเต็มล้นระหว่างการคำนวณผลคูณมิติใน libnetcdf
- อ่านข้อมูลเกินขอบเขตบัฟเฟอร์ขณะแยกวิเคราะห์สตริงข้อความในแอตทริบิวต์ที่เสียหาย
- การปฏิเสธการให้บริการผ่านออฟเซ็ตมิติเรคคอร์ดที่ผิดรูปแบบ
แนวทางปฏิบัติที่ดีที่สุดในการป้องกัน: ประมวลผลไฟล์ NetCDF โดยใช้เอนจิ้น WebAssembly แบบแซนด์บ็อกซ์ที่ปลอดภัยต่อหน่วยความจำ
ประวัติความเป็นมาและเหตุการณ์สำคัญ
ข้อได้เปรียบและจุดเด่นสำคัญ
- NetCDF ใช้ในการวิจัยด้านภูมิอากาศและอุตุนิยมวิทยา รวมถึงเวิร์กโฟลว์ของแบบจำลองภูมิอากาศบางส่วน โดยการใช้งานแตกต่างกันไปตามโครงการและองค์กร
- อธิบายข้อมูลได้ในตัว: ตัวแปรระบุหน่วยทางกายภาพ ('degrees_Celsius', 'hPa') และแกนพิกัดทางภูมิศาสตร์ไว้อย่างชัดเจน
- เพิ่มข้อมูลตามมิติระเบียนได้: สถานีตรวจวัดอากาศสามารถเพิ่มค่าที่วัดได้รายชั่วโมงอย่างต่อเนื่องเป็นเวลาหลายปี
ข้อจำกัดทางเทคนิคและข้อควรพิจารณา
- มีสถาปัตยกรรมสองแบบ: NetCDF-3 รุ่นคลาสสิกใช้โครงสร้างห่อหุ้มข้อมูลไบนารี CDF ของตนเอง ส่วน NetCDF-4 รุ่นใหม่ใช้ HDF5 อยู่เบื้องหลัง
- ต้องใช้ซอฟต์แวร์การแสดงภาพทางภูมิศาสตร์ (Panoply, QGIS, Python xarray) เพื่อดูข้อมูลให้ถูกต้อง
- ชุดข้อมูลขนาดใหญ่อาจกินพื้นที่หลายสิบกิกะไบต์ต่อการรันการจำลองหนึ่งครั้ง
เกร็ดความรู้ทางเทคนิคที่น่าสนใจ
- ลายเซ็นสามไบต์แรก 'CDF' ย่อมาจาก 'Common Data Form' เพื่อเป็นเกียรติแก่รูปแบบข้อมูลของ NASA ในช่วงทศวรรษ 1980 ซึ่งเป็นแรงบันดาลใจให้ NetCDF
- ข้อกำหนด CF (Climate and Forecast Metadata Conventions) กำหนดชื่อของตัวแปรให้เป็นมาตรฐาน เพื่อให้แบบจำลองคอมพิวเตอร์ทั่วโลกทำงานร่วมกันได้
- ศูนย์พยากรณ์อากาศใช้แบบจำลอง ระบบคอมพิวเตอร์ และรูปแบบข้อมูลหลากหลาย โดย NetCDF และ GRIB ต่างก็ใช้ในอุตุนิยมวิทยาปฏิบัติการ
คำถามทางเทคนิคที่พบบ่อย
ไฟล์ NetCDF (.nc) คืออะไร
ไฟล์ NetCDF คือรูปแบบข้อมูลทางวิทยาศาสตร์ที่นักอุตุนิยมวิทยาและนักสมุทรศาสตร์ใช้เพื่อจัดเก็บข้อมูลสภาพอากาศ อุณหภูมิ กระแสน้ำ และสภาพภูมิอากาศแบบหลายมิติ
ดูข้อมูลในไฟล์ NetCDF ได้อย่างไร?
ดูและสร้างกราฟจากข้อมูล NetCDF ได้ด้วย NASA Panoply, QGIS หรือ Python (xarray/matplotlib) หรือแปลงเป็น CSV/GeoJSON ด้วย File2File.app
ความแตกต่างระหว่าง NetCDF-3 และ NetCDF-4 คืออะไร
NetCDF-3 เป็นรูปแบบไบนารีดั้งเดิมที่มีขีดจำกัดตัวแปร 2 GB ส่วน NetCDF-4 ใช้เทคโนโลยี HDF5 เบื้องหลัง ซึ่งรองรับการบีบอัดและขนาดไฟล์ที่ไม่จำกัด