רשת NetCDF (.nc)
OGC תקןטופס נתונים משותף לרשת (NetCDF) הוא פורמט הנתונים האוניברסלי למחקר אטמוספרי, תחזית מזג אוויר, מידול אקלים ואוקיאנוגרפיה, מתוקנן על ידי הקונסורציום הגאוספטיבי הפתוח (OGC) ו-NOAA.
המר NETCDF ל-CSV
ממיר חינמי מ-NETCDF ל-CSV פועל בדפדפן. המר קבצים באופן מיידי במכשיר שלך.
בדיקה ומטא-דאטה
מערכות הפעלה ומנתחי קבצים מזהים קבצי NetCDF על ידי בדיקת רצף הבייטים הבינארי הראשוני:
חתימת כותרת ברמת הבייט (Magic Bytes)
מערכות הפעלה ומנתחי קבצים מזהים קבצי NetCDF על ידי בדיקת רצף הבייטים הבינארי הראשוני:
חתימת HEX (היסט 0):
43 44 46 01 / 43 44 46 02ייצוג ASCII: CDF\x01 / CDF\x02
תקינה: OGC NetCDF Core Standard / NASA ESDS Standard
מפרט טכני
| ארכיטקטורת מעטפת | Classic CDF format (magic 'CDF\x01' or 'CDF\x02' 64-bit offset) or NetCDF-4 (HDF5 container with Climate and Forecast CF conventions) |
| דחיסה | Uncompressed (classic) or Deflate/Zstd chunk compression (NetCDF-4) |
| סדר בתים (Endianness) | Big-Endian (classic) or Little/Big-Endian (NetCDF-4 HDF5) |
| מרחבי צבע | N/A (Multi-dimensional Climate & Oceanographic Arrays) |
| ערוצים ומבנה | Multi-dimensional variables (temperature, salinity, pressure) mapped against dimensions (time, lat, lon, depth) |
| ממדים מרביים | Classic limited to 2 GB per variable; NetCDF-4 practically unlimited |
| שקיפות | None |
| הזרמה ופרוגרסיביות | Record variable streaming allows continuously appending new timesteps |
מטריצת השוואה טכנית: NetCDF מול מתחרים
| תכונה טכנית | NetCDF (נוכחי) | HDF5 | GRIB | FITS |
|---|---|---|---|---|
| דומיין עיקרי | מטאורולוגיה, אוקיאנוגרפיה, אקלים | מחשוב-על כללי ו-AI | רשתות מזג אוויר מספריות מבצעיות | אסטרונומיה ואסטרופיזיקה |
| תקני יחידות פיזיקות | מוסכמות CF (מאפיין 'units') | ללא סכמת יחידות מתוקנת | פרמטרי טבלת WMO קבועים | יחידות אסטרונומיות תקניות של FITS |
| מנוע בסיסי | CDF קלאסי או HDF5 (NetCDF-4) | מכל עץ B מסוג HDF5 מקורי | מסגרות זרם סיביות ארוזות | בלוקי כותרת/נתונים של 2880 בייט |
| תקן OGC | תקן מדעי כדור הארץ רשמי של OGC | אינו תקן OGC | תקן בינלאומי של WMO | תקן בינלאומי של IAU |
מצבי שיחשות נפוצים ומדריך שחזור הקסדצימלי (Hex)
התוכנה מדווחת על 'NetCDF: Unknown file format'.
גורם שורש: קובץ NetCDF-4 נפתח עם ספריית NetCDF-3 ישנה, או שחסרים בייטי הקסם של CDF.
התאוששות: בדוק את גרסת הכותרת או המר באמצעות ממיר NetCDF של File2File.
ניתוח אבטחה ווקטורי התקפה על מנתחים (Parsers)
ספריות NetCDF קלאסיות ו-NetCDF-4 מעבדות ספירות ממדים שאינן מהימנות, שבהן גלישת מספרים שלמים עלולה לגרום השחתת זיכרון.
ווקטורי תקיפה ידועים
- גלישת מספרים שלמים במהלך חישובי מכפלת ממדים ב-libnetcdf.
- קריאת יתר של חוצץ (buffer over-read) בעת ניתוח מחרוזות טקסט של מטא-דאטה פגומות.
- מניעת שירות באמצעות היסטים פגומים של ממדי רשומות.
השיטות המומלצות להגנה:
היסטוריה ואבני דרך
יתרונות מרכזיים
- המדד העולמי למדעי האקלים ומטאורולוגיה: בשימוש NOAA, נאס"א, ECMWF ומודלי האקלים של IPCC.
- מתאר את עצמו (self-describing): משתנים מציינים במפורש את היחידות הפיזיקות שלהם ('degrees_Celsius', 'hPa') וצירי קואורדינטות גיאוגרפיות.
- ממדי רשומות ניתנים להרחבה (appendable): תחנות ניטור מזג אוויר יכולות לצרף ברציפות מדידות שעות חדשות לאורך שנים.
מגבלות טכניות וחסרונות
- ארכיטקטורה כפולה: NetCDF-3 הקלאסי משתמש במסגור CDF בינארי מותאם אישית, בעוד ש-NetCDF-4 המודרני משתמש ב-HDF5 מתחת למכסה המנוע.
- דורש תוכנת הדמיה גיאוגרפית (Panoply, QGIS, Python xarray) לצפייה נאותה.
- מערכי נתונים גדולים יכולים להתפרס על פני עשרות גיגה-בייט להרצת סימולציה אחת.
עובדות טכניות מעניינות
- שלושת בייטי הקסם הראשונים 'CDF' מייצגים את 'Common Data Form', כמחווה לפורמט הנתונים הקודם של נאס"א משנות ה-80 שהיווה השראה ל-NetCDF.
- מוסכמות המטא-דאטה של אקלים ותחזית (CF) מתאנות שמות משתנים כך שמחשבים ברחבי העולם יבינו זה את זה.
- כל תחזית מזג אוויר עולמית המוצגת בחדשות הטלוויזיה נוצרה באמצעות מחשבי-על המעבדים נתוני NetCDF.
שאלות טכניות נפוצות
מהו קובץ NetCDF (.nc)?
קובץ NetCDF הוא פורמט נתונים מדעי המשמש מטאורולוגים ואוקיינוגרפים לאחסון נתוני מזג אוויר רב-ממדיים, טמפרטורה, זרמי האוקיינוס ונתוני אקלים.
כיצד אוכל להציג קובץ NetCDF?
באפשרותך להציג ולשרטט נתוני NetCDF באמצעות NASA Panoply, QGIS, Python (xarray/matplotlib), או להמיר אותו ל-CSV/GeoJSON באמצעות File2File.app.
מה ההבדל בין NetCDF-3 לבין NetCDF-4?
NetCDF-3 הוא הפורמט הבינארי המקורי עם מגבלות משתנים של 2 GB. NetCDF-4 משתמש בטכנולוגיית HDF5 מתחת מכסה המנוע, ותומך בדחיסה ובגדלי קבצים בלתי מוגבלים.