נתוני רשת NetCDF (.nc)
OGC תקןNetwork Common Data Form (NetCDF) הוא פורמט נפוץ לנתוני מערכים מדעיים, לרבות נתונים אטמוספריים, אקלימיים ואוקיינוגרפיים. משתמשים גם בפורמטים אחרים, והמוסכמות משתנות בין פרויקטים.
המר NETCDF ל-CSV
ממיר חינמי מ-NETCDF ל-CSV פועל בדפדפן. המר קבצים באופן מיידי במכשיר שלך.
בדיקה ומטא-נתונים
מערכות הפעלה ומנתחי קבצים מזהים קבצי NetCDF על ידי בדיקת רצף הבייטים הבינארי הראשוני:
חתימת כותרת ברמת הבייט (Magic Bytes)
מערכות הפעלה ומנתחי קבצים מזהים קבצי NetCDF על ידי בדיקת רצף הבייטים הבינארי הראשוני:
חתימת HEX (היסט 0):
43 44 46 01 / 43 44 46 02ייצוג ASCII: CDF\x01 / CDF\x02
תקינה: OGC NetCDF Core Standard / NASA ESDS Standard
מפרט טכני
| מבנה המכולה | תבנית CDF קלאסית (חתימת magic 'CDF\x01' או 'CDF\x02' עם היסט של 64 סיביות), או NetCDF-4 (מכל HDF5 עם מוסכמות Climate and Forecast (CF)) |
| דחיסה | ללא דחיסה (בגרסה הקלאסית) או דחיסת מקטעים בשיטות Deflate/Zstd (ב-NetCDF-4) |
| סדר בתים (Endianness) | Big-Endian (בגרסה הקלאסית) או Little-Endian/Big-Endian (ב-NetCDF-4 המבוסס HDF5) |
| מרחבי צבע | לא רלוונטי (מערכים רב־ממדיים של אקלים ואוקיינוגרפיה) |
| ערוצים ומבנה | משתנים רב־ממדיים (טמפרטורה, מליחות ולחץ) המשויכים לממדים (זמן, קו רוחב, קו אורך ועומק) |
| ממדים מרביים | בגרסה הקלאסית: עד 2 GB למשתנה; ב-NetCDF-4: כמעט ללא הגבלה מעשית |
| שקיפות | אין |
| הזרמה ופרוגרסיביות | אפשר לצרף ברציפות צעדי זמן חדשים באמצעות הזרמת משתני רשומות |
מטריצת השוואה טכנית: NetCDF מול מתחרים
| תכונה טכנית | NetCDF (נוכחי) | HDF5 | GRIB | FITS |
|---|---|---|---|---|
| דומיין עיקרי | מטאורולוגיה, אוקיאנוגרפיה, אקלים | מחשוב-על כללי ו-AI | רשתות מזג אוויר מספריות מבצעיות | אסטרונומיה ואסטרופיזיקה |
| תקני יחידות פיזיקות | מוסכמות CF (מאפיין 'units') | ללא סכמת יחידות מתוקנת | פרמטרי טבלת WMO קבועים | יחידות אסטרונומיות תקניות של FITS |
| מנוע בסיסי | CDF קלאסי או HDF5 (NetCDF-4) | מכל עץ B מסוג HDF5 מקורי | מסגרות זרם סיביות ארוזות | בלוקי כותרת/נתונים של 2880 בייט |
| תקן OGC | תקן מדעי כדור הארץ רשמי של OGC | אינו תקן OGC | תקן בינלאומי של WMO | תקן בינלאומי של IAU |
מצבי השחתה נפוצים ומדריך שחזור הקסדצימלי (Hex)
התוכנה מדווחת על 'NetCDF: Unknown file format'.
גורם שורש: קובץ NetCDF-4 נפתח עם ספריית NetCDF-3 ישנה, או שחסרים בייטי הקסם של CDF.
שחזור: בדוק את גרסת הכותרת או המר באמצעות ממיר NetCDF של File2File.app.
ניתוח אבטחה ווקטורי תקיפה נגד מנתחי פורמטים (parsers)
ספריות NetCDF קלאסיות ו-NetCDF-4 מעבדות ספירות ממדים שאינן מהימנות, שבהן גלישת מספרים שלמים עלולה לגרום השחתת זיכרון.
ווקטורי תקיפה ידועים
- גלישת מספרים שלמים במהלך חישובי מכפלת ממדים ב-libnetcdf.
- קריאת יתר של חוצץ (buffer over-read) בעת ניתוח מחרוזות טקסט של מטא-דאטה פגומות.
- מניעת שירות באמצעות היסטים פגומים של ממדי רשומות.
שיטות מומלצות להגנה: עבד קבצי NetCDF באמצעות מנועי WebAssembly מבודדים ובטוחים לזיכרון.
היסטוריה ואבני דרך
יתרונות מרכזיים
- NetCDF משמש במחקר אקלים ומטאורולוגיה, לרבות בחלק מתהליכי העבודה של מודלים אקלימיים; השימוש בו משתנה לפי פרויקט וארגון.
- מתאר את עצמו (self-describing): משתנים מציינים במפורש את היחידות הפיזיקות שלהם ('degrees_Celsius', 'hPa') וצירי קואורדינטות גיאוגרפיות.
- ממדי רשומות ניתנים להרחבה (appendable): תחנות ניטור מזג אוויר יכולות לצרף ברציפות מדידות שעות חדשות לאורך שנים.
מגבלות טכניות וחסרונות
- ארכיטקטורה כפולה: NetCDF-3 הקלאסי משתמש במסגור CDF בינארי מותאם אישית, בעוד ש-NetCDF-4 המודרני משתמש ב-HDF5 מתחת למכסה המנוע.
- דורש תוכנת הדמיה גיאוגרפית (Panoply, QGIS, Python xarray) לצפייה נאותה.
- מערכי נתונים גדולים יכולים להתפרס על פני עשרות גיגה-בייט להרצת סימולציה אחת.
עובדות טכניות מעניינות
- שלושת בייטי הקסם הראשונים 'CDF' מייצגים את 'Common Data Form', כמחווה לפורמט הנתונים הקודם של נאס"א משנות ה-80 שהיווה השראה ל-NetCDF.
- מוסכמות המטא-דאטה של אקלים ותחזית (CF) מתקננות שמות משתנים כך שמחשבים ברחבי העולם יבינו זה את זה.
- כל תחזית מזג אוויר עולמית המוצגת בחדשות הטלוויזיה נוצרה באמצעות מחשבי-על המעבדים נתוני NetCDF.
שאלות טכניות נפוצות
מהו קובץ NetCDF (.nc)?
קובץ NetCDF הוא פורמט נתונים מדעי המשמש מטאורולוגים ואוקיינוגרפים לאחסון נתוני מזג אוויר רב-ממדיים, טמפרטורה, זרמי האוקיינוס ונתוני אקלים.
כיצד אוכל להציג קובץ NetCDF?
באפשרותך להציג ולשרטט נתוני NetCDF באמצעות NASA Panoply, QGIS, Python (xarray/matplotlib), או להמיר אותו ל-CSV/GeoJSON באמצעות File2File.app.
מה ההבדל בין NetCDF-3 לבין NetCDF-4?
NetCDF-3 הוא הפורמט הבינארי המקורי עם מגבלות משתנים של 2 GB. NetCDF-4 משתמש בטכנולוגיית HDF5 מתחת מכסה המנוע, ותומך בדחיסה ובגדלי קבצים בלתי מוגבלים.