שלום,

אני עובד בסביבה שבה יש לי הרבה עותקים (מאות) של הרבה קבצים (אלפים) שלרוב הם זהים לחלוטין. (כלומר עבודה עם הרבה גירסאות של אותו סורס במקביל).

כמובן שעבודה כזו דורש המון תעבורת רשת ושטח אכסון. האם קיימת מערכת קבצים (אמינה!) שיודעת לעבוד עם משימה כזאת, ולנצל את שטח הדיסק בצורה יעילה?

מימוש אפשרי שעלה אצלינו הוא יצירת pool של כל הקבצים (השונים) וליצור את עצי הקוד בעזרת sym)links) אל אותו ה-pool. ככה שכל גרסא של קובץ תמצא פעם אחת, ואליה יכולים להיות מספר רב של לינקים...

btrfs נשמעת לי מצויינת עבור זה, אך כל מערכת קבצים מבוססת cow אמורה לתת פיתרון דומה.
יתרון נוסף, מעבר לחיסכון באחסון, הוא מהירות יצירת פיצול בעץ: אין צורך בהעתקה פיזית של כל הקבצים, מספיק להשתמש באופצית cp --reflink ומערכת הקבצים תעשה את שאר העבודה בעצמה.
בפיתרון שהצעת ישנן שתי בעיות (לפחות):
1. בגלל שזה לא בתוך מערכת הקבצים, זה יוצר סרבול עצום (ובאגים?), וקשיים בניהול של כל העניין.
2. עוד בעיה, שאולי לא כ"כ משמעותית במקרה שתיארת, היא שישנו עדיין בזבוז מקום מסוים, שכן בכל שינוי קטן בקובץ, נוצר קובץ שלם חדש, לעומת זאת במערכת קבצים ניתן למזער את השינוי לגודל הבלוק.

מה עם ln ? כלומר hardlinks.

אתה יכול לנסות מערכות קבצים עם deduping, למשל sdfs או lessfs

avishai :

אתה יכול לנסות מערכות קבצים עם deduping, למשל sdfs או lessfs

אינני מכיר את מערכות הקבצים הנ"ל, אך dedup בד"כ מתאים כאשר אין בעיית זיכרון, או במילים אחרות: כאשר יש *המון* זיכרון.
ברוב השרתים, הזיכרון מוגבל (גם אם הוא גדול), ולכן זה לא יתאים אלא למטרות להן זה נועד - חיסכון קיצוני במקום בדיסק.