ראשי
ידיעות
שליחת ידיעה
פורומים
סלולר
כניסת חברים
·
רישום
·
שכחתי סיסמה
בפורומים
בידיעות
בפורומים - מתקדם
באתר - מתקדם
באתר - דרך גוגל
בפינגווין
בלינמגזין
בגוגל
ראשי
ידיעות
פורומים
וויקי
חיפוש בפורומים
חיפוש באתר
מחוברים
סטטיסטיקה
הסכם שימוש
הצהרת פרטיות
שליחת משוב
למעלה
למטה
אינדקס הפורומים של Whatsup - לינוקס, תוכנה חופשית וקוד פתוח בעברית
»
לינוקס למתחילים
»
מה חסר לי בלינוקס ?
clean duplicate lines from txt file
אורח
· ·
פורסם: 05/04/2012 - 09:28
נושא ההודעה: clean duplicate lines from txt file
אני מחפש כלי סקריפט או פקודה שיעזרו לי לנקות שורות כפולות שמנצאות בקובץ טקסט.עד עכשיו נסיתי עם awk ועם הפקודה sort.אבל לא הצלחתי ליצא קובץ נטול שורות כפולות.
חשוב לציין הקובץ בנוי שורה שורה
מילה1
מילה1
מילה2
מילה3
אני רוצה ליצא אותו כך:
מילה1
מילה2
מילה3
הקובץ שוקל כ3gb ומכיל כ 313846988 שורות.
חזרה לתוכן הדיון
אורח
· ·
פורסם: 05/04/2012 - 09:53
נושא ההודעה:
מה רע ב:
קוד:
sort -u file > file.uniq
ינון
חזרה לתוכן הדיון
אורח
· ·
פורסם: 05/04/2012 - 09:57
נושא ההודעה:
נסיתי הבעיה היא שהקובץ גדול אני רק רואה שימוש של 27 אחוזים במעבד עם הפקדוה הזו יש אפשרות לראות אחוזי התקדמות או להעריך זמן עד לסיום?
אני רואה שהוא יוצר קובץ חדש הקטע שהוא נשאר על 0 bytes ואין לי מושג אם זה באמת עושה משהו.
חזרה לתוכן הדיון
orgads
ת.הצטרפות: 11/10/2005 · הודעות: 436 ·
פורסם: 05/04/2012 - 10:37
נושא ההודעה:
קוד:
sort file | uniq > file.uniq
זה ממש לא אמור להשתמש הרבה במעבד. זו פעולה שהיא כמעט כולה קלט\פלט.
אם הקובץ כבר ממוין, פשוט תריץ:
קוד:
uniq file > file.uniq
חזרה לתוכן הדיון
אורח
· ·
פורסם: 05/04/2012 - 11:09
נושא ההודעה:
אוקי זה עובד פשוט לוקח לזה זמן =] תודה.
חזרה לתוכן הדיון
פינגווין אדום
אורח
· ·
פורסם: 05/04/2012 - 13:07
נושא ההודעה:
מיון זה איטי, הנה דרך מהירה הרבה יותר
קוד:
perl -ne 'print unless $old eq $_; $old = $_' <myfile>
שים לב שבמקרה זה התוצאה תתתקבל כפלט. אם אתה רוצה שהתוצאה תישמר בקבוץ המקורי תוכל לעשות כך :
קוד:
perl -ne 'print unless $old eq $_; $old = $_' -i <myfile>
חזרה לתוכן הדיון
אורח
· ·
פורסם: 05/04/2012 - 13:26
נושא ההודעה:
הי,
פינגוין - ההצעה שלך תעבוד רק אם הקלט כבר ממוין (ואז עדיף להשתמש פשוט ב uniq).
אם כבר פרל הייתי הולך על משהו כמו:
קוד:
perl -pe '$u{$_}=1}{print keys %u' filename
שיעשה עבודה טובה על קלט לא ממוין וגם יהיה מהיר יותר מ sort
ינון
חזרה לתוכן הדיון
הצגת הודעות מלפני:
כל ההודעות
יום אחד
7 ימים
שבועיים
חודש אחד
3 חודשים
6 חודשים
שנה אחת
הכי ישנות קודם
הכי חדשות קודם
מעבר אל:
בחירת פורום
אינדקס הפורומים
|--[לינוקס למתחילים]
| |-- שאלות לפני ההתקנה
| |-- מילון מונחים/מושגים
| |-- מה חסר לי בלינוקס ?
|--[התקנה והגדרת לינוקס]
| |-- התקנת לינוקס
| |-- הגדרת עברית
| |-- רשתות ואינטרנט
| |-- חומרה (כללי)
| |-- לינוקס בדרכים
| |-- לינוקס ושרתים
|--[שימוש יומיומי בלינוקס]
| |-- סביבות עבודה ומנהלי חלונות
| |-- משחקים בלינוקס
| |-- גלישה באינטרנט
| |-- לינוקס ומדיה דיגיטלית
| |-- תיכנות בלינוקס
| |-- יישומים כללי
| |-- סביבות אופיס
|--[ניהול מערכת]
| |-- קבצים והתקנות
| |-- שימוש מתקדם בלינוקס
| |-- אבטחת מידע
|--[פרוייקטים בקוד פתוח]
| |-- תרגום לינוקס לעברית
| |-- ליברה אופיס
| |-- אחד לינוקס
| |-- פרוייקט Linbrew
| |-- פרוייקטי Live CD
| |-- פרויקטים בלינוקס
| |-- מונחים מתורגמים - גרסה לא רשמית
| |-- לינוקס בבית הספר
|--[שונות]
| |-- תוכנה חופשית וקוד פתוח
| |-- פעולה קהילתית
| |-- תמיכת לינוקס כללית
| |-- טיפים
| |-- אוף טופיק
| |-- /dev/null
|--[מערכות הפעלה אחרות]
| |-- BSD כללי
| |-- תוכנה חופשית בחלונות ומק
| |-- אמולטורים
| |-- מערכות הפעלה לא חופשיות [פורום לקריאה בלבד]
|--[לוח מודעות]
| |-- דרושים: הצעות עבודה
| |-- קהילה וחברה
| |-- ברצוני למסור
| |-- ברצוני למכור
| |-- ברצוני להחליף
| |-- אני צריך
|--[אודות האתר]
| |-- רעיונות והצעות
| |-- טענות
| |-- מדריך ווטסאפ
כל הזמנים הם GMT + 2 שעות
אינדקס הפורומים של Whatsup - לינוקס, תוכנה חופשית וקוד פתוח בעברית
»
לינוקס למתחילים
»
מה חסר לי בלינוקס ?
PN
phpBB2
© 2003-2004
·
24 שעות
·
ללא תגובות
·
FAQ
·
חיפוש
·
הרשמה
·
Maximize
תוכן הדיון
אורח
אורח
אורח
orgads
אורח
אורח [פינגווין אדום]
אורח
מחוברים:
0 חברים, 287 אורחים
·
סטטיסטיקה
הסכם שימוש
·
הצהרת פרטיות
·
שליחת משוב
חזרה למעלה
תוכן האתר תחת רישיון
CC BY-SA 4.0
עיצוב ופיתוח:
Meir