ווטסאפ - לינוקס, BSD, קוד פתוח ותוכנה חופשית בעברית. Whatsup - Linux, BSD, open source and free software in Hebrew

 
 
  כניסת חברים · רישום · שכחתי סיסמה  
tux the penguin
תגובה לנושא
צפיה בנושא הבא Printable version התחבר כדי לבדוק הודעות פרטיות צפיה בנושא הקודם
דוביקסSite Moderator ת.הצטרפות: 20/12/2002 · הודעות: 8369 ·
 

הודעה פורסם: 26/04/2020 - 08:54
נושא ההודעה: הוצאת ספרינגר מאפשרת הורדה חינם של מאות ספרים באנגלית

הוצאת ספרינגר מאפשרת הורדה חינם של מאות ספרים באנגלית בנושאים שונים, כולל למשל פייתון ולינוקס.

מקור:

https://twitter.com/hananc/status/1254280154723090432?s=20

לינק ישיר לרשימת הספרים:

https://docs.google.com/spreadsheets/d/1HzdumNltTj2SHmCv3SRdoub8SvpIEn75fa4Q23x0keU/htmlview

_________________
גוגל+
 
 צפיה בפרופיל המשתמש שלח הודעה פרטית  
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
אורח · ·
 

הודעה פורסם: 26/04/2020 - 10:53
נושא ההודעה:

תודה רבה!
מצאתי ספר בנושא שהייתי צריך (לא מדעי מחשב/תכנות)
 
   
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
אורח · ·
 

הודעה פורסם: 26/04/2020 - 11:13
נושא ההודעה:

https://pastebin.com/zxzwxbiX

הרשימה מכאן, תורידו הכל עם הסקריפט
קוד:

#!/bin/bash

cat books_list.csv | while read line; do
   IFS=',' read -a array <<< "$line"
   FILE_NAME=${array[0]}
   TOPIC=${array[1]}
   URL=${array[2]}
   echo Download $FILE_NAME
   
   #find the real url
   REAL_URL=`curl $URL  -s -L -I -o /dev/null -w '%{url_effective}'`
   BOOK_ID=`echo ${REAL_URL##*/}`
   DOWNLOAD_URL='https://link.springer.com/content/pdf/'${BOOK_ID}.pdf
   curl $DOWNLOAD_URL --create-dirs -o "${TOPIC}"/"${FILE_NAME}".pdf
 done




 
   
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
אורח · ·
 

הודעה פורסם: 26/04/2020 - 13:09
נושא ההודעה:

ראשית תודה ליוזם השרשור וגם לכותב הסקריפט!
רק יש לי בעיה קטנה - אני לא מכיר סקריפטים ואולי יש כאן הזדמנות..

אפשר הסבר קצר, מה אני אמור לעשות בכמה מילים?
מניח שצריך להעתיק את הסקריפט לקובץ - עם סיומת sh?
לשמור את הקובץ בתיקיית home ואז לכתוב את שם הקובץ והסיומת וזה כבר רץ לבד?
דרך אגב: מבין שהסקריפט פותח תיקיה בעצמו ושומר את כל הספרים בפורמט PDF. האם מוריד גם קבצי EPUB ? (למה טוב הפורמט הזה?). אם לא אז אקח את זה כתרגיל לעשות בעצמי..
 
   
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
אורח · ·
 

הודעה פורסם: 26/04/2020 - 13:46
נושא ההודעה:

הוראות לסקריפט ושיפור מסויים:
תעתיק את הסקריפט לקובץ (לא משנה הם והסיומת, תתן לסקריפט הרשאות ריצה ותריץ
הרשאות ריצה: chmod u+x filename
הרצה:
קוד:
./filename


את רשימת הספרים תעתיק המ patebin שצירפתי לתוך קובץ בשם books_list.csv ושיהיה באותה תיקייה
בתיקייה שתריץ את הסקריפט זה יוריד לך את כל הקבצים, עשיתי שזה יוריד לתיקיות לפי נושא, כלומר בתיקיה של הסקריפט יווצרו לך תיקיות לפי נושא.

אתה יכול קצת לשחק עם הדברים אם בא לך אחרת זה די פשוט, עשיתי את זה לעצמי בחפיף וראיתי שי שעניין אז פרסמתי. אם תרצה להוריד epub זה קצת לשנות את הלינק של ההורדה.

ראיתי שיש שם הרבה קטגוריות שלא ממש רלוונטיות בשבילי וזה תופס די נפח אז שיפרתי שיוריד רק מתוך רשימה


קוד:

#!/bin/bash
topics=("Physics and Astronomy" "Mathematics and Statistics" "Computer Science")
cat books_list.csv | while read line; do
   IFS=',' read -a array <<< "$line"
   FILE_NAME=${array[0]}
   TOPIC=${array[1]}
   URL=${array[2]}

   if [[ " ${topics[@]} " =~ " ${TOPIC} " ]]
   then
      echo Download $FILE_NAME
      #find the real url
      REAL_URL=`curl $URL  -s -L -I -o /dev/null -w '%{url_effective}'`
      BOOK_ID=`echo ${REAL_URL##*/}`
      DOWNLOAD_URL='https://link.springer.com/content/pdf/'${BOOK_ID}.pdf
      curl $DOWNLOAD_URL --create-dirs -o "${TOPIC}"/"${FILE_NAME}".pdf
   fi   
 done

 
   
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
אורח · ·
 

הודעה פורסם: 27/04/2020 - 00:32
נושא ההודעה:

ה CSV מתוקן:

https://pastebin.com/rmP5ZRzW
 
   
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
אורח · ·
 

הודעה פורסם: 27/04/2020 - 07:16
נושא ההודעה:

עוד סקרפיט למי שרוצה בשימוש ב csv המקורי מ google docs ללא שינוי.

קוד:

import csv
import os

CATEGORIES = ('Computer Science',
              'Business and Economics',
              'Business and Management',
              'Mathematics and Statistics',
              'Engineering')

with open("./data.csv", "r") as fp:
    reader = csv.reader(fp)

    for row in reader:
        if row[0] == "Book Title":
            continue
        category = row[11]
        if not category in CATEGORIES:
            continue
        id = row[17].replace("http://doi.org/", "")
        link = f"https://link.springer.com/content/pdf/{id}.pdf"
        fn = f"{category}/{row[0]} - {row[1]} ({row[4]}).pdf"

        cmd=f"curl -SL --create-dirs -o '{fn}' '{link}'"
        os.system(cmd)
 
   
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
אורח · ·
 

הודעה פורסם: 27/04/2020 - 08:04
נושא ההודעה:

Anonymous :
עוד סקרפיט למי שרוצה בשימוש ב csv המקורי מ google docs ללא שינוי.

קוד:

import csv
import os

CATEGORIES = ('Computer Science',
              'Business and Economics',
              'Business and Management',
              'Mathematics and Statistics',
              'Engineering')

with open("./data.csv", "r") as fp:
    reader = csv.reader(fp)

    for row in reader:
        if row[0] == "Book Title":
            continue
        category = row[11]
        if not category in CATEGORIES:
            continue
        id = row[17].replace("http://doi.org/", "")
        link = f"https://link.springer.com/content/pdf/{id}.pdf"
        fn = f"{category}/{row[0]} - {row[1]} ({row[4]}).pdf"

        cmd=f"curl -SL --create-dirs -o '{fn}' '{link}'"
        os.system(cmd)

זה לא קוד python? איך אני אמור להריץ את זה?
 
   
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
benuלא בפורום כעת ת.הצטרפות: 27/04/2020 · הודעות: 4 ·
 

הודעה פורסם: 27/04/2020 - 08:51
נושא ההודעה:

Anonymous :
https://pastebin.com/zxzwxbiX

הרשימה מכאן, תורידו הכל עם הסקריפט
קוד:

#!/bin/bash

cat books_list.csv | while read line; do
   IFS=',' read -a array <<< "$line"
   FILE_NAME=${array[0]}
   TOPIC=${array[1]}
   URL=${array[2]}
   echo Download $FILE_NAME
   
   #find the real url
   REAL_URL=`curl $URL  -s -L -I -o /dev/null -w '%{url_effective}'`
   BOOK_ID=`echo ${REAL_URL##*/}`
   DOWNLOAD_URL='https://link.springer.com/content/pdf/'${BOOK_ID}.pdf
   curl $DOWNLOAD_URL --create-dirs -o "${TOPIC}"/"${FILE_NAME}".pdf
 done





הסקריפט מוריד לי תיקיות ריקות ומחזיר שגיאות בלי הפסקה:
קוד:

curl: (3) URL using bad/illegal format or missing URL
./4.txt: line 28: $'\r': command not found
./4.txt: line 5: $'\r': command not found
./4.txt: line 6: $'\r': command not found
./4.txt: line 8: $'\r': command not found
./4.txt: line 10: $'\r': command not found
./4.txt: line 12: $'\r': command not found
./4.txt: line 14: $'\r': command not found
Download "Clinical Methods in Medical Family Therapy
./4.txt: line 16: $'\r': command not found
./4.txt: line 17: $'\r': command not found
./4.txt: line 18: $'\r': command not found
./4.txt: line 20: $'\r': command not found
 
 צפיה בפרופיל המשתמש שלח הודעה פרטית  
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
אורח · ·
 

הודעה פורסם: 27/04/2020 - 09:10
נושא ההודעה:

הייתה שגיאה בקוד !

זה הקוד המתוקן :

קוד:
#!/bin/bash
topics=("Physics and Astronomy" "Mathematics and Statistics" "Computer Science")
cat data.csv | while read line; do
   IFS=',' read -a array <<< "$line"
   FILE_NAME=${array[0]}
   TOPIC=${array[1]}
   URL=${array[2]}

   if [[ " ${topics[@]} " =~ " ${TOPIC} " ]]
   then
      echo Download $FILE_NAME
      #find the real url
      REAL_URL=`curl $URL  -s -L -I -o /dev/null -w '${URL}'`
      BOOK_ID=`echo ${REAL_URL##*/}`
      DOWNLOAD_URL='https://link.springer.com/content/pdf/'${BOOK_ID}.pdf
      curl $DOWNLOAD_URL --create-dirs -o "${TOPIC}"/"${FILE_NAME}".pdf
   fi   
 done
 
   
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
benuלא בפורום כעת ת.הצטרפות: 27/04/2020 · הודעות: 4 ·
 

הודעה פורסם: 27/04/2020 - 10:36
נושא ההודעה:

Anonymous :
הייתה שגיאה בקוד !

זה הקוד המתוקן :

קוד:
#!/bin/bash
topics=("Physics and Astronomy" "Mathematics and Statistics" "Computer Science")
cat data.csv | while read line; do
   IFS=',' read -a array <<< "$line"
   FILE_NAME=${array[0]}
   TOPIC=${array[1]}
   URL=${array[2]}

   if [[ " ${topics[@]} " =~ " ${TOPIC} " ]]
   then
      echo Download $FILE_NAME
      #find the real url
      REAL_URL=`curl $URL  -s -L -I -o /dev/null -w '${URL}'`
      BOOK_ID=`echo ${REAL_URL##*/}`
      DOWNLOAD_URL='https://link.springer.com/content/pdf/'${BOOK_ID}.pdf
      curl $DOWNLOAD_URL --create-dirs -o "${TOPIC}"/"${FILE_NAME}".pdf
   fi   
 done

תודה על ההתייחסות אבל כעת הוא מחזיר לי
קוד:
./4.txt: line 2: $'\r': command not found
./4.txt: line 4: $'\r': command not found
./4.txt: line 17: syntax error in conditional expression
'/4.txt: line 17: syntax error near `]]
'/4.txt: line 17: `   if [[ " ${topics[@]} " =~ " ${TOPIC} " ]]
 
 צפיה בפרופיל המשתמש שלח הודעה פרטית  
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
אורח · ·
 

הודעה פורסם: 27/04/2020 - 11:06
נושא ההודעה:

אצלי זה כאילו עובד אבל יוצר קבצים קטנים בגודל 7.3k עבור כל ספר..
העתקתי את קובץ הספרים מהקישור שצויין בפוסט קודם https://pastebin.com/rmP5ZRzW
 
   
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
mksoftלא בפורום כעתSite Admin ת.הצטרפות: 17/03/2002 · הודעות: 10514 · מיקום: כדור הארץ
 

הודעה פורסם: 27/04/2020 - 13:59
נושא ההודעה:

לדעתי זה לא מוריד את הספר עצמו, אלא עמוד html שאומר שהמשאב לא קיים.

_________________
הבלוג שלי
 
 צפיה בפרופיל המשתמש שלח הודעה פרטית שלח דוא\ ביקור באתר המפרסם  
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
אורח · ·
 

הודעה פורסם: 27/04/2020 - 14:05
נושא ההודעה:

לי עבדו שני הסקריפטים עם ה CSV המתוקן. שיניתי טיפה את הסקריפט השני שיוריד הכל אז יש לי עכשיו מאגר קריאה לדורות... Dancing
 
   
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
אורח · ·
 

הודעה פורסם: 27/04/2020 - 14:43
נושא ההודעה:

אצלי כאמור מוריד רק עמוד html בגודל 7.3k - זה עם הסקריפט הרגיל..
אבל עם הסקריפט של פייתון משהו חסר - העתקתי את הקוד לקובץ עם סיומת py אבל נראה שחסר הקובץ cvs - איך אני מוריד אותו ומקשר לפייתון? הקובץ רץ אך מודיע על שגיאה:
קוד:
$ ./springer_python.py
./springer_python.py: line 8: syntax error near unexpected token `('
./springer_python.py: line 8: `CATEGORIES = ("Computer Science",'
 
   
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
אורח · ·
 

הודעה פורסם: 27/04/2020 - 14:48
נושא ההודעה:

זו בעצם הודעת השגיאה הנכונה עם גרש על הקטגוריות (ניסיתי גם עם גרשיים..)
קוד:
$ ./springer_python.py
./springer_python.py: line 8: syntax error near unexpected token `('
./springer_python.py: line 8: `CATEGORIES = ('Computer Science','
 
   
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
benuלא בפורום כעת ת.הצטרפות: 27/04/2020 · הודעות: 4 ·
 

הודעה פורסם: 27/04/2020 - 15:30
נושא ההודעה:

בסוף יצרתי תוכנית פייתון בעצמי למי שמעונין, התוכנית יוצרת קישורים ומחזירה קובץ טקסט עבור תוכנות הורדה כמו IDM
קוד:
s = open(r'source.txt', 'r')
d = ''
m = open(r'result.txt', 'w')
for row in s:
    q = row.split('isbn=')
    w = q[1]
    r = "%2F"
    d = 'https://link.springer.com/content/pdf/10.1007{}{}.pdf\n'.format(r, w)
    m.write(d)
 
 צפיה בפרופיל המשתמש שלח הודעה פרטית  
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
אורח · ·
 

הודעה פורסם: 27/04/2020 - 15:32
נושא ההודעה:

לאלו שהיו בעיות עם הסקריפט BASH - רוב הסיכויים שלא שמרתם נכון את הקובץ CSV - הורידו RAW מ PASTEBIN - והשתמשו בקובץ CSV המתוקן כי בקובץ המקורי יש פסיקים בשמות בספרים וזה דופק את ההורדות שלהם.
 
   
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
אורח · ·
 

הודעה פורסם: 27/04/2020 - 16:05
נושא ההודעה:

ציטוט:
לאלו שהיו בעיות עם הסקריפט BASH - רוב הסיכויים שלא שמרתם נכון את הקובץ CSV - הורידו RAW מ PASTEBIN - והשתמשו בקובץ CSV המתוקן כי בקובץ המקורי יש פסיקים בשמות בספרים וזה דופק את ההורדות שלהם.

ניסיתי ואצלי זה לא עובד. או ששיניתם משהו ולא עדכנם גם כאן או שאני לא יודע..
 
   
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
אורח · ·
 

הודעה פורסם: 27/04/2020 - 19:44
נושא ההודעה:

Anonymous :
הייתה שגיאה בקוד !

זה הקוד המתוקן :

קוד:
#!/bin/bash
topics=("Physics and Astronomy" "Mathematics and Statistics" "Computer Science")
cat data.csv | while read line; do
   IFS=',' read -a array <<< "$line"
   FILE_NAME=${array[0]}
   TOPIC=${array[1]}
   URL=${array[2]}

   if [[ " ${topics[@]} " =~ " ${TOPIC} " ]]
   then
      echo Download $FILE_NAME
      #find the real url
      REAL_URL=`curl $URL  -s -L -I -o /dev/null -w '${URL}'`
      BOOK_ID=`echo ${REAL_URL##*/}`
      DOWNLOAD_URL='https://link.springer.com/content/pdf/'${BOOK_ID}.pdf
      curl $DOWNLOAD_URL --create-dirs -o "${TOPIC}"/"${FILE_NAME}".pdf
   fi   
 done


אני כותב הסקריפט המקורי, ולפני שאתה מתקן כדי שתבדוק מה אתה מתקן
https://stackoverflow.com/questions/3074288/get-final-url-after-curl-is-redirected
עשיתי את זה כי יש שם redirect
מי שיש לו בעיה זה כנראה בגלל העתקה לא נכונה, שמירה לא נכונה או משהו כזה, הייתי מעלה נורמלי לגיטהאב אבל לא רוצה להיחשף עם זה, לא יודע כמה הם יאהבו את העניין הזה.
 
   
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
אורח · ·
 

הודעה פורסם: 27/04/2020 - 21:42
נושא ההודעה:

יש מספיק שירשורים שנפתחו עם שלל פתרונות. רק חפשו...

https://gist.github.com/bishboria/8326b17bbd652f34566a
 
   
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
mksoftלא בפורום כעתSite Admin ת.הצטרפות: 17/03/2002 · הודעות: 10514 · מיקום: כדור הארץ
 

הודעה פורסם: 28/04/2020 - 01:11
נושא ההודעה:

מהקישור שהדבקת:
ציטוט:
These links no longer work. Springer have pulled the free plug.

_________________
הבלוג שלי
 
 צפיה בפרופיל המשתמש שלח הודעה פרטית שלח דוא\ ביקור באתר המפרסם  
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
אורח · ·
 

הודעה פורסם: 28/04/2020 - 03:35
נושא ההודעה:

שיט. טוב, שמח שהספקתי להוריד לפני. ספק אם אי פעם אקרא את כל זה...
 
   
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
אורח · ·
 

הודעה פורסם: 28/04/2020 - 10:31
נושא ההודעה:

ספרינגר לא משכו כלום. תיכנסו לקישור המקורי ותנסו להוריד ספר
 
   
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
אורח · ·
 

הודעה פורסם: 29/04/2020 - 15:37
נושא ההודעה: More research resources…

Thanks.
Also, just a reminder, there are millions more (books and articles, research, fiction…) in LibGen.{is,lc}, Z-Library (b-ok.cc, booksc.xyz), BookFI.net, wikisource.org, etc.
 
   
תגובה  עם ציטוט חזרה למעלה
חזרה לתוכן הדיון
הצגת הודעות מלפני:     
מעבר אל:  
כל הזמנים הם GMT + 2 שעות
תגובה לנושא
צפיה בנושא הבא Printable version התחבר כדי לבדוק הודעות פרטיות צפיה בנושא הקודם
PNphpBB2 © 2003-2004 

תוכן הדיון

  1. דוביקס
  2. אורח
  3. אורח
  4. אורח
  5. אורח
  6. אורח
  7. אורח
  8. אורח
  9. benu
  10. אורח
  11. benu
  12. אורח
  13. mksoft
  14. אורח
  15. אורח
  16. אורח
  17. benu
  18. אורח
  19. אורח
  20. אורח
  21. אורח
  22. mksoft
  23. אורח
  24. אורח
  25. אורח