עושה מדעי נתונים בענן בעזרת ScraperWiki

פרסומת

אם יש לך את הקצוצים הנפשיים, כשרון לתכנות ולסיפורי סיפורים, ועין לעיצוב, אתה יכול לעשות גרוע יותר מאשר להיכנס למדעי נתונים. זה הדבר הגדול החדש בטכנולוגיה; מאוד טרנדי ומשולם מאוד, כאשר מדעני נתונים מבוקשים על ידי כמה מהחברות הגדולות בעולם.

ScraperWiki היא חברה שקשורה זה מכבר לתחום מדעי הנתונים. בשנים האחרונות הסטארט-אפ מבוסס ליברפול הציע פלטפורמה לקודרים לכתוב כלים שמקבלים נתונים, לנקות אותם ולנתח אותם בענן.

עם הרענון האחרון והביקוש ההולך וגובר למדעני נתונים בארגון, כדאי להסתכל היטב על ScraperWiki.

גילוי נאות: הייתי מתמחה ב- ScraperWiki בקיץ האחרון.

מה עושה ScraperWiki?

ScraperWiki משווקת את עצמה כמקום לקבל, לנקות ולנתח נתונים, והיא מספקת בכל אחת מהספירות הללו. בצורתו הפשוטה ביותר, הוא מאפשר לך - המשתמש - מקום בו אתה יכול לכתוב קוד המאחזר נתונים ממקור, כלים להמרה זה לפורמט שקל לנתח, ואחסון כדי לשמור אותו להמחשה מאוחרת יותר - שתוכלו לטפל בה גם באמצעות ScraperWiki.

זה גם מגיע עם מספר כלים שנבנו מראש שמבצעים אוטומציה של משימות חוזרות, כולל קבלת נתונים ממסמכי PDF, שקשה להפענח קשה להפליא. זה בנוסף ל

חיפוש בטוויטר 5 טריקים מגניבים לחיפוש בטוויטר כדי לפקח על מה שאנשים אומרים עליךאם אתה הבעלים של אתר או שאתה סתם מנסה להרוויח כסף באופן מקוון כפרילנסר, תמיד טוב לדעת מה אנשים אומרים עליך דרך האינטרנט. אנשים אולי מצטטים ... קרא עוד ושירותי גירוד. אינך זקוק לחווית פיתוח תוכנה כלשהי כדי להשתמש בהן.

עלות

כאמור, ScraperWiki מאמצת את מודל התמחור של freemium ומציע שירות הכולל מספר רבדים. אלה שרק התחילו עם מדעי נתונים או עם צרכים מוגבלים יכולים לעשות שימוש בשירות החינמי. זה נותן לך שלוש ערכות נתונים - בהן אתה שומר את הנתונים והקוד שלך.

מי שמתכנן לכתוב מגרדים מרובים או מעוניין לבצע הרים של ניתוח נתונים יכול להעביר מעט כסף לחשבון פרמיום. אלה מתחילים ב -9 דולר לחודש ומציעים 10 מערכי נתונים. אם זה עדיין לא מספיק, אתה תמיד יכול לשדרג לרמה הגבוהה ביותר שלהם שמגיעה עם 100 מערכי נתונים ומחירה 29 $ לחודש.

קידוד

מתכנתים הם לרוב די מסוימים בכל מה שקשור לאופן הקוד שלהם. חלקם מעדיפים שפות סקריפט על פני שפות מורכבות. יש כאלה שמעדיפים את החוויה המוחכמת של עורך טקסטים על פני זו של סביבת פיתוח משולבת (IDE). ScraperWiki מזהה זאת ונותן למשתמש כמות עצומה של בחירה בכל מה שקשור לאופן כתיבת הקוד שלך.

אם אתה נוטה כל כך, אתה יכול לכתוב את הקוד שלך בדפדפן. כפי שציפית מכל ציון מקצועי, מבוסס רשת שלושת ה- IDE מבוססי הדפדפן המובילים לקוד בענן קרא עוד כלי פיתוח, זה כולל תכונות שכל מתכנת היה רואה בהן חיוניות, כמו הדגשת תחביר.

יש מספר שפות המוצעות. אלו כוללים פייתון חמשת האתרים הטובים ביותר ללימוד תכנות פייתוןרוצים ללמוד תכנות פייתון? להלן הדרכים הטובות ביותר ללמוד Python באופן מקוון, שרבים מהם לגמרי בחינם. קרא עוד , שפת תסריט פופולרית המשמשת אנשים כמו גוגל ונאס"א; רובי 3 דרכים אינטראקטיביות, מהנות וחופשיות להתחיל ללמוד את שפת התכנות של אודםרובי היא שפת תסריטים אקספרסיבית, ברמה גבוהה מאוד. הוא משמש באינטרנט בעיקר כחלק ממסגרת הפיתוח ברשת Ruby on Rails, אך גם עצמאית. אם אתה סקרן מה רובי (לא ... קרא עוד , המסמיך מספר אתרים פופולריים כמו Living Social; ושפת הניתוח הסטטיסטי הפופולרי, ר.

בנוסף, אתה יכול גם לכתוב קוד משורת הפקודה באמצעות SSH, Git וכל עורך טקסט שאתה נהנה להשתמש בו. כן, קראת נכון. SSH מה זה SSH וכיצד זה שונה מ- FTP [הסבר טכנולוגיה] קרא עוד . כל תיבה בה אתה משתמש היא חשבון לינוקס משלה, ואתה יכול להתחבר אליו כמו שהיית עושה VPS או כל חשבון פגז אחר. ישנם מספר עורכי טקסט זמינים, כולל Vim 7 הסיבות הראשונות לתת סיכוי לעורך הטקסט של Vimבמשך שנים ניסיתי עורך טקסט אחד אחרי השני. אתה קורא לזה, ניסיתי את זה. השתמשתי בכל אחד מהעורכים הללו במשך למעלה מחודשיים כעורך היומיומי העיקרי שלי. איכשהו, אני ... קרא עוד אשר ניתן להרחיב באמצעות תוספים ועל ידי עריכת התצורה. אלה המאוימים על ידי Vim יכולים להשתמש ב- Nano, שהוא עורך טקסט של שורת פקודה קלה.

הספריות המותקנות צריכות להספיק לכלי כתיבה כדי לאחזר נתונים ולעבד אותם. אם אתה זקוק למשהו קצת יותר מעורפל, אתה תמיד יכול ליצור virtualenv משורת הפקודה. כפי שאתה יכול לראות, ישנה גמישות אדירה למפתחים.

נתונים להדמיה

אז יש לך את הנתונים שלך. נורמלת את זה. ניקית את זה. ניתחת את זה. זה הזמן לעשות קצת ויזואליזציה ולהראות לעולם את מה שלמדת.

ScraperWiki מאפשרת למפתחים להציג את הנתונים שלהם באמצעות דפי אינטרנט הבנויים מהטריפטה המוכרת של HTML, CSS ו- JavaScript. בנוסף, רכיבי Bootstrap נתמכים מחוץ לקופסה.

קיימים מספר הדמיות שנעשו מראש, כולל כאלה המציגות את הנתונים שלך על גבי מפה ומוצאים מגמות במסגרת הממצאים שלך. כדי להשתמש בנתונים אלה, עליך להבטיח שהנתונים שלך יאוחסנו כקובץ SQLite עם שם הקובץ 'scraperwiki.sqlite'. ואז אתה פשוט מוסיף את ההדמיה שאתה מעוניין בה. פשוט, נכון?

סיכום

ScraperWiki מציע המון למפתחים שרוצים לבצע ניתוח נתונים מבלי שסביבת הפיתוח שלהם תיכנס לדרכם, תוך שהם צריכים את הגמישות לרצות אפילו את התובעניים ביותר מבין המשתמשים. אבל מה אתה חושב? הודע לי בתגובות למטה.
אשראי צילום: מדע הרקטות (דן בראון)