פרסומת
מה היית אומר אם הייתי אומר לך שיש לך את הכלים העומדים לרשותך לעשות מחקר פורץ דרך ומרסק כדור הארץ? ובכן, כן, ואני אראה לך איך.
ממשלות, מוסדות אקדמיים וארגוני מחקר ללא מטרות רווח מפרסמים טבלאות מלאות נתונים לרשות הרבים. מבלי שאיש ישתמש במידע זה, ערכו האמיתי לעולם לא יהיה ידוע. למרבה הצער, למעטים אנשים יש את התובנה, הכישורים או הכלים לקחת את הנתונים ולבצע התאמות מעניינות בין מידע שאינו קשור לכאורה.
רקע כללי
חלק גדול מהמחקרים שאני עושה לבלוג שלי כרוך בחיפוש אחר מה שמכונה אינטרנט בלתי נראה 12 מנועי החיפוש הטובים ביותר לחקר האינטרנט הבלתי נראהגוגל או בינג לא יכולים לחפש הכל. כדי לחקור את האינטרנט הבלתי נראה, עליך להשתמש במנועי חיפוש מיוחדים אלה. קרא עוד , כדי לחשוף נתונים ששוחררו לציבור אך נסתרים מפני מנועי חיפוש חמש מנועי החיפוש המתקדמים ביותר באינטרנט קרא עוד בתוך בסיס נתונים מקוון. זה רשת עמוקה TorSearch שואף להיות גוגל עבור האינטרנט העמוקטור הוא שירות נסתר וחלק מה- Deep Web. TorSearch הוא מנוע חיפוש אנונימי חדש שמייסדו כריס מקנתון רוצה להפוך ל"גוגל של טור ". קרא עוד , וזה מלא בנתונים בעלי ערך. לעיתים קרובות מאוד, אני נתקל בדפי אינטרנט שממלאים כמה וכמה מהנתונים החשובים ביותר בנושאים המפעילים את הסולם, בין נתוני מפקד למחקרים אפידמיולוגיים על מחלות נדירות. כל הזמן יש לי רעיונות חדשים כיצד לנסות לתאם בין מקורות הנתונים השונים באמצעות מגוון כלים - ואחד הכלים החשובים ביותר שמצאתי הוא שאילתת האינטרנט בתוך מיקרוסופט אקסל.
מציאת התאמות נתונים מעניינות
מה שאני הולך להראות לך היום הוא דוגמה לאופן שבו אתה יכול להשתמש בשאילתות אינטרנט של Excel כדי להשיג נתונים מ- אתרים שונים, ותאר אותם זה מול זה כדי לחפש התאמות אפשריות בין נתונים.
הדרך להתחיל תרגיל כזה היא לבוא עם השערה מעניינת. לדוגמה - כדי לשמור על דברים מעניינים כאן - אני הולך להניח באופן אקראי את שיעורי האוטיזם המרקיע שחקים בארצות הברית נגרמים כתוצאה מחיסונים של חיסון או נוכחות הולכת וגוברת של שדות אלקטרומגנטיים בקרב ילדים ומסביבם, כמו תא טלפונים. זו השערה מטורפת שכדומה תוכלו למצוא באתרי התיאוריה של הקונספירציה, אבל זה מה שעושה את הכיף הזה. אז בואו נתחיל, נכון?
ראשית, פתח את Excel, עבור לפריט בתפריט הנתונים ומצא את הסמל "מהאינטרנט" בסרט התפריט.
זה מה שתשתמש בכדי לייבא את טבלאות הנתונים השונות מאתרי האינטרנט הרבים שפרסמו אותם.
ייבוא נתוני אינטרנט אל Excel
אז בימים עברו הייתם צריכים לנסות להעתיק את הנתונים מהטבלה בדף אינטרנט, להדביק אותם באקסל ואז להתמודד עם כל בעיות העיצוב המטורפות הכרוכות בכך. טרחה מוחלטת, והרבה פעמים זה פשוט לא שווה את כאב הראש. ובכן, עם שאילתות אינטרנט של Excel, הימים ההם נעלמו. כמובן שלפני שתוכל לייבא את הנתונים, תצטרך לגוגל בדרכך באינטרנט כדי למצוא את הנתונים הדרושים לך בפורמט טבלה. במקרה שלי, מצאתי אתר שפרסם את הסטטיסטיקות של המחלקה לחינוך עבור מספר התלמידים בארה"ב בבתי ספר ציבוריים שזוהו כבעלי אוטיזם. שולחן נחמד שם סיפק מספרים משנת 1994 לאורך כל הדרך עד 2006.
אז פשוט תלחץ על "מהאינטרנט", הדביק את כתובת האתר של דף האינטרנט בשדה כתובת השאילתה ואז גלול מטה לדף עד שתראה את החץ הצהוב ליד הטבלה עם הנתונים שברצונך לייבא.
לחץ על החץ כך שהוא יהפוך לסימן ביקורת ירוק.
לבסוף, ספר ל- Excel באיזה שדה ברצונך להדביק את נתוני הטבלה בתוך הגיליון האלקטרוני החדש שלך.
ואז - וואלה! הנתונים זורמים אוטומטית ישירות לגליון האלקטרוני שלך.
אז, עם מגמה של שיעורי אוטיזם בבתי ספר ציבוריים בין השנים 1996 - 2006, הגיע הזמן לצאת לחיפוש אחר מגמות חיסון ושימוש בטלפונים סלולריים.
למזלי, מצאתי במהירות טרנדים למנויי הטלפון הסלולרי בארה"ב משנת 1985 ועד 2012. נתונים מצוינים למחקר מסוים זה. שוב השתמשתי בכלי שאילתת האינטרנט של Excel כדי לייבא את הטבלה.
ייבאתי את השולחן לגליון נקי וחדש. ואז גיליתי מגמות חיסונים עבור אחוז מילדי בתי הספר שחוסנים למחלות שונות. ייבאתי את הטבלה הזו באמצעות הכלי שאילתת אינטרנט לגיליון שלישי. אז סוף סוף היו לי שלושה גיליונות עם שלושת הטבלאות מלאים בנתונים לכאורה לא מחוברים שגיליתי ברשת.
השלב הבא הוא שימוש ב- Excel לניתוח הנתונים ולנסות לזהות התאמות כלשהן. כאן נכנס לתמונה אחד מכלי ניתוח הנתונים האהובים עלי - ה- PivotTable.
ניתוח נתונים ב- Excel באמצעות ה- PivotTable
עדיף ליצור את ה- PivotTable שלך בגליון חדש וריק לגמרי. אתה רוצה להשתמש באשף עבור מה שאתה עומד לעשות. כדי להפעיל את אשף ה- PivotTable ב- Excel, עליכם להקיש על Alt-D במקביל עד שיופיע חלון התראה. ואז שחרר מכפתורים אלה ולחץ על מקש "P". לאחר מכן, תראה את האשף צץ.
בחלון הראשון של האשף, ברצונך לבחור "טווחי איחוד מרובים", המאפשרים לבחור את הנתונים מכל הגיליונות שייבאת. על ידי כך תוכלו לאחד את כל הנתונים לכאורה שאינם קשורים לכדי אחד שניתן יהיה לסובב אותו. במקרים מסוימים יתכן ותצטרך לעסות חלק מהנתונים. לדוגמה, הייתי צריך לתקן את השדה "שנה" בטבלת האוטיזם כך שהוא יראה "1994" במקום "1994-95" - מה שהופך את זה לשורה טובה יותר עם הטבלאות בגיליונות האחרים, שהיו גם השנה העיקרית שדה.
השדה הנפוץ הזה בין נתונים הוא מה שאתה צריך כדי לנסות ולתאם בין מידע, אז קח זאת בחשבון כשאתה מחפש את הנתונים שלך באינטרנט.
לאחר סיום לוח ה- PivotTable ויש לך את כל ערכי הנתונים השונים המוצגים בטבלה אחת, הגיע הזמן לעשות ניתוח חזותי כדי לבדוק אם יש קשר ברור מאליו שקופץ לך.
הדמיה של נתונים היא המפתח
להחזיק חבורה של מספרים בטבלה זה נהדר אם אתה כלכלן, אבל הדרך המהירה והקלה ביותר "אהה!" הרגע בו אתה מנסה למצוא קשרים כמו מחט בערימת שחת, הוא באמצעות תרשימים ו- גרפים. ברגע שיש לך את ה- PivotChart במקום עם כל מערכי הנתונים שאספת, הגיע הזמן ליצור את הגרף שלך. בדרך כלל גרף קו יעשה הכי טוב, אבל זה תלוי בנתונים. יש זמנים שבהם תרשים עמודות עובד הרבה יותר טוב. נסה להבין באיזה סוג נתונים אתה מסתכל ואילו השוואות צורות עובדות בצורה הטובה ביותר.
במקרה זה, אני מסתכל על נתונים לאורך זמן, כך שתרשים קו הוא באמת הדרך הטובה ביותר לראות מגמות לאורך השנים. מציגה שיעורי אוטיזם (ירוק) נגד שיעורי חיסון מפוללים (כחול כהה), חיסונים נגד אבעבועות רוח (תכלת) ושימוש בטלפונים סלולריים (סגול), פתאום הופיע מתאם משונה במערך הנתונים הזה ששיחקתי עם.
באופן מוזר, המגמה בשימוש בטלפונים סלולריים משנת 1994 עד 2006 התאימה כמעט בצורה מושלמת לעלייה בשיעורי האוטיזם באותה תקופה. למרות שהתבנית הייתה בלתי צפויה לחלוטין, היא דוגמה מושלמת לאופן הקישור של נתונים מעניינים יכול לחשוף לידים מרתקים - לספק לך תובנה ומוטיבציה רבה יותר להמשיך לדחוף קדימה ולחפש נתונים נוספים שעשויים לחזק את המידע שלך השערה.
מתאם אחד כזה למעלה אינו מוכיח דבר. ישנם שפע של טרנדים שעולים עם הזמן - הדפוס יכול להיות צירוף מקרים, אבל זה יכול גם להיות רמז חשוב במסע המתמשך שלך אחר נתונים נוספים באינטרנט. למרבה המזל, יש לך כלי רב עוצמה הנקרא שאילתות אינטרנט של Excel אשר יקל על המסע הזה מעט יותר.
אשראי צילום: קווין דולי באמצעות פוטופיןסמ"ק
לראיין תואר ראשון בהנדסת חשמל. הוא עבד 13 שנה בהנדסת אוטומציה, 5 שנים בתחום ה- IT, וכעת הוא מהנדס אפליקציות. כעורך מנהל לשעבר של MakeUseOf, הוא דיבר בכנסים ארציים להמחשת נתונים והופיע בטלוויזיה וברדיו הארציים.
