יקום Teradata: ניתוח נתונים גדולים הוא אמנות ומדע

Anonim
Das Bella Sky bei Kopenhagen, angeblich Europas größtes Designer-Hotel, bot den passenden Rahmen für die Anwenderkonferenz Teradata Universe, die dieses Jahr ganz im Zeichen von Big Data stand.
בלה סקיי בקופנהגן, כביכול מלון המעצבים הגדול באירופה, סיפק את התפאורה המושלמת עבור ועידת המשתמשים Teradata Universe, שהשנה עשתה הכל על נתונים גדולים.
צילום: מלונות קומוול

יש אנשים הרואים בנתונים גדולים התפתחות טבעית של טכנולוגיות קודמות, אומר אריק ברינג'ולפסון, מנהל מרכז MIT לעסקים דיגיטליים. אחרים היו רואים בזה "מהפכה בסיסית". ברינג'ולפסון הבין מהר מאוד מאיזו נקודה הוא עצמו נוטה: זה לא פחות מהתגברות על מבני כוח קיימים ודרך חדשה לחלוטין של עבודה והחלטה. בקיצור, נתונים גדולים הם מהפכת ניהול.

כל מהפכה מדעית מתחילה במדידות, הסביר פרופסור ה- MIT ללקוחות מחסן הנתונים ומומחה האנליטיקס Teradata, שהתכנס בקופנהגן. אגב, שמו כמעט מיושן, הצהיר ברינג'ולפסון: כיום משתמשים בבסיסי נתונים עם פטא או אפילו אקזבייט (מספר עם 18 אפסים). ו"עידן הזטבה "נמצא באופק.

Hadoop כנקודת איסוף נתונים

מאיפה כל הנתונים האלה? חלקם מגיעים מיישומים קונבנציונליים כמו מערכות ERP או CRM. אחרים נאספים מהאינטרנט; אלה כוללים, למשל, מידע מפלטפורמות חברתיות או שאילתות בגוגל. ואז יש שיטפון של נתוני מיקום ותנועה המועברים באמצעות GPS מטלפונים חכמים. והרבה ממה שמרכיב נתונים גדולים נמצא בתחום הרחב של תקשורת בין מכונה למכונה, כגון נתוני חיישנים או RFID.

Erik Brynjolfsson, Director des MIT Center for Digital Business: „Daten liefern weitaus bessere Ergebnisse als das Hippo-Prinzip.“
אריק ברינג'ולפסון, מנהל מרכז MIT לעסקים דיגיטליים: "נתונים מספקים תוצאות טובות בהרבה מעקרון היפו."
צילום: Teradata

לפחות בארצות הברית נתונים כאלה נשמרים לרוב במערכת "Hadoop". זהו פרויקט קוד פתוח שמתאים יחסית ל"הטלת "נתונים לא מובנים: הוא עובד מכווני קבצים ואצווה, ולכן הוא בעל ביצועים גבוהים מאוד ומאפשר גישה מהירה, אך מציע קלות שימוש מועטה ודורש "צבא של מומחים", כפי שמסביר מנכ"ל Teradata הגרמני, אנדראס גייסלר.

זו אחת הסיבות לכך שחדוד כרגע אינו נושא כה גדול באירופה - בניגוד לארצות הברית. למי שרוצה להתחיל עם מערכת הקבצים, Teradata הציגה לאחרונה שני כלים חדשים. הם משלבים את Hadoop עם מחסן ה- Teradata הקלאסי המכוון SQL ותוכנת ניתוח נתונים גדולים "Aster". בתכנית האדריכלות, Teradata סיכמה את "האופן בו שלושת המרכיבים עובדים יחד" או "UDA", ארכיטקטורת נתונים מאוחדת.

פרידה מעיקרון היפו

עד כאן הטכנולוגיה. אבל הרבה יותר מעניין, לדברי ברינג'ולפסון, הוא מה שהטכניקה הזו אמורה לאפשר: להיפרד מ"עקרון היפו ". במקרה זה, היפו מייצג את חוות דעתו של האדם הגבוה ביותר בתשלום, תחושת הבטן של המנהל הבכיר ביותר בארגון. זה עדיין בסיס להחלטות אסטרטגיות בחברות רבות, לפי חוות דעתו של המורה באוניברסיטה.

עם זאת, נתונים הניבו תוצאות טובות בהרבה מ"היפופוטמים ", בריג'ולפסון גילה כבר בשנת 2009 עם תלמידיו ויועצי ההנהלה מקינזי ושות '. חברות "מונעות נתונים" הן רווחיות יותר בכשישה אחוזים ומביאות בממוצע 50 אחוז שווי שוק יותר ממתחרותיה.

ענף הייצור לפנינו

כפי שממצא גם המחקר, ענפי ה- IT והייצור נמצאים בקצה הראשון כשמדובר בשימוש בנתונים כבסיס לקבלת החלטות. נותני שירותים פיננסיים ואחרים מראים שילוב של נתונים וחוויה. לעומת זאת, לסחר ולכלי השירות יש משקל עודף ברור מצד היפו.

ספק חשמל כקבוצת יעד

המומחה לניתוח נתונים Teradata חתם לאחרונה על הסכם שותפות עם חטיבת הרשת החכמה של סימנס AG : השניים רוצים לאחד את הידע שלהם ועל סמך "מודל השירות הלוגי לנתונים של Teradata", מערכת ניתוח נתונים מסוג Big Data המספקת שירותי שוק.

  • "עסק השירותים שלנו היה קטן יחסית עד כה", מודה הרמן ווימר, נשיא Teradata International. דה-רגולציה, פירוק וייצור האנרגיה הנפוץ למדי (מילות מפתח הנה: תאים סולריים וטורבינות רוח בבעלות פרטית) עזרו לחלק את זרימת הנתונים ולהפוך אותם לבלבלים.

  • Teradata מנסה כבר שלוש שנים לכבוש את השוק הזה. עם לקוחות Siemens Smart Grid, ההזדמנויות גדלות כעת.

  • לפני כשנה וחצי, חטיבת סימנס כבר עשתה צעד חשוב לקראת ניתוח נתונים - על ידי רכישת המומחה לניהול נתוני מטר בקליפורניה eMeter ופלטפורמת המידע האנרגטי שלה (EnergyIP).

  • עם זאת, מדידה חכמה קיימת כיום בתקשורת לעתים קרובות יותר מאשר בפועל. "רשתות ההפצה די טיפשיות בימינו", חושף ג'אן מרוסיק, מנכ"ל חטיבת הרשת החכמה של סימנס.

  • עם פיתרון דו-משמרת, שני הספקים רוצים לשנות זאת כעת. הארכיטקטורה מורכבת משני מרכיבים:

    - שכבה לניתוח נתונים (מחסן הנתונים של Teradata ופלטפורמת ניתוח נתונים גדולים)

    - חבילת יישומים שתרדאטה וסימנס רוצים לפתח יחד.

  • אילו יישומים יוצאים בהרחבה מכך טרם הוחלט. "קודם כל, אנו רוצים לשכנע לקוחות לפני שאנו מציעים מוצרים", מסביר דיוויד סוצ'ה, מנהלת תחום העוסקים בתחום השירותים האמיים ב"תרדה ". אז קהל הלקוחות צריך לבטא את מה שהם באמת צריכים.

  • בכל מקרה, באתר הלקוח יש להתקין את הפיתרון המתאים. "ענף השירותים שמרני", יודע סוצ'ה מניסיון רב: "החברות עדיין לא מוכנות להפקיד את הנתונים האלה לספקית."

מתאם איננו סיבתיות

אך איסוף נתונים בלבד אינו מסייע לחברות. "היזהר מדעות קדומות", מזהיר ברינג'ולפסון, "נתונים הם דבר שאינו ידע, והמתאם אינו שווה לסיבתיות." באנגלית רגילה: אם השאלות מוטעות או מתעלמים מהתנאים, התוצאות אינן מועילות.

כדוגמה, פרופסור ה- MIT ציין את הקשר בין יכולת קריאה לגודל הנעליים, אותם ניתן לקבוע על בסיס ניתוח סטטיסטי של התלמידים. לרוע המזל, הוא לא אומר דבר מכיוון שתלמידים מבוגרים יכולים לקרוא טוב יותר בממוצע - ומכיוון שהם מקבלים רגליים גדולות יותר באורך הגוף הולך וגדל.

גם תחושת בטן נחוצה

Stephen Brobst, CTO bei Teradata: „Als Industry Consultants brauchen wir auch Leute mit verrückten Ideen.“
סטיבן ברובסט, CTO של Teradata: "כיועצי תעשייה, אנו זקוקים גם לאנשים עם רעיונות מטורפים."
צילום: Teradata

כדי לעקוף מלכודות כאלה, נדרשים מדעני נתונים. מבין אלה יש עדיין מעט מדי בשוק העבודה. מה יכולים ספקים ויועצים לעשות כדי לפצות על החסר הזה? "בין כ -5, 000 היועצים שלנו הם לא רק מי שמבין את עצמם כשרברבים ועוזר בהקמת התשתית, " אומר סמנכ"ל טרדאטה סטיבן ברובסט. כשליש מיועצי החברה עצמה הם "יועצי תעשיה". הם יכולים לעזור למשתמשים למצוא את הנתונים והשאלות הנכונים. זה מצריך גם תחושת בטן: "אתה צריך מדע ואמנות, וזו הסיבה שאנחנו מחפשים אנשים שיכולים לפתח רעיונות מטורפים." (MHR)