אתרי אינטרנט

יאהו עזרה IIT בומביי הגדרת מעבדה Hadoop Cluster

פרופיל 2013 - מריסה מאייר

פרופיל 2013 - מריסה מאייר
Anonim

יאהו סייעה המכון ההודי של טכנולוגיה בומביי להקים מעבדה באשכול Hadoop במומבאי על ידי תרומה של אשכול שרתים המפעילים את התוכנה מקור פתוח Hadoop.

Apache Hadoop הוא קוד פתוח מופץ מחשוב הפרויקט של קרן אפאצ 'י תומכת ביאהו.

יאהו מפעילה מספר רב של פעולות קריטיות שלה באמצעות Hadoop, והיא אינה יכולה לעשות את כל המחקר הנדרש סביב Hadoop בתוך החברה, אמר Prabhakar Raghavan, סגן נשיא בכיר וראש Yahoo Labs, ראיון טלפוני ביום חמישי.

יאהו הודיעה ביוני אשתקד על הפצתה העצמית של Hadoop, בהסתמך על עניין מקהילת Apache Hadoop כי היא מפרסמת את גרסת Hadoop שהיא בודקת ומתפרסת על אשכולות גדולים משלה.

אשכול מעבדה ב M מומבאי יסייע לחוקרים בתחומי המחקר של המכון, כגון טכניקות חיפוש ודירוג, מיצוי מידע ועיבוד שפה טבעית.

חוקרים אקדמיים המעוניינים לחקור נושאים הקשורים לאינטרנט לא הצליחו בדרך כלל לקבל גישה למשאבי המחשוב והטראביטים של הנתונים הנדרשים למחקר על "בעיות בהיקף האינטרנט", אמר Raghavan.

החל עם מתן חוקרים Hadoop באוניברסיטת קרנגי מלון עם מחשב מעבדים 4,000 מעבדים בשנת 2007, יאהו סייעה לאוניברסיטאות אחרות בארה"ב להקים Hadoop הוא לא אמר פרטים נוספים על אשכול המותקן ב- IIT, ורק אמר כי שרתים עם מאות CPUs ויכולת לטפל בטרה-בתים של נתונים נפרסו שם.

מלבד IIT Bombay, Yahoo מסייעת בהקמת אשכולות דומים במוסדות אקדמיים בגרמניה ובסינגפור, אמר רגואן. אלה הם שלושת המוסדות האקדמיים הראשונים מחוץ לארה"ב, שבהם יאהו מסייעת להקים אשכולות כאלה. "יאהו מתכוונת לרשת מאוחר יותר חלק מהאשכולות ברחבי העולם כדי ליצור" כלי עזר גדול יותר ". לפני כן, יש לחזק את יכולות ניהול המערכת של Hadoop כדי למנוע מתלמיד אחד להתרסק בעבודה במוסד אחר, אמר Raghavan.

יאהו עבדה ב -2008 עם מעבדה לחקר מעבדות (CRL), מעבדה המנוהלת על ידי הודו טאטא הקבוצה, להציע מתקני מחשוב חינם למוסדות אקדמיים בהודו, כי הם חוקרים מחשוב בקנה מידה גדול, במיוחד סביב Hadoop. שיתוף פעולה זה נמשך, אך הוא מתמקד בביצועי מחשוב עתירי ביצועים, אמר Raghavan.

שותפות עם מוסדות אקדמיים ב- Hadoop מסייעת ליאהו לבנות מאגר של מהנדסים המוכרים לפלטפורמת Hadoop, על פי Raghavan. חלק מהם אפילו נשכרו על ידי יאהו, הוא הוסיף. יאהו נהנתה גם מרעיונות שעלו ממוסדות אקדמיים שעושים מחקר באמצעות Hadoop, אמר Raghavan. הוא לא נתן דוגמאות ספציפיות של רעיונות שנלקחו משיתוף פעולה זה עם מוסדות אקדמיים