מה מכוח את הבוט הפתוחאי שהכה את דנדי

בשבוע שעבר נוצרה היסטוריה בתחומי Dota 2 ו- AI. ב- The International, דנדי, אחד השחקנים הטובים ביותר במשחק, הוכה ללא רחם ב- 1v1, על ידי בוט, פעמיים ברציפות. הבוט המדובר נעשה על ידי OpenAI, סטארט-אפ של אלון מאסק.

עכשיו אולי יש לך כמה שאלות. מה זה דוטה? מה זה OpenAI? ולמה זה אפילו חשוב? ראשית, דוטה הוא משחק MOBA חופשי למשחק בו אתה שולט בגיבורים ומטרתך להרוס את היריבים העתיקים. אוהדי דוטה רבים עשויים לעבור עבירה למשפט האחרון שכן יש כל כך הרבה לדוטה אז סיכמתי.

המשחק מורכב מאוד עם עקומת למידה תלולה אליו. יצאתי למשימה ללמוד את דוטה לפני זמן מה ולקח לי שבוע רק לעבור סרטון How To בסיסי, שם הם מסבירים את האסטרטגיה של המשחק, מה כלי נשק, לחשים, גיבורים עושים ואיך לכרות את השרץ. וזה הופך את כל קרב ה- AI לעומת דנדי לחשוב מכיוון שהוא ממחיש עד כמה הפכו AI ו- ML מתקדמים. אז בואו נראה מה מכריח את הבוט ההוא והאם אנו צריכים להפחד מההתקוממות AI.

עלייתו של כוכב ה- AI

AI להפוך ל- Skynet הוא בעיה שתהיה במחלוקת. אילון מאסק מאמין שאם לא ישמור על הסימון, סביר להניח שתרחיש של Skynet יתרחש. מצד שני, מארק צוקרברג אומר כי AI אינו מזיק ולא יגרום לתרחיש יום הדין. אלון מאסק התחיל את OpenAI במטרה זו.

כדי למנוע שימוש לרעה ב- AI ובמחקר ב- AI שלא יפנו נגדנו. ואני בצד שלו.

אבל זה לא מה שאנחנו כאן כדי לדון. הנושא העיקרי הוא לדעת מה מניע את הבוט שנעשה על ידי OpenAI. כדי להבין את זה קראתי מאמרי מחקר ובלוגים בנושא ויצרתי קשר עם חברתי אנמול שרמה שהוא חוקר AI & ML.

לימוד עם חיזוקים

זהו שם הטכנולוגיה שמאחורי הבוטה של ​​ה- OpenAI. אך לפני שנעמיק בזה, עלינו להבין כיצד AI כללי, או ספציפית AI במשחקי וידאו, עובד. AI הוא מונח לוח מאוד והוא מכיל נושאים רבים כמו למידת מכונה, למידה עמוקה ורשתות עצביות, כדי להזכיר כמה. כדי להגדיר באופן גס את AI, אנו יכולים לומר שזו היכולת של מחשב ללמוד ממידע ולקבל החלטות על בסיס הלמידה שלו. ככל שהיא לומדת יותר, כך נכונות ההחלטה עולה.

במה זה שונה מזה של בוט רגיל?

בוטים במשחקי וידאו כלליים עשויים להיראות כאילו הם אינטליגנטים, אך זו אינה צורה אמיתית של AI. כמעט כל הבוטים האלה במשחקים מתוכנתים על בסיס קבוע אם..זה..ואז.. ההצהרות האלה. הם פשוט עוקבים אחר ההצהרות ונוקטים פעולות על סמך התנאים הכתובים בהצהרה.

מעל הראיתי דוגמא מאוד פשוטה. הצהרות במשחקים אמיתיים מורכבות בהרבה בתנאים בתנאים. ככל שההצהרות הללו מוגדרות ומפורטות יותר כך הבוט נראה אינטליגנטי יותר.

תגמולים ועונשים

בלינגו AI, מה שאנו מכנים כבוט ידוע כסוכן. המטרה היא לגרום לסוכן ללמוד כל מה שאנחנו רוצים שהוא ילמד. הסוכן לומד באותה שיטה בה לומד הכלב שלך, באמצעות תגמולים ועונשים. בכל פעם שהסוכן עושה טעות הוא נענש ובכל פעם שהוא מבצע ניחוש נכון או נותן תשובה נכונה, הוא מתוגמל. באמצעות מערכת זו הסוכן לומד לשייך את הפעולות שאסור לו לעשות כדי להימנע מעונש ולבצע את הפעולה (או פעולות דומות) המעניקות תגמולים.

אם אתה חושב על זה מקרוב, זה ממש כמו לקבל החלטות על סמך תנאים מסוימים, כמו שאלגוריתמים עושים זאת. כפי שהראתי לעיל, בוט משחק, המגיע לחבית נפץ, יבצע פעולות לפי האלגוריתם. האלגוריתמים ב- AI, כמובן, מורכבים בהרבה מכדי שהופכים את המערכת כולה לאינטליגנטית.

כשהגיע לבוט ה- OpenAI שלנו, לדברי המפתחים, הוא למד את כל המשחק בזמן של שבועיים. במשך כל שבועיים זה היה מקוון 24 × 7 ומשחק נגד עותק של עצמו. זו אבן דרך מדהימה בהתחשב במורכבות המשחק והעובדה שהוא יכול לנצח את דנדי.

מדוע מכוניות חסרות נהג עדיין אינן כאן?

זו הייתה אחת מהשאלות הראשונות שצצו בראשי כששמעתי על כל האירוע הזה. אם בוט יכול ללמוד משחק כזה ולאמן את עצמו עד כדי מכות על שחקני צמרת, מדוע אנו עדיין מאיישים את ההגה. וזו הייתה אותה שאלה שירהתי בחברתי, מר אנמול שרמה, שחקר גם הוא על מכוניות נטולות מים. זה מה שהיה לו לומר.

במשחק, זה פותח על ידי אדם, מספר המשתנים פחות. בנוסף, אם הסוכן (בוט) טועה, העונש הגרוע ביותר הוא הפסד עגול. בעולם האמיתי, טעות אחת היא המוות.

למרות שדוטה הוא משחק מורכב, השילובים האפשריים של מהלכים, לחשים וטקטיקות, אם כי עדיין גדולים בצורה מופרכת, עדיין מוגבלים. וטעויות מותרות ללא שום עונש אמיתי. אך במקרה של סוכן מכוניות ללא נהג, טעויות עלולות להוביל לתאונות מסוכנות ואף למוות.

בעולם האמיתי, מספר המשתנים שעל הסוכן לפקח הם אינסופיים ומצבים המתעוררים בגלל משתנים אלה, כמו מכונית אחרת המשתנה לפתע בנתיב, הולכי רגל קופצים לפני המכונית, הם גם אינסופיים. בנוסף, כלשונו של ג'רמי קלרקסון, הם יצטרכו לקבל החלטות מוסריות ואתיות כאשר הם על סף תאונה מיידית (אם כי התיאוריה שלו אינה תקפה).

העתיד

אנו יודעים כבר על רובוט מבוקר אנושי המבצע ניתוחים פנימיים. הקפיצה הבאה היא רובוטים בשליטת AI שמבצעים אותה. וזה רק בתחום הרפואי. AI בוודאי תהיה הטכנולוגיה החדשה הדומיננטית בעשור הבא בתחומים רבים. עם זאת, ניתן להשתמש לרעה ב- AI למטרות מצמצמות כמו התקפות DDoS, Ransomware Bots ופריצות למחשבים או מערכות אחרות של חברות.

בנוגע לדוטה ומשחקים אחרים, אנו יכולים לצפות לראות בוטים חכמים כל כך המיועדים למשחקים אחרים, שנגדם יוכלו להתאמן כדי לבצע ביצועים טובים עוד יותר. והזכרתי ש- OpenAI תעלה 5v5 באינטרנשיונל של השנה הבאה? אז אני אמור לצמצם את כישורי הדוטה שלי לפחות להביס את הבוטים הכפולים המובנים. ראפיי אלוהי הנה אני בא!