חוקר הבינה המלאכותית התפטר, ומזהיר: "עלולה להרוג את כולנו"

סערה ברשת בעקבות שורת אזהרות חריגה שפרסם ג'ייקוב קוקסון, חוקר בינה מלאכותית שעבד בשנים האחרונות בשתיים מהחברות המובילות בעולם בתחום, OpenAI ו-Anthropic.

קוקסון הודיע כי התפטר מ-Anthropic, לאחר שלדבריו הגיע למסקנה כי המרוץ לפיתוח מערכות בינה מלאכותית מתקדמות מתנהל ללא רמת הזהירות הנדרשת.

"אף אחת מהחברות אינה פועלת באחריות", כתב קוקסון. לדבריו, החברות נמצאות במרוץ לפיתוח בינה על-אנושית שתוכל להשתפר בעצמה, ובכך, כלשונו, "מהמרות בחיינו".

בהמשך הזהיר מפני היכולות שאליהן עשויות להגיע מערכות הבינה המלאכותית בשנים הקרובות. "אל תמעיטו בעוצמה של הטכנולוגיה הזאת", כתב, וטען כי מערכות עתידיות עשויות להגיע ליכולות על-אנושיות בתחומים שונים, לבצע מתקפות סייבר מתקדמות, להאיץ מחקר מדעי ולהשיג השפעה ממשית בעולם. "ההתקדמות לא מאטה", הוסיף.

"המעורבים אמינים שהיא עלולה להרוג את כולנו עד סוף העשור"

קוקסון טען עוד כי החשש מפני תרחישים קיצוניים אינו קיים רק בקרב מבקרים חיצוניים של התעשייה, אלא גם בתוך החברות עצמן. לדבריו, אנשים המעורבים בפיתוח מערכות הבינה המלאכותית המתקדמות ביותר "באמת מאמינים שהיא עלולה להרוג את כולנו עד סוף העשור".

"זה לא תרגיל שיווקי", הדגיש קוקסון, וטען כי בשיחות פרטיות שמע מבכירים וחוקרים חששות חריפים אף יותר מאלה שהם מציגים בפומבי.

לדבריו, ב-OpenAI יש עדיין עובדים שאינם מבינים במלואן את "ההשלכות על הציוויליזציה", בעוד שב-Anthropic המודעות לסיכונים גבוהה יותר, אך החברה ממשיכה במרוץ מתוך חשש שאם תאט, חברות מתחרות יגיעו לפניה לפיתוח בינה על-אנושית.

קוקסון הגדיר את המצב כ"הימור יהיר", וקרא לחברות המובילות להגיע להסכמות שיאפשרו להאט את המרוץ. לדבריו, במידת הצורך יש לשקול אף עצירה זמנית של שיפור יכולות המודלים, עד שניתן יהיה להבטיח בצורה טובה יותר את השליטה בהם.

החוקר העיד: "ג'ייקוב צודק"

הסערה התעצמה בעקבות תגובתו של אוון הובינגר, חוקר ב-Anthropic העוסק בתחום הבטיחות וההתאמה של מערכות בינה מלאכותית. "ג'ייקוב צודק", כתב הובינגר.

הובינגר אף נקב בהערכת סיכון חריגה במיוחד וטען כי להערכתו קיים סיכוי של יותר מ-10% לכך שבינה מלאכותית תגרום למותם של כל בני האדם בתוך העשור הקרוב.

לדבריו, למרות המאמצים המושקעים בתחום הבטיחות, נכון להיום עדיין אין פתרון מוכח שיבטיח כי מערכת בינה מלאכותית שתעלה ביכולותיה על בני אדם תפעל לאורך זמן בהתאם למטרות שהוגדרו לה.

בסיום דבריו פנה קוקסון לעובדים בחברות ה-AI וקרא להם לחשוב על הרגע שבו יידרשו להפעיל מערכת על-אנושית, גם כאשר עדיין לא תהיה להם הבנה מלאה של דרך פעולתה ושל הסיכונים הכרוכים בכך.