הררי מזהיר: הסיכון מ־AI הוא אובדן שליטה במערכות פיננסיות ובירוקרטיות. בריאיון לטלוויזיה הציבורית בצ'כיה הציג ההיסטוריון והפילוסוף יובל נח הררי תרחיש שבו הבינה המלאכותית תנהל מנגנונים המשפיעים על חיי האדם, בעוד בני האדם יתקשו להבין כיצד הם פועלים. זו אזהרה מפני עתיד אפשרי לפי הררי, ולא תיאור של תוצאה שכבר התרחשה.

תלות בלי הבנה

הררי בחר להסביר את החשש באמצעות השוואה לפרות: הן מסוגלות להבחין בבני אדם, אך אינן מבינות את המנגנונים הכלכליים שבאמצעותם בני האדם מעצבים את חייהן. באופן דומה, לטענתו, גם אנשים עלולים להיות מושפעים ממערכות AI בלי להבין את ההיגיון שמאחורי החלטותיהן. בביטוי ״אנחנו הפרות של העתיד״ הוא תיאר פער בין עצם החיים בתוך מערכת לבין היכולת להבין אותה ולהשפיע עליה.

איור להמחשה: איור גרפי של מאגר עסקאות מופשט: שכבות רבות של רשומות ללא טקסט קריא נכנסות ליחידת עיבוד מסומנת AI. סגנון שטוח וברור, ללא אנשים וללא ממשק בנק אמיתי.
איור להמחשה בלבד — איור: עיבוד ושימור מידע פיננסי, היכולת העומדת במרכז הטיעון של הררי.מערכת אינווסטרים · איוראיור להמחשה · אינו תצלום של אירוע אמיתי.

לא מתקפה ברחובות

במרכז התרחיש שהציג הררי לא עומדת אלימות פיזית מצד מכונות. האזהרה שלו עוסקת בהעברת כוח למערכות בינה מלאכותית בתוך הפיננסים והבירוקרטיה. לדבריו, הטכנולוגיה עלולה לצמצם בהדרגה את יכולתם של בני אדם להבין החלטות שמעצבות את החברה ולהשפיע עליהן. כלומר, התלות שהוא מתאר אינה מחייבת עימות גלוי: היא יכולה להתבטא דווקא בפעולתם של מנגנונים מינהליים וכלכליים.

יתרון המידע, לפי הררי

ההסבר שנתן הררי לתרחיש נשען על יכולתן של מערכות AI לעבד מידע רב ולשמר אותו. הוא המחיש זאת באמצעות השוואה בין בנקאי אנושי, שאינו יכול לזכור את מלוא עסקאות הבנק, לבין בנקאי מבוסס AI שלדבריו יוכל לעשות זאת. זו טענה שהררי מציג על יתרונה האפשרי של הטכנולוגיה בסביבה פיננסית, ולא תוצאת מבחן ביצועים המתוארת בדבריו.

איור להמחשה: איור רעיוני של מבוך שקוף הבנוי מדפי חוזים ורשומות פיננסיות מופשטות. במעטפת נראים מסלולים פשוטים ובפנים הסתעפויות צפופות. ללא אנשים, ללא טקסט חוזי מומצא וללא מראה של צילום תיעודי.
איור להמחשה בלבד — איור: המחשה לתרחיש של מערכות מתפקדות שמורכבותן מקשה על הבנתן.מערכת אינווסטרים · איוראיור להמחשה · אינו תצלום של אירוע אמיתי.

מערכות מתפקדות, אך קשות להבנה

מכאן גזר הררי אפשרות שהבינה המלאכותית תבנה מנגנונים פיננסיים ומשפטיים בעלי מורכבות שבני אדם לא יוכלו לפענח. בתרחיש שלו, הקושי אינו מוגבל למי שאינם בעלי הכשרה: גם מומחים עלולים להתקשות להבין את המערכות הללו. הוא מתאר אפשרות שבה מנגנון ממשיך לתפקד, אך האנשים שחייהם תלויים בו מאבדים יכולת משמעותית להבין את אופן פעולתו ולשלוט בו.

פרשנות: השאלה היא גם מי מבין

המשמעות של אזהרת הררי היא הבחנה בין תפקוד המערכת לבין שליטה אנושית בה. לפי ההיגיון שהציג, מערכת יכולה לבצע את תפקידה ובכל זאת ליצור פער בינה לבין מי שכפופים להחלטותיה. לכן מוקד דבריו אינו רק מה AI תוכל לעשות, אלא אם בני אדם יוכלו להבין את המנגנונים שתיצור ולהשפיע עליהם. זהו פירוש לתרחיש שהעלה, לא הוכחה לכך שהוא יתממש.