ראש השנה הוא זמן טוב להחלטות משמעותיות. בעוד שאחדים מאיתנו קמו משולחן החג עם החלטה לבצע יותר פעילות גופנית ולבלות פחות זמן עם הטלפון הנייד, מנכ"ל אנתרופיק דריו אמודיי הציב מטרות מעט יותר שאפתניות. ברשימה שהעלה לבלוג שלו אתמול, א' בתשרי התשפ"ז, קרא אמודיי לריסון עצמי מתואם של חברות המפתחות את מודלי החזית של הבינה המלאכותית. לבנות לאט יותר ובטוח יותר.

הקריאה לריסון מתואם מנומקת בחשש מיכולתה של הבינה המלאכותית לשפר את עצמה במהירות באופן המגביל את יכולתם של בני אדם לפקח עליה באופן אפקטיבי. מתחרים רלבנטיים כסם אלטמן הביעו תמיכה, והרשת כמרקחה. האם האזהרות הן אזעקות אמת, על רקע חשש לגורלה של האנושות? אולי זו בכלל קריצה לשוק ההון במטרה להאדיר את יכולותיה של הטכנולוגיה לקראת ההנפקות שבדרך, או פשוט "תוכן שיווקי"? באופן אישי, לא אופתע אם כל התשובות נכונות.

יזמים כאמודיי, אלטמן ומאסק חושבים בגדול, בונים דברים מדהימים, וניחנים ביכולת שיווקית ורטורית מדהימה. הם רוכבים לירח על גבו של נמר בעודם נדרשים להניח את דעתם של משקיעים, נשיאים וארגוני ביון. כל גמגום עלול להביא לזליגה של מוחות פוריים, כספי משקיעים וכח מחשוב למתחרים. לחזות בחבורה שכזו מנסה להתכנס לקרטל זה חתיכת ארוע, ואנחנו כאן כדי לעזור. בערך.

כשקוראים את הרשימה של אמודיי ישנה תחושה ניכרת שהוא (או הסוכן שלו) קרא ספרות כלכלית בנושא קרטלים. הוא מדבר על "תמריצים לערוק" ועל הקושי לתאם פעולות. נושא אחד מוזכר ברמיזה בלבד: אי החוקיות של קרטל. במדינות רבות יש לממשלה זכות חוקית להשעות את כללי ההגבלים העסקיים כאשר הדבר נחוץ לשם הבטחת אינטרסים לאומיים, בטחוניים וגיאו-פוליטיים. האם הצלת האנושות מהכחדה זו מטרה המצדיקה את השעית חוקי ההגבלים? נראה שאמודיי מבקש מאיתנו לענות בחיוב. מכל מקום הרשימה של אמודיי עוברת מיד לתכל'ס: הצורך לתאם פיתוח איטי ומבוקר יותר של טכנולוגיית הקצה.

ראשית, נתאר את ליבת ההצעות שלו. באופן מדהים, גם בלי לשרת בצה"ל, אמודיי מבין היטב שכל תכנית חייבת להתחלק לשלושה חלקים. החלק הראשון בתכניתו הוא שחברות הבינה המלאכותית יספקו גישה למבקרים חיצוניים. מבקרים אלו יקבלו גישה מלאה, זהה לזו של עובד בחברה. הם יוכלו להתרשם מהמידה בה תהליכי העבודה עומדים בסטנדרטים של בטיחות שהחברות מתחייבות אליהן באופן פומבי, ולחלוק את מסקנותיהם עם הציבור. סוג של פקחי סאב"א, אבל כאלו שמקבלים תג עובד, תקן ופנסיה תקציבית ממשמרות המהפיכה. את הצעד הזה מתחייב אמודיי ליישם באופן חד צדדי ומיידי בחברה שלו, אנתרופיק.

המגנון השני מכונה "תיאום דמוקרטי" ומהותו: חברות הבינה המלאכותית הפועלות במדינות דמוקרטיות יגבשו כללי פעולה מתואמים שתכליתם להאט את קצב הפיתוח. למה להאט? כי זה יתן להן זמן להבין טוב יותר מה המודלים שלהם עושים, ולפתח מנגנוני הגנה. המנגנון השלישי ינסה להגיע להבנה עם ממשלות של מדינות לא דמוקרטיות, ובפרט עם סין, במטרה להאט את המירוץ לעבר מודלים חזקים יותר, בדומה להסכמים מתקופת המלחמה הקרה שהגבילו את מספר ראשי הנפץ הגרעיניים והטכנולוגיות המפותחות בשני צידי המתרס.

מדריך למתקרטל. כנקודת מוצא, נניח לרגע שאנו מקבלים את הצורך לתאם האטה מבוקרת של קצב הפיתוח, ונשאל: אלו צעדים עשויים לתרום ליכולתו של הסדר קרטליסטי כזה להחזיק מעמד?

אמודיי כותב על הקושי להשיג תיאום ולמנוע סטיה מהסכמים מתחת לרדאר על ידי אחד או יותר מהצדדים להסכם. הוא מציין שכל מגבלה טכנולוגית עליה יוסכם ניתנת לעקיפה מעשית באופן שאינו שקוף. רעיונות אלו מתכתבים באופן ישיר עם התאוריה הקלאסית של קרטל ועם הבעיה הבסיסית שהקרטל מנסה לפתור: כיצד להתגבר על דילמת האסיר ולהשיג שיתוף פעולה.

במשחק סטטי, אין שום תמריץ לשתף פעולה: לכל שחקן יש תמריץ לסטות משיתוף פעולה ולהבטיח לעצמו תוצאה טובה יותר. כדי להסביר את שיתוף הפעולה שאנו רואים במציאות, התאוריה הכלכלית מתמקדת במשחקים חוזרים: כאלו שבהם אכפת לי לא רק מתוצאות קצרות טווח, אלא מהתועלת העתידית משיתוף פעולה מתמשך. במשחק כזה, לסטיה נוכחית יש מחיר עתידי: עצירת שיתוף הפעולה. ועדיין, הפיתוי לעקוף את המגבלות וליצור את מודל השפה הגדול שיותיר את כולם מאחור עלול להיות חזק מדי. אמודיי מכיר בקיומם של אתגרים הכרוכים בהשגת שיתוף פעולה, אך אינו צולל לתוך המנגנונים שעשויים להקל על השגת שיתוף פעולה כזה. אנחנו נעשה זאת בשבילו.

הדבר הראשון שהספרות הכלכלית מצביעה עליו הוא…סבלנות. או ליתר דיוק, שיעור ההיוון הקובע עד כמה לשחקנים המדוברים אכפת מתוצאות עתידיות, לעומת רווחים מידיים. להסדר שדריו אמודיי מציע יש סיכוי גבוה יותר להצליח, ככל שחברות כמו אנתרופיק, אופן איי.איי והמשקיעים בהן יפגינו יותר אורך נשימה וסבלנות. ברשימה עצמה אין התייחסות לנושא זה, אך נשים לב שנסיגה או דחיה של תכניות ההנפקה של חברות אלו יכולות להתפרש כסיגנל מועיל בהקשר זה. אם אני עומד להנפיק את החברה בעוד כמה חודשים, אזי בהכרח אהיה ממוקד בהישגים מידיים על חשבון בניה מרוסנת ואחראית. לא בטוח גם שהצורך לדווח רבעונית יעשה טוב לחברות שרוצות להאט ולפעול בשום שכל. מנקודת מבט זו, האמירה של סם אלטמן כי הנפקת אופן איי.איי לא תתרחש השנה נראית כצעד בכיוון הנכון.

מה עוד יכול לעזור? הספרות הכלכלית מצביעה גם על חשיבותה של יכולת הניטור: לכל אחד מחברי הקרטל צריכה להיות דרך לבצע לצפות בפעולות היריבים בזמן אמת, או לפחות בקבועי זמן קצרים, על מנת שיוכל לוודא שיריביו אינם גונבים סוסים בחשיכה. בתאוריה הקלאסית, הכוונה לכך שאוכל להבחין במהירות שהיריב מוריד מחירים, וחשוב מכך: היריב צריך לדעת שיש לי יכולת אבחנה כזו, ולהירתע מסטיה מההסדר שלנו. בהקשר שלפנינו, הניטור אינו של ירידת מחירים אלא של פריצה טכנולוגית מחוץ לפרמטרים שנקבעו בהסכם. אמודיי מרבה לדבר על נושאים של בניית אמון, ונדמה לי שהצעד הראשון שהוא מציע, קרי, הפיקוח החיצוני, עולה בקנה אחד עם רעיון הניטור עליו מדברת התאוריה הכלכלית. לכאורה, ככל שחברות בינה מלאכותית נוספות יאמצו את הרעיון הזה, יווצר מנגנון של שקיפות הדדית שיוכל לתמוך בשיתוף פעולה מתמשך.

הספרות הכלכלית מדגימה גם את הערך של דינמיקת הובלה ביצירת שיווי משקל מתואם. כדי להוציא את הקרטל לדרך, מישהו צריך לעשות את הצעד הראשון (בדרך כלל: להעלות מחירים). זהו צעד עדין: היריבים עלולים לנצל את העלאת המחירים שלי כדי לחתוך מחירים, לקחת ממני כח שוק ולזכות ביתרון אסטרטגי. לחילופין, הן עשויות להבין שאני מאותת להן ללכת בעקבותי, ולהעלות מחירים בעצמן. לדינמיקה הזו יש גם ביסוס אמפירי. כך למשל הראו ניית'ן מילר, גלוריה שו ומאתיו וויינברג שדינמיקה של העלאת מחיר על ידי שחקנים מובילים, הגוררת בעקבותיה ישור קו מצד מתחרים, מאפיינת את תעשיית הבירה בארה"ב.

המגבלה החוקית מונעת ממרבית החברות את הלוקסוס של לשוחח באופן ישיר ולתאם סדר פעולות. דומה שהפטור מחוקי ההגבלים שאמודיי ואלטמן מבקשים מאיתנו מאפשר להם לתקשר על כוונותיהם באופן גלוי. ועדיין, גם בסביבה כזו, מישהו צריך להראות שהוא מוכן לזוז ראשון. את ההכרזה של אמודיי שאת החלק הראשון בתכניתו, קרי, הפיקוח החיצוני, הוא מיישם באופן מיידי וחד צדדי, ניתן אולי להבין כניסיון לסמן את הדרך לאחרים ולהוביל אותם אל הארץ המובטחת של שיתוף הפעולה. זאת לצד תועלות נוספות כגון יחסי ציבור וביצור תדמית ציבורית של חברה אחראית.

מבט ביקורתי. הדיון שניהלנו עד לשלב זה היה נדיב מאוד עם התזה של אמודיי. לקחנו כנתון מספר רב של עובדות שעל כולן ניתן להתווכח. האם פונקציית המטרה האמיתית שלו ושל עמיתיו היא להגן על האנושות בטווח הארוך? האם קרטל ישיג את המטרה הזו? ואולי אמודיי ואלטמן בכלל מחפשים כרטיס יציאה ממירוץ לתחתית שבו הבעיה אינה איום על גורל האנושות, אלא דרישה להשקעות אדירות ללא חפיר רציני שמאפשר להחזיר את ההשקעה ולהציג רווחיות?

בקיצור, עם כל הכבוד לשאלה החשובה של כיצד ליצור אמון ושיתוף פעולה בין אלטמן, אמודיי ואחרים, דומה שגם לנו, אזרחי כדור הארץ, יש זכות לשאול אותם כיצד הם מתכוונים לזכות באמון שלנו. אף אחד מהחברים הנכבדים הללו לא הגיע לאן שהגיע בזכות קומבאיה, שילוב ידיים ומשחק ג'נטלמני בלבד. ניתן להתפעם מהישגים טכנולוגיים של חברות מבלי להיות נאיביים ביחס ליצרים ולהיעדר הגבולות שמאפיין, לא פעם, את הכוחות שדוחפים אותן קדימה.

למען האמת, אני פשוט לא רואה את המנגנון שיעזור לפונקציית המטרה של החברות הללו לשקלל את רווחת האנושות בצורה משמעותית. ואם זה המצב, אזי דחיית סיפוקים ומשקל גבוה יותר על תשלומים עתידיים לא יעזור. ואם הן באמת בונות מכונה סופר-חכמה שתהפוך את בני האנוש לעבדים, או לאבק גרעיני, אז הפתרון הוא כנראה לא הסכם ג'נטלמני אלא העברת השליטה על הקצה החד של הפיתוח לגוף היחיד שאמור להיות לו מונופול על הפעלת נשקי יום הדין, קרי, הממשל הפדרלי.

אם הבינה המלאכותית המפותחת במעבדה של אנתרופיק היא טכנולוגיה דו-שימושית, אז אולי בכלל צריך לגייס את המוחות הפוריים שלה לסוג של תכנית מנהטן. המטרה לא תהיה להגיע להסכמים על הגבלת המירוץ עם מדינות עויינות, אלא לנצח במירוץ מולן. המגזר הפרטי יוסיף להינות דרך השקעות משמעותיות והסכמי מסחור אחראי של טכנולוגיה שתפותח במסגרת תכנית כזו, ואת הפעילות מתחת לסף רגישות מסויים מוטב להשאיר מלכתחילה למגזר הפרטי ולאפשר לכולנו להמשיך להינות מפירות התחרות בתחום הטכנולוגי. כלומר, אני לא יודע עד כמה הסכנה אמיתית, אבל אם היא כל כך קריטית כפי שהדבר מוצג, אזי אני לא חושב שקרטל של חברות של חברות המפתחות את טכנולוגיית הקצה הוא הפתרון, או הפתרון העיקרי.

שאלה נוספת: האם לא ראוי להרחיב את יריעת "המירוץ לתחתית" כדי לדון בבעיות נוספות, מעבר לתרחישי יום הדין? כשאמודיי אומר שהוא רוצה לעצב מחדש את הסביבה התחרותית כדי ליצור "מירוץ לצמרת," הוא מזמין אותנו לעצב שווקים ותהליכים באופן שישפר רווחה וימזער סיכונים. השימוש בטכנולוגיית הקצה על ידי גורמים אנושיים עויינים הוא דוגמה בולטת לסיכון שכזה. עבודה מהירה ורשלנית על ידי גורמים שוחרי טוב הוא דוגמה נוספת. כלומר, יש מספיק עבודה בליישר תמריצים של בני אדם, לצד הצורך לטפל בתמריצים של סופר-מכונות.

המירוץ לתחתית הוא בעיה של כולנו. חברות מסחר אלקטרוני, חברות תוכנה כשירות (Saas), פיננסים, מוסדות ציבוריים וחברות פרטיות, מורים וחוקרות באקדמיה מוצאים עצמם תחת לחץ הולך וגובר להעביר את ההגה לסוכני בינה מלאכותית, לאפשר גישה חופשית לכלים טכנולוגיים, להשתמש בקוד שנכתב ללא מגע יד אדם, ולקצר תהליכים בכל הכרוך בהגנה על פרטיות או על זכויות יוצרים. אימוץ איטי ומבוקר של טכנולוגיות מביא לפגיעה כלכלית ותדמיתית. המאמץ עלול לשאת באחריות לכשלים ולתקלות, אך כנראה ימשיך לרקוד כל עוד המוזיקה נמשכת.

הנהלה שמחוייבת להציג תוצאות מרשימות בכל רבעון לא בהכרח תתעקש להאט ולבדוק דברים לפני השקה של טכנולוגיה חדשה, פנימית או חיצונית. גורמים בארגון שינסו לנקוט גישה שמרנית ובטוחה יותר, ברוח הצהרתו של דריו אמודיי, ימצאו עצמם שוחים נגד הזרם וישמעו לא מעט הטפות, אזהרות ואיומים אודות העתיד העגום הצפוי למי שנשאר מאחור. בקיצור, כולנו במירוץ לתחתית.

כיצד מתמודדים עם בעיות התמריצים הללו? עסקינן בשווקים שמתעצבים מחדש במהירות, ולתחום הכלכלה, שעוסק (לפחות בימים אי-זוגיים) בשווקים ובתמריצים, יש הרבה מה לתרום כאן. התובנה הראשונה שחקר שווקים מלמד אותנו הוא שהם מאוד הטרוגניים, ולכן גם הפתרונות הטרוגניים. האתגרים שתארנו כאן על קצה המזלג אינם צווארי בקבוק הממתינים לפתרון טכנולוגי-אוטומטי. מי שיפתור אותם הם בני אדם והם יעשו זאת על ידי היכרות מעמיקה עם הסביבה המוסדית, הארגונית והכלכלית הרלבנטית.

קרטל או האטה מתואמת לא בהכרח יהיו הפתרון הראשון, או אפילו השלישי המועיל ביותר למגוון הבעיות הללו. גם בהתעלם מכל הסיבות החוקיות שבגללן לא נרצה לראות מתחרים נפגשים לקפה כדי לדבר על "רגולציה," כלל לא ברור שהפרמטרים של הבעיה יאפשרו שיתוף פעולה יציב שכזה.

אז אלו מן פתרונות נרצה לראות? בהקשרים מסויימים, נרצה לראות פתרון דומה לזה שמצאה המערכת הפיננסית העולמית לבעיות התמריצים בתחום הלבנת ההון או מימון טרור. לבנקים מסחריים לא היו בעבר תמריצים לשאול יותר מדי שאלות כאשר לקוח לא מוכר ביקש לפתוח חשבון. כיום המצב שונה בגלל ההשלכות הניכרות שיש להתנהלות לא זהירה בתחום זה. לרגולטור יש אמנם יכולת מוגבלת לקבוע כללים מועילים בסביבה טכנולוגית מתפתחת, ושחקנים רעים ימצאו דרכים לעקוף רגולציה נוקשה. ועדיין, כשזה מגיע לבטיחות מידע ולפרטיות משתמשים, ניתן לשים גבולות ולחסום לפחות חלק מן התופעות השליליות.

אכיפת נורמות אינה חייבת להתבצע רק דרך ענישה ואיסור. ניתן, למשל, לעצב מכרזים ממשלתיים באופן שישקלל לא רק את איכות המוצר ומחירו, אלא גם את איכות התהליכים בהם נעשה שימוש בפיתוחו. ברגע שספק יזכה במכרז כזה ויובטח לו נפח פעילות גדול, הוא יוכל להפחית עלויות מבלי להתפשר על עבודה אחראית ואתית, והדבר יפחית את העלויות של עמידה בסטנדרטים כאלו גם בפניה ללקוח הפרטי.

השורה התחתונה היא שהבינה המלאכותית יוצרת אתגרים רבים ולא תמיד ניתן לסמוך על הכוחות התחרותיים בלבד כדי להגן על רווחת הציבור. אבל התשובה השיטתית לאתגרים הללו אינה, לעניות דעתי, כרוכה בהסכמים אנטי-תחרותיים, או בועדות מומחים שיכתיבו מלמעלה את כללי ההתנהגות הראויים בשוק. ישנם מקומות שבהם צריך להציב גבולות, ודאי כשמדובר בפיתוח והגנה על מערכות קריטיות. צריך להזכיר לשוק לפעמים שזכויות יוצרים והגנה על פרטיות הם ערכים חשובים. אבל חלק גדול מהעבודה הוא פנים-ארגוני, והערך של חשיבה כלכלית בתוך הארגון צפוי לעלות, ולא לרדת, ככל שהאתגרים הופכים משמעותיים יותר.

רוצים להמשיך בשיחה? ניתן להגיב למטה, לעקוב אחרי "על שווקים ותחרות" בטוויטר, להירשם בדף הבית לקבלת רשומות חדשות לתבת המייל, או ליצור קשר.

פורסם ב-13.9.2026, ב' בתשרי התשפ"ז. כל הזכויות שמורות לאלון איזנברג Ⓒ2019-2026