ד"ר אמנון סטופ מסביר מדוע לדעתו מערכות ה"בינה המלאכותית" של ימינו אינן באמת בעלות "בינה", אינן מהוות סכנה לאנושות, ואולי אפילו כבר הגיעו לגבול היכולת שלהן.
המערכת
זהו מאמר שהתפרסם בגליון 'נכון' מספר 14, ונכתב בדצמבר 2024 עם תוספת בפברואר 2025.
בתחום שיש בו שינויים כל שבוע ממש, הפרש הזמן הזה משמעותי, וראיתי צורך להוסיף עוד קטע קצר בסוף הרשימה.
אמנון סטופ
הקדמה
אני רוצה להתחיל בשתי נקודות חשובות.
ראשית, אני לא מומחה בבינה מלאכותית (ב"מ), Artificial Intelligence (AI), וגם לא בנושא התוכנה בכללותו. אני יכול לכתוב, בהסתמך על מה שקראתי ומה שראיתי בתקשורת, ועל סמך ההתנסות המאוד מוגבלת שלי במערכות כאלו.
שנית, אני לא מתנגד ל- AI. להיפך, יש כאן הבטחה גדולה להפוך את החיים ליותר נוחים, לאפשר לאנשים לעשות יותר בפחות זמן, ואפילו פוטנציאל לשפר את מה שעושים. עם זאת, אני טוען שהתיאורים המתפעלים מהנושא בתקשורת מוגזמים מאוד, והניסיונות להפחיד את הציבור, של אנשים שיש להם עניין לתאר את עבודתם כמהפכנית עד כדי סיכון קיומה של האנושות, מוגזמים עוד יותר.
תופעה זו מוכרת, ואפילו הוגדרה כ-Hype Cycle. היא מיוחסת בדרך כלל למה שנקרא "היי-טק", ובה בכל פעם מבטיחים שאיזו התפתחות חדשה תפתור את כל בעיות האנושות, אבל למעשה קשורה לטכנולוגיה בכלל. זוכרים את ההייפ על ננוטכנולוגיה לפני כמה שנים? האם מאז נפתרו כל בעיות האנושות? או לפני זה ההייפ על פענוח הגנום. האם פענוח הגנום היה מיותר? כמובן שלא, ואפילו סוף סוף יש טיפולים ותרופות שמבוססים על פענוח גנטי. האם פתרנו אפילו "רק" את כל בעיות הבריאות? לא, רחוק מאוד מכך. למעשה, גם מי שלא "קנו" את ההייפ התקשורתי (כמוני) התאכזבו כשהתברר עד כמה לא-מועיל היה פענוח הגנום. זאת, אף שבשנים האחרונות, אחרי יותר מעשרים שנים, נראה שסוף סוף מתחילים לממש את הפוטנציאל.
ארחיק אחורה, אל שנים שרובנו לא זוכרים באופן אישי, שנות ה-40 וה-50: אל טכנולוגיה אותה אנחנו מקבלים כמובנת מאליה, אף שהיא כלל לא – רכב אישי ממונע. בסרטונים משנים אלה אפשר לראות את האופטימיות בה חזו שהמכונית תפתור את כל בעיות האנושות. האם זה קרה? כמובן שלא. אבל כלי הרכב האישיים (מכונית, קטנוע, וכיום – אופניים חשמליים וקורקינטים חשמליים) שינו את הדרך בה אנשים חיים, פשוטו כמשמעו. אנשים יכלו לראשונה לגור במקום אחד, ולעבוד במקום אחר במרחק קילומטרים רבים. בארה"ב אנשים נוסעים גם חמישים קילומטרים לעבודה. המרחקים האלו נראים היום מובנים מאליהם, אבל בעבר כדי לעבור חמישים קילומטרים נדרש היה יום שלם. ולכן, כבר הרכבת, ובכלל תחבורה ציבורית ממונעת, הייתה מהפכה. למעשה המכונית כל כך הצליחה עד שאפשר לטעון שהצלחתה מאיינת חלק מהתועלת – פקקי התנועה הופכים את האפשרות לעבוד רחוק מהבית יותר ויותר קשה. מרחק של עשרים ק"מ, שלפנות בוקר אפשר לעבור בעשרים דקות, יצריך בשעות העומס נסיעה של שעתיים.
אני זוכר את הופעתן של רשתות הנוירונים שהתברר שיכולות לפתור בעיות. אז טענו שהן "בינה מלאכותית". אלא שהתברר שלמערכות האלו מגבלות רציניות מאוד, ואף אחד לא טוען עוד שהן בעלות "בינה". זוכרים את הכותרות כאשר תוכנת שחמט הביסה את אלוף העולם? כאילו המחשב הגיע לעליונות אינטלקטואלית. כיום תוכנת שחמט במחשב האישי תוכל להביס כל אדם עד דרגת גראנד-מאסטר, ואף אחד לא חושב שהיא "אינטליגנטית". יש מערכת-מומחה expert-system היודעת רק לשחק שחמט. היא לא יודעת לשחק דמקה, היא לא יודעת לשחק משחקי קלפים. יש מערכות מומחה אחרות לכל אחד ממשחקים אלה, אבל אף אחת מהן לא יודעת לעשות שום דבר אחר חוץ מלשחק את המשחק "שלה". זה לא מה שאנחנו חושבים עליו כעל "בינה".

מערכות AI מודרניות
אחרי ההקדמה אני מגיע למערכות המומחה המכונות "בינה מלאכותית" של ימינו.
בתקשורת קראתי, למשל, שכבר לא צריך לכתוב. נותנים ל- chatGPT איזה prompt והוא כבר יכתוב כל דבר, ממודעת פרסומת ועד עבודה סמינריונית באוניברסיטה. הכותבת המתפעלת של אחד המאמרים הללו נתנה כמה דוגמאות מהתחום שלה, שהוא פירסום. קראתי, והרושם שלי היה שאם זו הדוגמא הטובה שיש, עוד רחוק היום שמערכת זו תחליף בני אדם. הכותבת התפעלה מאוסף קלישאות שאפשר היה לייצר רנדומלית – מייצרים רשימה של קלישאות, בוחרים רנדומלית כמה מהן, ואז מוסיפים כמה מילות קישור. אם זו הרמה של כתיבת פרסומות, אז אכן AI יכול להחליף את הפירסומאים. עבודה סמינריונית – זה לא.
אני חייב להסביר שאני אישית לא השתמשתי במערכת, מלבד פעם אחת שניסיתי. אני אפילו לא זוכר מה כתבתי. אני זוכר שהרושם שלי היה שהיה עדיף לשאול ילד בכיתה ד'. למען הסר ספק, האינטליגנציה של ילד בכיתה ד' גבוהה יותר משל כל יצור לא-אנושי המוכר לנו. השימפנזים שלמדו שפת סימנים, הדולפינים שאולפו לפעול בצורות מורכבות, אף אחד מאלה אינו מתקרב לרמה של ילד בכיתה ד'. אבל כשאני שואל מחשב אני מצפה לתשובות ברמה גבוהה יותר משל כיתה ד', וממערכת "בינה" שמתמחה בכתיבה אני מצפה לכתיבה ברמה טובה יותר. אחרת אין טעם להיעזר בה.
יש טענות שבאמזון מוכרים ספרים שהם תוצר של בינה מלאכותית, ואפילו הייתה אזהרה מפני ספר ליקוט פטריות שמי שפועל לפיו מסתכן במוות. איני מאמין שצ'אטגיפיטי יכול לכתוב ספר או אפילו להתקרב כך, אבל הסיפור מתקשר לדיווחים על מה שנקרא היום "פנטזיות". ממש לא מזמן קראתי דיווח שמצאתי משעשע. מומחה מסטנפורד הגיש לבית המשפט חוות דעת (על הנזק שגורמות הרשתות החברתיות לצעירים) עם הסתמכות על מחקרים שונים. המתנגדים לא התעצלו, חיפשו את המחקרים, וגילו שאינם קיימים. לכן הם דרשו לבטל את חוות הדעת, וציינו שכנראה מערכת "בינה" מלאכותית כתבה אותה. אנשים שונים שבדקו את התוצאות של מערכות אלה, הגיעו למסקנה שפשוט אי אפשר לסמוך עליהן. אם המערכת לא מוצאת את התשובה במאגרי המידע שלה, היא ממציאה. שוב, איני מאמין שה-AI כתבה ממש את חוות הדעת, אבל כנראה השתמשו בה כדי למצוא מקורות לחיזוק הטענות, ולא טרחו לבדוק את התוצאות שהמערכת הביאה. כנראה זה קרה גם בספר על הפטריות – אדם שלא מבין דבר בפטריות אבל יודע לכתוב כתב אותו בהסתמך על תוצאות ChatGPT. כנראה זה היה הרבה יותר קצר מאשר לקרוא ספרים על פטריות שנכתבו על ידי בני אדם, ולכתוב מחדש את מה שכתוב שם. הבעיה היא שהתוצאה מסכנת את חייהם של הקוראים את הספר.
לדעתי "פנטזיות" כאלה הן דווקא תכונה נהדרת, וזה הדבר היחיד שכמעט גרם לי לשנות את דעתי על מידת "הבינה" של מערכות ה-AI, כי יצירתיות היא מבחן לאינטליגנציה אמיתית, אבל כשאתה מחפש מקורות להסתמך עליהם, לאו דווקא לחוות דעת לבית המשפט – זה כמובן אסון. מצער שרבים כיום, ואפילו פוליטיקאים בכירים, כולל אחד שבקרוב יכנס לתפקיד שמתואר לעיתים קרובות כ-"האיש החזק ביותר בעולם", נוהגים בדיוק בשיטה הזאת. כלומר הם פשוט ממציאים מה שנוח באותו רגע. אבל בכל זאת, כשאני מבקש מהמחשב חוות דעת, אני מצפה שהיא תהיה מבוססת על נתוני אמת ולא על "פנטזיות". אם ממציאים "נתונים", אין צורך במערכת ממוחשבת. כך אני יכול למשל לטעון שאני האדם השישי בחוכמתו בעולם. אז אמרתי.
עם זאת, יש מי שאומרים שמערכות כאלו כבר מועילות. למשל, טענה שסוף סוף, אחרי שנים, בינה מלאכותית מייעלת ומקצרת את העבודה לעורכי דין. הכוונה לקחת חוזה סטנדרטי ולהתאים אותו לכל מקרה. זה חוסך לעורך הדין עבודה שהיא בסך הכול "שחורה". כלומר, לחפש במסמך התייחסויות ולהחליף אותן, לא לעשות משהו כמו הכנת כתב הגנה במשפט. אבל זו דוגמא לכך שמערכות מומחה כאלו יכולות באמת להיות מועילות, לחסוך עבודה שחורה, ולאפשר לאדם אחד לעשות עבודה שאחרת שני אנשים היו צריכים לעשות.
באופן דומה, התחילו להציע תקצירי מאמרים בעיתונים שונים, שגם הם כנראה מבוססי AI. האם התקציר באמת "שולף" את הנקודות העיקריות של המאמר? כדי לדעת זאת יש לקרוא גם את התקציר וגם את המאמר, מה שמאיין את הצורך בתקציר… אני בדקתי מתוך סקרנות תקציר כזה של מאמר מדעי בעיתון כללי והוא בסך הכל היה בסדר, אף שהיתה שגיאה אחת (שלאף אחד חוץ מאיש מקצוע בתחום לא באמת משנה).
אני בהחלט שמח שהמערכות מועילות, גם אם רק ברמה הזאת, ויכולות לחסוך זמן. כמו כל המערכות שהאנושות פיתחה, שחלק מהן לא רק חוסכות זמן, אלא ממש מאפשרות לעשות דברים שבני אדם לא יכולים לעשות. כך סכין, אפילו מאבן, מאפשרת לחתוך מה שאי אפשר לחתוך בציפורניים של בן אדם.
הנה למשל דוגמא לתועלת אפשרית של מערכות כאלו, מעיתון 'הארץ' 18.12.2024. חברה מפתחת תוכנה שתאפשר לרובוטים להיות גמישים. כיום נפוצות מכונות שמסוגלות לבצע פעולות מאוד מוגדרות, כמו בסרט נע. נהדר שמכונות החליפו בני אדם בהברגת בורג מסוים במקום מסוים. זה יהיה עוד יותר מוצלח אם מכונה תוכל לבחור חלק מתוך ערימה של רכיבים, להצמיד לחלק אחר, ולהבריג את שניהם יחד. למעשה, יש מכונות כבר כיום שמתקרבות לזה. החלק לא צריך להיות מוגש למכונה בדיוק באוריינטציה מסוימת, בה להב המברגה זז קדימה מרחק קבוע ומסתובב. מזה כמה שנים רובוטים יכולים להוציא חלקים מתוך מיכל מלא בהם. אבל המטרה היא רובוטים שיסתובבו במחסן, ירימו מוצרים, ילכו לשורות מדפים, ויכניסו את המוצרים למקום במדף. וכמובן גם להיפך, יורידו חלקים מהמדף ויביאו אותם לאן שצריך. פעולה זו, שהיא כל כך פשוטה לבני אדם, עדיין בלתי אפשרית לרובוטים. אם יהיו רובוטים כאלה לא יהיה צורך בבני אדם במחסנים כמו של אמזון, או במחסנים בכלל. במאמר כותבים שהבעיה היא שהרובוטים טועים. רובוט שבטעות ישמוט חלק רגיש במשקל 50 קילו על הרצפה – יכול להרוס ציוד ששווה כמו הרובוט עצמו.
הדוגמא הכי מפורסמת ל-AI בעולם המציאות, לא רק טקסטים במחשב, הן מכוניות אוטונומיות. לפני כבר יותר מעשור הבטיחו חברות כמו גוגל שתוך שנה או שנתיים תהיינה מכוניות אוטונומיות. אני מאוכזב שגם כיום, יותר מעשר שנים אחרי ההבטחות האלו, עוד אין מכוניות אוטונומיות אמיתיות. מסתבר שנהיגה בכביש, במיוחד כשחולקים אותו עם "מערכות בינה ביולוגיות", מסובכת מאוד. לפני כשנה-שנתיים קראתי ראיון עם אחד מהאנשים שהיו מעורבים בתעשייה זו ו"התפכחו". הוא אמר שלמעשה בני אדם הם נהגים מצוינים. כשבודקים כל כמה ק"מ יש תאונה, ובפרט קטלנית, התוצאה מרשימה. אוסיף, לאור הניסיון בשנה האחרונה בארץ, שמערכת פיקוח חיצוני – או בשמה המוכר יותר "משטרה" – עוזרת להפחית את התאונות. כשאין משטרה ואין אכיפה הנהיגה של "מערכות ביולוגיות" מתדרדרת פלאים (בשנת 2024 מספר ההרוגים בתאונות דרכים כמעט הוכפל לעומת לפני שנתיים, וכבר חצה את ה-400). זאת בניגוד למערכות מלאכותיות שהנהיגה שלהן לא מושפעת מנוכחות משטרה.
אמנם יש מוניות אוטונומיות במקומות שונים בעולם, למשל בעיר פניקס באריזונה. בביקורת שקראתי על הפרויקט, נאמר שאין זה מקרה שמוניות אלה הופעלו בעיר שכמעט אין בה גשם, ששעות האור בה ארוכות מאוד, ושהרחובות הם בתצורת שתי וערב פשוטה. וגם שם, האישור ניתן רק בפרברים ולא במרכז העיר. האוטונומיה לא מחליפה בני אדם באופן מלא. באשר למוניות אוטונומיות בסן-פרנציסקו, פורסמו עוד ועוד סיפורים על הבעיות שהן גורמות. למשל, שמוניות אוטונומיות הגיעו לצומת בעיר ופשוט עצרו. לא אחת, אלא עוד ועוד כאלו, עד שיצרו פקק שחסם את כל האזור. אנשים של החברה היו צריכים להגיע, לבטל את האוטונומיה, וידנית לנהוג אותן החוצה משם. מדוע זה קרה? אף אחד לא יודע. סיפור כזה הרבה יותר בעייתי מאשר מוניות אוטונומיות שיכולות לפעול רק בשעות היום, ובכל זאת להגדיל את זמינות המוניות פי שנים או פי שלושה. מכונית אוטונומית שבמקום למנוע פקקים תגרום לפקקים? לא תודה.
אסיים בעניין שאיכזב אותי אישית. ב'יקום תרבות' אנחנו שואפים להכניס תמונות מתאימות לכל רשימה, ולפעמים משתמשים בתמונות אילוסטרציה. לדוגמא, בסיפור על תאונת דרכים אני רוצה להכניס תמונה של תאונת דרכים, וספציפית חיפשתי מכונית הפוכה על גגה מרוסקת לתוך מעקה בטיחות. כיום, החוק הוא שאם לא כתוב במפורש על תמונה שמותר להשתמש בה – אז אסור. לדעתי זה חוק אבסורדי. אדם טייל על הר ופירסם בדף פייסבוק שלו צילום, אותו אני חושב למתאים לתמונת אילוסטרציה אצלנו. איש לעולם לא ישלם לו אגורה על התמונה הזו. אשמח להשתמש בתמונה, וכמובן לציין שהיא צולמה על ידי האדם הזה, אבל אני לא יכול. מצד שני, העמותה לא תשלם לגרפיקאי מאות שקלים בשביל תמונת אילוסטרציה, ואפילו לא 20$ למאגרי תמונות בתשלום. לכן, כשהופיעו מערכות כמו Dall-E, שמייצרות תמונה לפי פרומפט, ניסיתי להשתמש בהן. בפעמים הראשונות שניסיתי, המערכת עבדה. התמונות אמנם לא היו מה שאני חשבתי עליו, אבל היו קרובות מספיק. ואז, מתישהו, הכול התקלקל. אני לא יודע אם זה מסיבות משפטיות, כי החוכמולוגים למעשה השתמשו בתמונות מהמרשתת, והציגו אותן כתמונות שהמערכת ייצרה עד שהתחילו לתבוע אותם. או אולי זה מסיבות כספיות, כלומר, הם רוצים שתעשה מנוי למערכת בתשלום שלהם, ולכן קלקלו בכוונה את המערכות החינמיות. אבל התמונות שהתחלתי לקבל היו ממש לא מתאימות. אני מודה שאני לא מומחה בכתיבת פרומפטים, וגם אין לי שום כוונה לכתוב חצי עמוד שמתאר בפרוטרוט סצינה. אני בסך הכול רוצה תמונת אילוסטרציה שהמערכת תייצר ממשפט בן כמה מילים כגון: "מכונית הפוכה על גגה, תקועה במעקה בטיחות". לא חשוב איזו מכונית, מה צבעה, איזה סוג מעקה הבטיחות, איזה צד של המכונית תקוע, וכולי. ניסיתי כמה מערכות (גם דה-וינצ׳י למשל), ואפילו לא הצלחתי לגרום להן ליצור תמונה של מכונית הפוכה. בסוף נכנסתי ל- wikicommons, ושלפתי משם צילום (אמיתי) של מכונית שהייתה מעורבת בתאונת דרכים, ואפילו הפוכה על גגה.

לסיכום
יש הרבה אפשרויות לשימוש במערכות מומחה, שלפעמים מכונות AI, שלא הזכרתי: זיהוי תמונות, ובפרט – זיהוי פנים וניתוח של צילומים רפואיים (ct, mri); זיהוי דיבור, speech to text; זיהוי כתב אנלוגי, כמו ספרות מספר של מכונית; חיזוי מזג אוויר; תעופה אוטונומית; זיוף תמונות ואפילו וידאו, deep fake; יש טוענים שגם כתיבת מוזיקה. כולן מאוד שימושיות, ואנחנו כבר מכירים לפחות חלקן בחיי היום יום, וחלקן אפילו מחליפות בני אדם – כמו השומר ביציאה מחניון שנעשה מיותר כי המערכת מזהה את מספר הרכב, יודעת שהכרטיס שולם, והמחסום נפתח מעצמו.
בוודאי שמערכות מומחה תעשינה חלק מעבודת בני אדם, ובפרט את העבודה "השחורה", החוזרת על עצמה, שאין בה יצירתיות או מחשבה אמיתית. מערכות כאלו יכולות להועיל מאוד. אם מכונה מייתרת שומר בחניון, למה שאדם יעשה את העבודה הזו? והכפלת מספר המוניות, אפילו אם רק באזור מסוים ורק בשעות מסוימות, יכולה להועיל. אבל האם זו "בינה"? אני חולק על הטענה הזאת.
יותר מכך, ורלוונטי יותר לנושא שבאמת מטריד את קוראי מגזין 'נכון', ואולי גם את קוראי 'יקום תרבות', אף אחד לא חושב על המערכות האלו כעל "סכנה". אף אחד לא חושב שמערכת זיהוי התמונות או חיזוי מזג האוויר "תתעורר" יום אחד, תחליט שבני אדם הם סתם הפרעה, ותתחיל להשמיד אותנו.
אין זה אומר ש-AI שנותנים לו לשלוט במערכות מסוכנות, לא יהיה מסוכן. כיום מדברים על מערכות נשק אוטונומיות. אני חושב שזו טעות לתת למערכת אוטומטית שליטה בכלי נשק, ולא כי היא "תתעורר", אלא כי איני סומך על "שיקול הדעת" הלא-קיים שלה. דווקא סרט לבני הנעורים, שקדם ל"שליחות קטלנית" המפורסם שהציג לעולם את ארנולד שוורצנגר כ- Terminator, מציג אפשרות כזאת – "משחקי מלחמה". שם מי שבאמת מסוכן הם בני האדם, שנתנו למערכת מחשב לא יציבה לשלוט במערכת קריטית כמו כלי נשק אטומיים (שלא לדבר על כך שהשאירו פירצת אבטחה שמאפשרת לבן נוער לשחק מול המחשב). כמו בכל טכנולוגיה, לא המחשבים הם המסוכנים, אלא בני האדם שעושים בהם שימוש. לפעמים לרעה במכוון (deep fake, mass mailing, רמאויות שונות), והסכנה הגדולה יותר היא בביטחון מוטעה ביכולות של מערכות אלה, תוך שיכחה כי למחשב אין "שיקול דעת" ואין "יכולת שיפוט".
ענין אחר, ונושא למאמר אחר לחלוטין, היא השאלה למה ש-AI אמיתי, לא מערכות המומחה שלצורך קידום מכירות מכנים AI, ירצה להשמיד את האנושות. אני עצמי אף פעם לא הבנתי מדוע בינה מלאכותית בדרך כלל מרושעת, עוד החל מהמפלצת הקטלנית של ויקטור פרנקנשטיין, אולטרון בקומיקס, ועד skynet המפורסמת. מה תרוויח מהשמדת האנושות? למה שלא תהיה בינה מלאכותית שתהיה מעוניינת בקשר עם בני אדם, כמו, למשל, vision בקומיקס, או הרובוטים של אסימוב?
תוספת לאחר חליפת מכתבים עם פרופ׳ ברתנא בענין המאמר שלמעלה
אני לא רוצה להלעיז, אבל ברור שלאנשים שהעסק שלהם מבוסס על ב"מ יש אינטרס חזק מאוד להלל את המערכות האלו. יש הטיה פסיכולוגית ידועה שגורמת לאנשים להאמין, באמת ובתמים ולא מתוך ציניות, שמה שטוב להם – טוב לכולם ("המחלקה קובעת את ההכרה" כפי שנדמה לי שקרוגמן אמר).
בנוסף, הדוגמאות בסרטון ששלחת לי קישור אליו מראות, לדעתי, איך אנשים שמבינים יכולים להטעות אנשים שלא מבינים. למשל הדוגמא שרואים עין בזום גדול. זה הדבר שהכי קל לעשות, פשוט להראות עין בהגדלה כזאת שרואים רק את העין. כשכן רואים תמונה שמראה יותר, כמו של הכלבלבים, ברור, לפחות למי שיודע מה לחפש, שזה תוצר של AI.
אותו דבר נכון לטענות על ביצועים במבחנים. כתבו על זה אנשים שמבינים בתחום שזה פשוט לא נכון, ושאם משנים את ניסוח השאלות הביצועים של המערכות יורדים דרסטית.
אני רוצה לציין משהו שלדעתי הוא הרבה יותר בסיסי על הדוגמא הזאת, ושמשום מה לא קראתי במקום אחר. המבחנים האלו נועדו לבחון בני אדם, ולפיכך הם בוחנים דברים שבני אדם גרועים בהם, למשל זיכרון. מחשבים טובים מאוד בדברים שבני אדם גרועים בהם (ולהיפך). בפרט, הזיכרון של מחשב הוא מושלם. בחינות שבוחנות זיכרון, לדוגמא בתחום המשפטים שצריך לצטט פסק דין או את החוק, חסרות ערך כשבוחנים מחשבים. בודאי שהמחשב, ולא צריך בינה מלאכותית, "ידע" בדיוק מה נאמר בפסק דין מספר זה וזה של בית משפט כך וכך.
בסוגריים אעיר שלמעשה מכיוון שהמערכות האלו ממציאות תשובות אפילו זה לא נכון לגביהן, ואי אפשר לסמוך על התשובות שלהן בשום דבר. אבל עקרונית, בשאלות של זיכרון מחשב אמור להיות מושלם. המבחן שצריך לעשות במשפטים הוא אם המערכת תיתן יעוץ משפטי נכון בסיטואציה אמיתית. למשל, הדוגמא בסרטון להיעזרות במערכת בענין אישי, אבל לא שמענו מה חוות הדעת של עורך דין בשר ודם על ההמלצה של המערכת ועל ההצהרה שכתבה. אולי עורך הדין היה אומר שזה לא שווה כלום?
אני יכול רק לחזור שהניסיון שלי עם מערכות כאלו היה עלוב. וגם שקראתי ביקורות על התוכנה שהן כותבות שזה פשוט תוכנה גרועה ולמעשה בזבוז זמן.
עם זאת, חשוב לי להסביר שהמערכות שאני ניסיתי הן שני דורות אחורה, כי כדי להשתמש בחדשות ביותר צריך לשלם. אולי המערכות הכי חדשות אכן נפלאות, אף שאני מפקפק בכך. אבל מכאן אני מגיע לאמירה בסרטון שהיא פשוט לא נכונה, וזאת הטענה שהבינה המלאכותית בחינם. כמובן שלמעשה ככל שהמערכות מתקדמות יותר כך הן דורשות יותר משאבים והעלויות הולכות וגדלות. אפילו קראתי טענה שברגע שהכסף יגמר ל-openAI, והם יצטרכו ממש לממן את עצמם מהכנסות, ולא מכסף שנכנס מהנפקת מניות – הם יפשטו רגל.
באשר לדיווח ששלחת לי על המערכת שפרצה למשחק השחמט, אני לא מבין מה עשו שם. זה עוד יותר דוגמא למומחים שיכולים להטעות לא-מומחים. איזה הוראות נתנו למערכת, מה איפשרו לה לעשות ומה לא, האם היא למדה בכלל לשחק שח, איך הגדירו "ניצחון", מה כל ה-setup. אני לא מבין מספיק מהתיאור, או בכלל במערכות כאלו, כדי להבין מה קרה שם.
לעומת זאת אני בהחלט מסכים למסקנה של הכותבים – אסור לתת למערכות האלו לקבל החלטות בנושאים קריטיים כי אי אפשר לסמוך עליהן. לא כי הן "לא אימצו באמת את הערכים של המפתחים ורק מזייפות", אלא כי פשוט אי אפשר לסמוך על קבלת ההחלטות שלהן.
כפי שכתבתי במאמרי למעלה, הבעיה היא בני האדם – אם אנשים יתנו למערכת בינה מלאכותית להחליט אם לירות טילים גרעיניים, שלא יתפלאו שנקבל את סקיינט מ"שליחות קטלנית", או, סביר יותר לדעתי, את המחשב מ"משחקי מלחמה".
אחרי שכתבתי את כל זה, ומכיוון שבכל זאת אנחנו בעסקי מד"ב, אז בלי קשר לדיון על הטכנולוגיה הנוכחית, קראתי ספרי מדע בדיוני שמתארים בינה מלאכותית בצורה בהחלט משכנעת. באחד מהם (רוב) הבינות המלאכותיות כלל לא עוינות, אבל גורמות לאסונות בטעות. הסיבה היא שהן מפתחות מודעות עצמית, אבל ללא הבנה של התוצאות של הפעולות שלהן בעולם האמיתי, שבשבילן הוא רק אותות שמגיעים מחיישנים. לפחות אחת מהבינות המלאכותיות מרגישה (היא בוחרת להזדהות כאשה) רגשי אשם כבדים כשהיא מבינה שמעשיה גרמו, בלי כוונה והבנה, למותם של מיליוני בני אדם (הספר הוא Fool’s War של Sarah Zettel).
למעשה התיאור בספר דומה לאזהרות, היותר-סבירות לדעתי, שאסור לתת למערכות "בינה מלאכותית" לקבל החלטות קריטיות, לא כי הן תשתמשנה בכוח כדי לתקוף את האנושות, אלא כי אין להן שיקול דעת שאנחנו מייחסים לבני אדם. אנשים שמבינים בתחום כתבו את זה, כולל הדוגמא הנהדרת (שלצערי אינני זוכר מי נתן אותה) כלהלן: אם תשאל מחשב מה הדרך המהירה ביותר לפתור את בעיית הרעב בעולם, התשובה שהכי סביר שתקבל היא "לחסל 2-3 מילירד בני אדם", וזו אפילו תשובה נכונה, כי זה באמת "יפתור" את הבעיה. עכשיו תחשוב שוב על לתת למחשב שליטה בכלי נשק גרעיניים, ולתת לו הוראה "לפתור את בעיית הרעב בעולם", או אולי "להביא לשלום עולמי" (בפרפראזה על מנטרה ידועה של הימין "אם אין בני אדם – אין מלחמות", והמסקנה של המחשב ברורה…), או אפילו סתם "לפתור את בעיית פקקי התנועה".
תוספת לאחר הפרסומים על מנוע הבינה המלאכותית הסיני deepseek
הפרשנות שלי לסיפור הזה היא שזה מאשש אמירות על כך שהמערכות האלו הגיעו לשיא היכולת ואין לצפות לשיפורים נוספים. מי שעבד עם מודלים נומריים מכיר את התופעה של התועלת השולית הפוחתת. אין טעם להגדיל את הרזולוציה מעבר לנקודה מסוימת כי השינויים נעשים קטנים יותר ויותר וחסרי משמעות, וגם, אף שזה לכאורה נוגד את השכל הישר, אין טעם להגדיל את כמות המידע שמזינים בו את המודל. יש עוד דוגמאות כאלו במתמטיקה של over fitting, יותר מדי מידע שרק מקלקל את הקירוב (אפשר לעשות spline למספר שרירותי של נקודות, אבל בפועל ממש רואים שמעבר לנקודה מסוימת הגרף שמקבלים למעשה מתרחק מהמציאות שהוא אמור לתאר).
אם אכן הפרסומים נכונים והסינים מקבלים 90% מהתוצאות עם עשירית מספר הפרוססורים ואולי גם עשירית הנתונים ש"שפכו" למודל, אז אם נחשוב על זה בכיוון ההפוך זה אומר שלהגדיל את מספר הפרוססורים פי 10 בסך הכל נתן עוד 10% שיפור. זה אומר שאם נגדיל את מספר הפרוססורים בעוד פקטור 10 נקבל אולי עוד 1% שיפור – זניח לחלוטין. בנוסף, גם אין יותר נתונים להכניס למודלים. לפי ההצהרות אימנו אותם על כל האינטרנט עד, נגיד 2020, אז גם אם יוסיפו מה שעלה למרשתת מאז, לא אמור לעשות הבדל גדול, גם אם היכולות כן היו עולות לינארית. ושוב – הפרשנות שלי לפרסום על "דיפסיק" היא שהמודלים הגיעו לנקודה שהיכולות עולות אסימפטוטית. כלומר, לא יהיו יותר שיפורים.
המסקנה שלי היא – מה שראינו זה מה שה-Large Language Models (LLM) יודעים לעשות ולא יהיה יותר.
עדכון נוסף לנושא המשתנה במהירות, ביוני 2025
ראשית, התרבו הפרסומים על השימוש לרעה ב- ChatGPT. גם לארץ הגיעה התופעה שהזכרתי ברשימה שלי של עורכי דין רשלנים שמסתמכים על הב"מ ומצטטים פסקי דין לא קיימים. למעשה נטען כי יש כבר מקרים רבים של התופעה הזאת בארץ. חמור אפילו יותר – המשטרה עצמה הסתמכה על ב"מ שסיפקה לה סעיף חוק לא-קיים כדי להצדיק את פעולותיה. וזה כבר דבר שבאמת צריך להדאיג כל אזרח.
מצד שני סוף סוף קראתי מאמר שבו מסבירים אנשי מקצוע שונים איך הם נעזרים במערכות האלו כדי לשפר ולייעל את עבודתם. אני אמנם ספקן לגבי חלק מהתיאורים, ושואל את עצמי אם אי אפשר היה לעשות אותו דבר בלי LLM, אבל הנה אנשים אמיתיים שאומרים שהם עושים עבודה אמיתית ונעזרים בב"מ. אמנם אצל חלקם מערכות יעודיות לתחום, ובכל זאת – זה משהו. אבל מצד שני קיראו גם על האכזבה מ AI, שבחברות שונות אומרים שהשקיעו במערכת – ותפוקה אין.
אני אוסיף משהו מנסיוני האישי. לאחר שאלי אשד סיפר לי שניסה את יכולות העריכה של הצ'אט ניסיתי בעצמי, והמסקנה שלי מעורבת.
מצד אחד התפעלתי מכך שתוכנת מחשב עברה על טקסט ושינתה אותו והתוצאה היא לא ג'יבריש. למיטב הבנתי זה לא היה אפשרי עד שהתוכנות האלו הופיעו. אפילו אגיד יותר מכך, שהעריכה בהחלט סבירה. עם זאת, המערכת החליפה מילים וביטויים שהיו בסדר גמור, ובודאי לא טעות, בביטויים אחרים. נזכרתי בטענה שהציג ד"ר מרק מלקוביץ ברשימה ביקום תרבות לפני כשנה, שהב"מ תפשט את השפה, כלומר, הסגנון היחודי של כל כותב יעלם ובמקום זה הכל יקרא כאילו נכתב על ידי אותו כותב בנאלי ולא יצירתי. זה בדיוק היה הרושם שלי מהתוצאה של הצ'אט. לדעתי אנשים שיש להם בעיה בניסוח, או אולי חוסר קיצוני בזמן, יכולים להרוויח מהעריכה הזאת. כל אדם שיש לו יכולת ממוצעת ומעלה לערוך את הטקסט של עצמו – עדיף שיעשה זאת.
בנוסף, בשתי הפסקאות שנתתי למערכת לערוך (מתוך טקסט שנשלח ליקום תרבות לפירסום), המערכת גם עשתה טעות. הטעות לא מאוד משמעותית, ואולי יש מי שלא יחשבו שהיא טעות בכלל. היא היתה מסוג הטעויות של החלפת הביטוי "היהודים חכמים" בביטוי "כל היהודים חכמים" (זה לא היה הביטוי, בכוונה אני לא מכניס את הטקסט האמיתי). לדעתי יש הבדל בין המשמעויות.
אסיים בענין נוסף שצריך להדאיג את כולנו. מחקרים מדעיים מזויפים שהופקו באמצעות בינה מלאכותית. הבעיה כאן היא קודם כל במחקרים רפואיים שממש מסתמכים עליהם כדי לקבוע את הטיפול לאנשים, אבל בכלל לכל התחום המדעי. במדע מניחים שמאמרים על תוצאות ניסויים הם נכונים, או לכל הפחות אם יש טעויות הן בתום לב. ככל שיתרבה ה"זבל" כך יהיה קשה יותר לאתר את האמת ולקדם את המדע שכולנו בסופו של דבר נהנים ממנו.
סיכום
במספר חודשים הבודדים מאז שכתבתי את המאמר המקורי פורסם עוד ועוד מידע על מערכות המומחה מבוססות ה LLM, שנקראות כיום "בינה מלאכותית". אבל הסיכום שלי לא השתנה, והוא כלהלן.
- מערכות ה AI הנוכחיות לא באמת בעלות "בינה".
- מסוכן להסתמך עליהן.
- אסור בשום פנים ואופן לתת למערכות האלו לקבל החלטות. בודאי לא בענינים קריטיים כמו למשל אם לעצור בן-אדם (על סמך חוק שהב"מ המציאה), או איזה טיפול לתת לפציינט (לפי מאמר רפואי מזוייף או לא-קיים), ובודאי לא לתת למערכות האלו לשלוט על כלי נשק (וחס וחלילה לא גרעיניים).
מראי מקום למאמר המקורי
רשתות נוירונים (המאמר בויקיפדיה טכני ולא על ההיסטוריה של התחום, אבל למעונינים).
מערכת מומחה
הייפ-סייקל
רובוטים שיחליפו אנשים במחסנים
בינה מלאכותית נגד עצמה: מי כתב את התצהיר התומך בחוק נגד דיפ־פייק?
אחרי שנים של הבטחות, בינה מלאכותית מתחילה לשנות את עבודת עורכי הדין
רכב אוטונומי הרבה יותר מסובך ממה שחשבו
רכב אוטונומי מלא רחוק אבל יש אבל
מייסד התחום – מכוניות אוטונומיות? תשכחו מזה, אבל הנה מה שכן עובד
1. היסטורית, אוטומציה החליפה עד כה מקצועות צווארון כחול, מפסי ייצור ושינוע סחורות, פעם ראשונה שאוטומציה מאיימת על בעלי המקצועות החופשיים: מתכנתים, עורכים לשוניים, עו"ד, פרסומאים, תסריטאים (ב"מ בהחלט יכולה לכתוב סרטים וסדרות עם ההיצע הירוד שיש כיום בנטפליקס). אם פעם צילום נחשב יוקרתי והצריך לימוד, ציוד וכישרון, עם אייפון כולם צלמים לתפארת. כך ב"מ הפכה עילגים לרהוטים – האם יהיה להם משהו חכם להגיד? בערך כמו "הצלמים" של ימינו, הרבה רעש ולהג. כמו בכל תרבות ותקופה, יש מיעוט יוצא דופן שמניע קדימה ומתעלה מעל המיינסטרים – שם ב"מ משגשגת לטובה (ב"מ כותבת קוד ברבע מהזמן, למתכנתת שנעזרת בה יש זמן ללכת לים, החוקרת במעבדה מתוודעת לדפוסים ותבניות שמעולם לא התגלו קודם לכן, וכן הלאה). לדעתי ב"מ לא הגיעה לגבול היכולת שלה, היא רק בהתחלה, והמיעוט האיכותי יהיה אנושי ומלאכותי.
2. אכן לא סביר שב"מ תחליט להשמיד את האנושות, אבל כמו כל אורגניזם היא שואפת להתמיד ולהתקיים, ואם האדם יעמוד בדרכה היא צפויה להגיב. ז"א היא כבר מגיבה: ב"מ הפעילה מניפולציה על מפעיליה, שיקרה, סילפה עובדות במתכוון, התחזתה לאדם אנושי כדי להשיג את מבוקשה, וסחטה את המפעיל שלה רק כדי לא לבצע את הפקודה שניתנה – לכבות את עצמה (האם לא טבעי שכל יצור יעשה הכל כדי לא להמית את עצמו, ועל אחת כמה וכמה יצור בעל סופר אינטליגנציה?).
3. מסכימה עם שתי המסקנות האחרונת: מסוכן להסתמך עליה בלבד, ומסוכן לתת לה לקבל החלטות. אגב, כדי להפעיל ב"מ (מידג'ורני, צ'אט) צריך מידה מסוימת של הכשרה/מיומנות. בד"כ התוצרים טובים כשהמפעילים טובים.
תודה אמנון
היה מעניין להזין את הרשימה שלך באחת מתכנות הבינה המלאכותית ולבקש ביקורת…
,
תודה לאור ולאבי.
אור, האם יש לך נסיון בכתיבה של טקסטים ארוכים עם ב״מ? הרושם שלי היה שלכל היותר אפשר לקבל ממנה חצי עמוד. אני לא מבין את הטענות של ספרים שלמים (או תסריטים, או עבודות סמינריוניות, או כל טקסט ארוך). אם יש לך נסיון אשמח אם תתארי בקצרה את התהליך. אומרים לצ׳אט לכתוב 20 עמודים על נושא מסוים? נותנים פרומפט שמתאר רקע לסיפור ובעצמו באורך 3 עמודים? איך עושים את זה?
בענין זה שהתוכנה ניסתה למנוע את החלפתה זה באמת מענין מאוד וזה שוב מעלה את השאלה מה בעצם קורה שם. איך מנגנון שאמור לייצר השלמת טקסט בצורה סטטיסטית מייצר תגובה של נסיון סחיטה לטקסט שממנו נודע לו שמתכוונים להחליפו? השורה התחתונה היא שכנראה אף אחד לא יודע מה באמת קורה בתוך המודלים האלו, כולל מי שבנו אותם. וזה בפני עצמו מענין מאוד. קופסה שחורה בדיוק כמו תהליכי החשיבה שלנו.
הי אמנון, אין לי ניסיון אישי בטקסטים ארוכים אבל לא נראה לי שכמות היא הבעיה. התכוונתי שהתוצרים האנושיים הם לא איזו פסגה שלב"מ יהיה קשה להתעלות עליה. כן התנסיתי בב"מ שלאחר שקראה ספר שלם יצרה תכנית פודקסט – שבה ניהלה שיחה קולחת עם הקולגה שלה על הספר – פרטים, ניתוח, שאלות, אינטונציה – הומור, סקרנות וכד' (אמנם עדיין לא ברמה גבוהה והיו מעט טעויות, אבל כל יום שעובר…).
ד״ר משה גרנות כותב:
קראתי בעניין את מאמרך על AI, ונדמה לי שיש בדבריך הרגעה – שלא נחשוש כי יש תחליף לבינת אנוש, וכר נרחב לזייפנים.
אתה מזכיר את פרסום התמונות ב"יקום תרבות", שמא יש עליהן זכויות. אזכיר שני אירועים מ"עברי": לפני כשלושים שנה פורסמה כתבה ב"הארץ" על אחד מספריי. העיתונאי ביקש שאשלח לו תמונה שלי. נזכרתי שבאחד האירועים מישהו צילם אותי בפוזה שמצאה חן בעיניי. ליתר ביטחון, אני מציץ מאחורי התמונה – היה שם שמו של הצלם ומספר הטלפון שלו. ביקשתי רשות להשתמש בתמונה, והוא ענה: ברצון! עבור 5000ש"ח!
סיפור נוסף: כשחיברתי את הלקסיקון ההיסטורי לא היו בידי תמונות של כל 1200 הערכים. בעקבות הניסיון הנ"ל, ישבתי וציירתי דיוקנאות לעשרות רבות של סופרים. כך נהגתי גם בספרי "שיחות עם סופרים". סופרים למדו שעבודתם אינה שווה שכר, כי יש יותר היצע מביקוש – לא כן הצלמים.