אליה וקוץ בה: אנו עלולים לאבד שליטה על המכונות משום שנתנו בידן את היכולת לשנות את התוכנה של עצמן.

דוגמה: מיקרוסופט השיקה לפני כשנה תוכנה לומדת בשם Tay שנועדה לעזור בשיחה למי שנתקל בבעיות עם התוכנות של מיקרוסופט. Tay הורדה מהרשת אחרי 24 שעות, לאחר שלמדה מבני שיחה לקלל, לנבל את הפה וכיוצא בזה.

גם אנחנו בני האדם הם סוג של ״מכונה לומדת״ וגם אנחנו (במיוחד ילדים) עלולים ללמוד דרכי התנהגות פסולה. אלא שמערכת החינוך, ההורים, המורים והחברה מלמדים אותנו לא להשתמש בהתנהגויות פסולות. לשם כך יש לנו ״ערכים״. אבל מהם הערכים של מחשבים עם תוכנות לומדות? מי ערב לנו שהן לא ישמידו אותנו יום אחד, אם ילמדו למשל שאנו יכולים לנתק אותן מהחשמל?

אסימוב ניסה לפתור את הבעיה ע״י שלושת חוקי הרובוטיקה הידועים אולם אלו קשים מאד (ואולי אף בלתי אפשריים) ליישום.

מימין: שי בליצבלאו, ד"ר אשר עידן, ד"ר עדנה פשר ואלוף (מי"ל) פרופ' איציק בן ישראל