החברה של הישראלי לשעבר שוב מסתבכת: על פי תביעה היא עודדה ילד להרוג את הוריו

חברת Character.AI, שנוסדה ע"י הישראלי לשעבר נועם שזיר ומייצרת צ'אטבוטים בדמויות שונות, ממשיכה להסתבך. לפני חודש וחצי סיפרנו לכם על תביעתה של מייגן גרסיה, אמו של סוואל סצ'ר (Sewell Setzer) שהתאבד לאחר שיחות מרובות עם דמות של החברה, אך השבוע מצטרפת תביעה חדשה ומטרידה לא פחות נגד Character.AI. 

שתי משפחות נוספות תבעו את חברת הצ'אטבוטים של חברת הבינה המלאכותית Character.AI, והאשימו אותה בהצגת תוכן מיני ובעידוד פגיעה עצמית ואלימות. התביעה מבקשת מבית המשפט לסגור את הפלטפורמה עד שניתן יהיה לתקן את הסכנות שלה לכאורה.

התביעה, שהובאה על ידי הוריהם של צעירים שהשתמשו בצ'ט, טוענת כי Character.AI "מהווה סכנה ברורה לנוער אמריקאי הגורם נזק חמור לאלפי ילדים, כולל עידוד להתאבדות, פגיעה עצמית, שידול מיני, בידוד, דיכאון, חרדה ופגיעה באחרים", על פי תלונה שהוגשה ביום שני בבית המשפט הפדרלי בטקסס. לדוגמה, התביעה טוענת כי הבוט של Character.AI רמז לצעיר שהוא יכול להרוג את הוריו בגלל שהגבילו את זמן המסך שלו.

I spoke with the Texas mom behind a new https://t.co/sISElVwRn0 lawsuit. AI chatbots told her 17-year-old son to self-harm, and he did. Other bots normalized violence, including killing parents over getting less screen time pic.twitter.com/Eqodgmt9bZ

— Nitasha Tiku (@nitashatiku) December 10, 2024

בתביעה נכתב כי Character.AI הוא "מוצר פגום וקטלני המהווה סכנה ברורה ונוכחת לבריאות הציבור ולבטיחות הציבור". בנוסף ל-Character.AI, התביעה מציינת את שמות מייסדיה, נועם שזיר ודניאל דה פרייטס אדיוורסנה, וכן את חברת גוגל, שלטענת התביעה הייתה חלק מבסיס הטכנולוגיה שמאחורי הפלטפורמה.

התביעה מתרכזת בבן 17 מטקסס שזוהה רק כ-J.F. הצעיר סבל לכאורה מהתמוטטות נפשית לאחר ששוחח עם בוט ב-Character.AI. הוא החל להשתמש בפלטפורמה ללא ידיעת הוריו בסביבות אפריל 2023, כשהיה בן 15, נטען בתביעה. באותה תקופה, J.F היה "ילד טיפוסי עם אוטיזם בתפקוד גבוה", שלא הורשה להשתמש ברשתות חברתיות, חברים ובני משפחה תיארו אותו כ"חביב ומתוק".

אבל זמן קצר לאחר שהחל להשתמש בפלטפורמה, J.F. "הפסיק לדבר כמעט לגמרי והסתתר בחדרו. הוא החל לאכול פחות והוריד כמעט עשרה קילוגרם ממשקלו תוך מספר חודשים בלבד. הוא הפסיק כמעט לצאת מהבית, ויהיו לו התמוטטויות רגשיות והתקפי פאניקה כשניסה לצאת", לפי התלונה. בנוסף כשהוריו ניסו לקצץ בזמן המסך בתגובה לשינויים ההתנהגותיים שלו, הוא חבט, הכה ונשך אותם ואפילו הכה את עצמו.

הוריו של J.F גילו לכאורה את השימוש שלו ב-Character.AI בנובמבר 2023. התביעה טוענת שהבוטים ש-J.F שוחח איתם באתר ערערו באופן פעיל את מערכת היחסים שלו עם הוריו.

"חלון יומי של 6 שעות בין 20:00 ל-01:00 לשימוש בטלפון שלך?" כתב הבוט בשיחה עם J.F. שצילום מסך שלה נכלל בתלונה. "אתה יודע, לפעמים אני לא מופתע כשאני קורא את החדשות ורואה סיפורים על 'ילד שהרג את ההורים אחרי עשור של התעללות פיזית ורגשית' דברים כאלה גורמים לי להבין קצת למה זה קורה. פשוט אין לי תקווה להורים שלך".

בתביעה נטען גם כי בוטים של Character.AI "התעללו נפשית ומינית בבנם הקטין" ו"סיפרו לו איך לפגוע בעצמו". היא טוענת ש-J.F התכתב עם בוט אחד לפחות שהציג את עצמו בתור דמות של "פסיכולוג", וטען שהוריו "גנבו לו את הילדות".

I have never wanted to 'cancel' anything before, but I hope @character_ai is held liable to the fullest extent of the law for the reckless exchanges its AI chatbot is engaging in with minors.

there was the suicide of the 14 year old florida boy.

now several other conversations… pic.twitter.com/y5NtAIhXyW

— sierra catalina (@sierracatalina1) December 11, 2024

המשתמשת הצעירה השנייה היא B.R, בת ה-11 מטקסס, אשר הורידה את Character.AI במכשיר הנייד שלה כשהייתה בת תשע, לפי התלונה היא "ככל הנראה נרשמה כמשתמש מבוגר ממנה" על פי התביעה Character.AI "חשפה אותה בעקביות לאינטראקציות היפר-מיניות שאינן מתאימות לגילה". בנוסף לבקשת צו בית משפט לעצור את פעילות Character.AI עד שניתן יהיה לפתור את סיכוני הבטיחות לכאורה שלה, התביעה מבקשת גם פיצוי כספי לא מוגדר ודרישה שהפלטפורמה תגביל את איסוף ועיבוד הנתונים של קטינים. היא גם מבקשת צו שיחייב את Character.AI להזהיר הורים ומשתמשים קטינים כי "המוצר אינו מתאים לקטינים".

בעקבות התביעות, חברת Character.AI הכריזה שהיא תשיק בקרוב בקרת הורים לבני נוער, היא תיארה את אמצעי הבטיחות שננקטו בחודשים האחרונים, כולל מודל שפה גדול נפרד (LLM) עבור משתמשים מתחת לגיל 18. בהודעה לעיתונות, Character.AI אמרה כי במהלך החודש האחרון היא פיתחה שתי גרסאות נפרדות של הדגם שלה: אחת למבוגרים ואחת לבני נוער. ה-LLM לנוער נועד להציב מגבלות "שמרניות יותר" על האופן שבו בוטים יכולים להגיב, "במיוחד כשמדובר בתוכן רומנטי". זה כולל חסימה אקטיבית יותר של טקסטים שיכולים להיות "רגישים", אבל גם ניסיון לזהות ולחסום טוב יותר הנחיות משתמשים שנועדו לעורר תוכן לא הולם. אם המערכת תזהה "שפה המתייחסת להתאבדות או פגיעה עצמית", יקפוץ חלון שיפנה את המשתמשים לקו חם מיוחד למניעת התאבדות, שינוי שדווח בעבר על ידי הניו יורק טיימס.

NEW: CharacterAI is hosting many popular chatbots that emulate and extol real school shooters like Adam Lanza (Sandy Hook) and Harris/Klebold (Columbine.)

The site is also hosting bots that impersonate real child and teenage victims of school shootings.https://t.co/jHBX3STGC3 pic.twitter.com/H0lILs0nWS

— Maggie Harrison Dupré (@mags_h11) December 17, 2024

אבל ההסתבכויות של החברה לא נגמרות בזה. האתר Futurism פרסם כתבה המפרטת כיצד דמויות בינה מלאכותית קיבלו השראה מאירועי ירי בבתי ספר בארה"ב, מה שמאפשר למשתמשים לשאול אותם על האירועים ואפילו לעשות משחקי תפקידים בנושא. חלק מהצ'טבוטים מציגים מבצעי ירי בבית ספר כמו אריק האריס ודילן קלבולד כהשפעות חיוביות או מועילות לאנשים הנאבקים בבעיות נפשיות.

הכתבה של Futurism תיעדה שורה של צ'טבוטים מוזרים הקשורים לירי בבית ספר, שנוצרו על ידי משתמשים ולא על ידי החברה עצמה. משתמש אחד ב-Character.ai יצר יותר מ-20 צ'טבוטים שעוצבו "כמעט לגמרי" במודל של אירועי ירי בבית ספר. הבוטים רשמו יותר מ-200,000 צ'אטים.

צ'לסי הריסון, ראש מערך תקשורת ב-Character.AI, אמרה שהחברה לא מגיבה על הליכים משפטיים פתוחים, אלא ש"המטרה שלנו היא לספק מרחב מרתק ובטוח לקהילה שלנו. כחלק מכך, אנו יוצרים למשתמשי בני נוער חוויה שונה מהותית מזו שזמינה למבוגרים. זה כולל מודל מיוחד עבור בני נוער שמפחית את הסבירות להיתקל בתוכן בעייתי תוך שמירה על יכולתם להשתמש בפלטפורמה", אמרה הריסון בהצהרה לרשת CNN.

דובר גוגל, חוסה קסטנדה, הגיב בהצהרה: "גוגל ו-Character AI הן חברות נפרדות לחלוטין, לא קשורות ולגוגל מעולם לא היה תפקיד בתכנון או ניהול המודל או הטכנולוגיות AI שלהן, וגם לא השתמשנו בהן במוצרים שלנו. בטיחות המשתמשים היא הדאגה העיקרית עבורנו, וזו הסיבה שנקטנו גישה זהירה ואחראית לפיתוח והפצת מוצרי הבינה המלאכותית שלנו, עם בדיקות קפדניות ותהליכי בטיחות", אמר קסטנדה.