הזיה AI Hallucination

מודל שפה לא "יודע" דברים כמו שאנחנו יודעים. הוא חוזה את המילה הבאה הסבירה ביותר. רוב הזמן התחזית נכונה, אבל כשאין לו מידע מספיק הוא עדיין ממשיך לייצר טקסט שנשמע נכון. זו הזיה.

הבעיה היא לא שהמודל טועה. כולם טועים. הבעיה היא שהוא טועה באותו טון בטוח שבו הוא צודק, ולכן קשה לזהות את זה.

איפה זה קורה הכי הרבה

• מספרים, תאריכים ונתונים סטטיסטיים מדויקים.
• ציטוטים ושמות של מחקרים, ספרים או פסקי דין.
• אירועים חדשים, שקרו אחרי שהמודל אומן.
• נושאים נישתיים שאין עליהם הרבה מידע ברשת, כולל הרבה נושאים בעברית.

איך מצמצמים

1. לבקש מקורות, ולפתוח אותם בפועל.
2. לתת למודל את החומר בעצמכם (מסמך, נתונים) ולבקש שיענה רק ממנו. זו הגישה של RAG.
3. לשאול "מה מהתשובה הזו אתה לא בטוח בו?". מודלים טובים יודעים לסמן.
4. כל מספר שהולך ללקוח, למודעה או לפוסט עובר בדיקה אנושית.