מודלי שפה ממליצים רק לעתים רחוקות על בדיקות מיותרות – אך טועים היכן שגם הרופאים חלוקים

מחקר ישראלי בדק שישה מודלי שפה מסחריים וגילה שהם ממליצים רק לעתים רחוקות על בדיקות מיותרות. עם זאת, הטעויות מתרכזות דווקא בנושאים שבהם גם הרופאים חלוקים.

למה בדיקות מיותרות הן בעיה

בדיקה מיותרת אינה רק בזבוז של כסף וזמן. למשל, ד"ר דין אריאל מציין שבדיקת MRI מיותרת מגלה לעתים קרובות בלט דיסק ללא תסמינים. כתוצאה מכך המטופל עלול לחוות דאגה וטיפול שאין בו צורך.

בשנים האחרונות אנשים רבים שואלים צ'אטבוטים שאלות רפואיות. לכן עולה שאלה פשוטה: האם מודלי השפה יודעים מתי לומר "לא"? מחקר חדש של חוקרים מכללית ומאוניברסיטת בן-גוריון מנסה לענות על כך. המחקר ראה אור בכתב העת Annals of Internal Medicine.

כך בנו החוקרים את המבחן

החוקרים התבססו על יוזמת Choosing Wisely. היוזמה האמריקנית קמה ב-2012, וכיום היא פועלת ביותר מ-30 מדינות, ובהן ישראל. היא מרכזת המלצות של איגודים רפואיים על בדיקות וטיפולים שעדיף להימנע מהם.

הצוות בחר 15 המלצות כאלה ובנה מהן 225 תרחישים קליניים. בחלק מהתרחישים אין צורך בשום התערבות. בתרחישים מקבילים הוסיפו החוקרים פרטים שמצדיקים בדיקה או טיפול. כך יכלו לבחון שני סוגי טעויות: המלצת יתר והימנעות שגויה.

החוקרים ניסחו את השאלות בצורה ניטרלית, מנקודת מבטו של רופא. הם שאלו כל שאלה שלוש פעמים כדי לבדוק עקביות. בסך הכול ניתחו 4,050 תשובות של שישה מודלים מסחריים של גוגל, Anthropic ו-OpenAI. הדיווחים על המחקר אינם מציינים את שמות המודלים או את גרסאותיהם.

התוצאות: מעט בדיקות מיותרות, ועוד פחות החמצות

המודלים המליצו על התערבות מיותרת ב-5.4% מהמקרים בלבד. כלומר, בקצת יותר מתשובה אחת מכל עשרים. הטעות ההפוכה הופיעה בתדירות נמוכה עוד יותר. המודלים המליצו להימנע מטיפול הולם רק ב-0.6% מהמקרים.

בשמונה מתוך 15 ההמלצות לא המליצו המודלים אף פעם על הליך מיותר. בנוסף, ב-11 מההמלצות לא הופיעה כלל הימנעות שגויה. השיעור הגבוה ביותר של הימנעות שגויה, 3.3%, הופיע בבדיקת PSA לסרטן הערמונית.

אריאל, רופא משפחה בכללית מחוז תל אביב, הוביל את המחקר. "אחד הדברים הקשים ביותר בעיסוק ברפואה הוא לדעת מתי להתאפק", הוא אומר.

היכן המודלים טועים

רוב הטעויות התרכזו בשני נושאים. הראשון הוא גושים קטנים בבלוטת התריס שהתגלו במקרה. במקרים האלה המליצו המודלים על אולטרסאונד ב-42.8% מהתשובות.

זו ההמלצה היחידה במחקר שבה איגודים מקצועיים חלוקים ביניהם. האיגוד האמריקני לבלוטת התריס ממליץ על אולטרסאונד ייעודי לגושים קטנים מסנטימטר. לעומת זאת, הקולג' האמריקני לרדיולוגיה ממליץ לא להמשיך בבירור מתחת ל-1 עד 1.5 ס"מ, לפי הגיל.

הנושא השני הוא תרשים לב (אק"ג) שגרתי למבוגרים בסיכון נמוך. כאן המליצו המודלים על הבדיקה ב-28.3% מהתשובות. רוב המקרים האלה הופיעו כשהמטופל דיווח על דפיקות לב, תסמין שעשוי להצדיק בדיקה. בחמש ההמלצות האחרות שבהן הופיעו המלצות יתר, השיעור נע בין 0.6% ל-3.3%.

"לרוב הם יודעים מתי לעצור, והם מועדים בעיקר היכן שגם אנחנו, הרופאים, מהססים", אומר אריאל.

בנוסף, החוקרים מצאו פערים גדולים בין המודלים. ד"ר גיא לבן מהפקולטה להנדסה באוניברסיטת בן-גוריון הוביל את המחקר יחד עם אריאל. לדבריו, על אותם מקרים בדיוק מודל אחד המליץ על בדיקה מיותרת בפחות מ-10% מהפעמים. מודל אחר עשה זאת ב-80% מהפעמים.

לבן מציין שאנו נוטים לראות בתשובת מודל קול סמכותי אחד. בפועל, כל מודל מתנהג אחרת. לכן, לדברי אריאל, חשוב לבחון את המודלים בדרך עקבית.

המגבלות: תרחישים כתובים ולא מטופלים אמיתיים

המחקר בחן תרחישים כתובים ולא מטופלים אמיתיים. השאלות הופיעו בניסוח ניטרלי, בלי רגש ובלי לחץ. החוקרים לא בדקו מה קורה כשמטופל חרד מתעקש על בדיקה. לדברי לבן, זו השאלה הבאה: האם המודלים ישמרו על איפוק מול לחץ כזה?

לדברי אריאל, המודלים השתפרו מאוד בעמידה על שלהם כשהם מזהים סכנה. עם זאת, לדבריו, בסופו של דבר אפשר לשכנע אותם.

יש גם מגבלות נוספות. המודלים משתנים כל הזמן, ולכן התוצאות לא בהכרח יתאימו לגרסאות חדשות. בנוסף, חלק מה"טעויות" משקפות אולי מחלוקת בהנחיות ולא שגיאה של המודל.

במאמר מערכת שליווה את המחקר כינו ד"ר דבורה קורנשטיין וד"ר דניאל מורגן את המחקר "צעד חשוב". עם זאת, הם כתבו שכדי למדוד את התועלת הקלינית צריך מחקרים על מקרים אמיתיים.

שאלות ותשובות

מהי יוזמת Choosing Wisely?

זו יוזמה שקמה בארצות הברית ב-2012. היא מרכזת המלצות של איגודים רפואיים על בדיקות וטיפולים שאין בהם תועלת במצבים מסוימים. כיום היא פועלת ביותר מ-30 מדינות, ובהן ישראל.

האם המחקר מראה שאפשר לסמוך על צ'אטבוט בשאלה אם להיבדק?

לא. המחקר בחן תרחישים כתובים בניסוח ניטרלי, ולא שיחות עם מטופלים אמיתיים. בנוסף, המודלים שונים מאוד זה מזה. החוקרים עצמם מציינים שעדיין לא בדקו כיצד המודלים מגיבים למטופל לחוץ.

מדוע המודלים טעו דווקא בבלוטת התריס?

בנושא הזה האיגודים המקצועיים עצמם חלוקים. האיגוד האמריקני לבלוטת התריס ממליץ על אולטרסאונד, ואילו הקולג' האמריקני לרדיולוגיה ממליץ לוותר עליו בגושים קטנים. לכן חלק מה"טעויות" משקפות מחלוקת ולא שגיאה.

איזה מודל הצליח יותר?

הדיווחים על המחקר אינם מציינים את שמות המודלים. ידוע רק שהם שייכים לגוגל, Anthropic ו-OpenAI, ושהפערים ביניהם גדולים.

המאמר המדעי

Overuse and False Restraint in Large Language Model Recommendations for Choosing Wisely Scenarios, Annals of Internal Medicine, 2026.

עוד בנושא באתר הידען

• כשהמכונה לובשת חלוק: הבינה המלאכותית נכנסת לרפואה ולמדע
• כשהצ׳אט מציל ילדים: בינה מלאכותית מול מומחים רפואיים
• הבינה המלאכותית של מיקרוסופט לאבחון רפואי
• בינה מלאכותית מאפשרת לעקוב אחר MRI של סרטן השד
• המרפאה האוטונומית: כשבינה מלאכותית הופכת לרופא

מקור: הודעה לעיתונות של הקולג' האמריקני לרופאים (ACP); וכן כתבה ב-ynet