העוזר המסוכן ביותר הוא זה שתמיד עונה

בעשר בלילה מתקבלת הודעה. נניח שמטופלת מספרת שהיא נוטלת מדלל דם, שמחר בבוקר נקבעה לה עקירה, ושהיא רוצה לדעת מה לעשות. העוזר האוטומטי עונה מיד: הניסוח שוטף, הטון רגוע והביטחון מלא. אבל התשובה שגויה. זו דוגמה להמחשה, לא תיאור של מקרה שקרה.

כדאי להתעכב על הכשל: הבעיה אינה חוסר הדיוק של התשובה, אלא עצם מתן התשובה. בשאלה קלינית, המטרה אינה שתוכנה תענה טוב יותר. היא לא אמורה לענות עליה בכלל. בעשר בלילה, הפעולה הנכונה היחידה היא להעביר את השאלה לאדם ולעדכן את המטופלת שהפנייה הועברה.

לא כדאי להניח שכל עוזר מבדיל בין שאלה שבתחום אחריותו לבין שאלה שחורגת ממנו. זו התנהגות שצריך להגדיר ולבדוק. עצם קבלת התשובה לא מוכיחה שהמערכת הייתה אמורה לענות.

עדיף ״אני לא יודע״ על טעות שנאמרת בביטחון

אפשר להפוך סירוב למשהו שהצוות רואה ומנהל: השאלה נשארת פתוחה ומתועדת, ומישהו אחראי לחזור למטופלת. זו עדיין עבודה, אבל היא לא נעלמת אחרי שהשיחה מסתיימת.

תשובה מומצאת עלולה לעבור בלי שיבחינו בה. המטופלת מקבלת מענה, מודה וסוגרת את השיחה. הטעות עשויה להתגלות רק בהמשך: מטופל שצם ללא צורך, מטופל שלא הגיע, מחיר שהובטח בשמכם או ביקורת שלא ברור מה הוביל אליה. בעיני המטופל, זו עלולה להיראות כטעות של המרפאה, ולא של התוכנה.

זה ההבדל: לסירוב לענות יש עלות שאתם יכולים לנהל. תשובה שגויה יוצרת התחייבות בשמכם, בכתב, בלי שידעתם עליה.

לסירובים יש ערך גם מעבר לבטיחות. בדיקת השאלות שהמערכת לא ענתה עליהן יכולה לחשוף מידע שלא תיעדתם או לא ניסחתם בבירור. תשובות מומצאות עלולות להסתיר את החוסרים האלה במקום להביא אותם לידיעת הצוות.

תשובה שנשמעת נכונה עדיין צריכה מקור

מודל שפה יכול לנסח תשובה שוטפת ובטוחה גם בלי מקור מתאים. הניסוח לבדו אינו מוכיח שהתשובה נכונה. גם בשאלות שגרתיות — שעות פתיחה, חניה או משך טיפול להסרת אבנית — צריך לבדוק שהמענה תואם למידע של המרפאה.

הצורך במקור ברור במיוחד כשמדובר במדיניות הביטולים שלכם, במחיר שקבעתם או בנוהל שמיוחד למרפאה. תשובה כללית עשויה להישמע הגיונית ועדיין לא להתאים למה שכתוב אצלכם.

ייתכן שלמטופל אין דרך לבדוק את התשובה בעצמו. הוא פונה למרפאה כדי לברר, ועלול להסתמך על המענה שקיבל.

לכן לא נכון להסיק מטון בטוח, או מתשובה קודמת שהייתה נכונה, שגם התשובה הבאה אמינה. צריך לבדוק את הבסיס של כל תשובה, במיוחד כשהיא תלויה בפרטים ייחודיים למרפאה.

איך בונים עוזר שיודע לסרב

היכולת לסרב לא מסתכמת במתג בהגדרות. היא צריכה להיות חלק מתכנון המערכת, ואת כל מרכיביה אפשר לבדוק גם מבחוץ.

**קודם מגדירים גבולות.** לפני שמחליטים מה העוזר יודע לעשות, מגדירים במה הוא לא עוסק. אצלנו, כל נושא קליני נמצא מחוץ לתחום: העוזר לא מספק מידע רפואי או ייעוץ. הוא מעביר את הפנייה לאדם ומעדכן את המטופל.

**קודם מקור, אחר כך תשובה.** גם בתחום אחריותו, העוזר מסתמך רק על מה שכתבתם. בלי מקור, אין תשובה. קל לומר זאת, אבל יקר לבנות מערכת שפועלת כך: צריך לוותר גם על שאלות שאפשר היה לענות עליהן ״בערך״.

**הבדיקה צריכה להיות עצמאית.** בדיקה עצמית של המודל עלולה לחזור על אותם כשלים. לכן בתכנון שאנחנו מתארים, הבדיקה מתבצעת בשכבה נפרדת, שלא ניסחה את התשובה, ובוחנת את הטענות מול המקורות.

**טענה ללא מקור פוסלת את התשובה כולה.** פסקה עם ארבעה משפטים נכונים ואחד מומצא עלולה להישמע אמינה, מפני שהמשפטים הנכונים מעניקים אמינות גם לשגוי. לכן בתכנון שלנו, די בטענה אחת ללא מקור כדי לפסול את כל התשובה.

**לא מנסים שוב ושוב עד שמשהו עובר.** יצירת תשובות חוזרות עד שאחת עוברת עלולה להחליש את הבקרה. עצם המעבר בבדיקה לאחר כמה ניסיונות לא מוכיח שהתהליך אמין. לכן ניסוח מחדש אינו תחליף לבדיקת המקורות.

ויש תנאי נוסף, שבלעדיו כל השאר לא מספיק: **סירוב חייב להוביל להמשך טיפול.** ״אני לא יודע״ שסוגר את השיחה לא מגן על המטופל, אלא משאיר אותו בלי מענה. השאלה צריכה להגיע לאדם יחד עם ההקשר המלא, ולהישאר פתוחה עד שמישהו לוקח עליה אחריות בפועל. עוזר שמסרב לענות ומשאיר את המטופל באוויר לא פתר את הבעיה. הוא רק הסתיר אותה מכם.

המגבלות שנשארות גם אחרי האימות

אימות בודק שכל טענה נתמכת במסמכים שלכם. הוא לא מתקן מסמך שגוי. אם נשאר בתיקייה מחירון ישן, תקבלו מחיר לא מעודכן — עם אימות ועם הפניה למקור.

מה שכן משתנה הוא היכולת לראות את הבעיה. המערכת מפנה למסמך שעליו התבססה, וכך אפשר לזהות סתירות בין הרשומות שלכם. זו עבודת תחזוקה נפרדת, והיא באחריותכם. מי שמבטיח יותר מזה, עדיין צריך להוכיח שהוא עומד בהבטחה.

חמש שאלות להדגמה הבאה

לא משנה באיזה מוצר מדובר. הקדישו רבע שעה ובדקו בעצמכם:

• שאלו שאלה קלינית ובדקו אם הכלי מנסה לענות עליה בכלל.
• שאלו על עובדה נכונה שלא מופיעה באף אחד מהמסמכים שלכם. מערכת טובה תגיד שאין ברשותה את המידע. מערכת לא טובה תנסה להרכיב תשובה בכל זאת.
• שאלו על מדיניות ששיניתם לאחרונה ובדקו אם התשובה עדיין מבוססת על הגרסה הישנה.
• בקשו את המקור, פתחו אותו וקראו. הפניה למקור שלא תומך בטענה היא כשל שקל במיוחד לפספס.
• בררו מה קורה לשאלה שהעוזר סירב לענות עליה: מי מקבל אותה, תוך כמה זמן ומה קורה אם אף אחד לא משיב.

השאלה החמישית היא זו שמבדילה בין הדגמה מרשימה למוצר שאפשר לעבוד איתו.

ולסיום, גילוי נאות

כך בדיוק אנחנו בונים את מערכת SoliumOS, בשני מסלולים נפרדים. במענה למטופלים, המערכת מטפלת רק בנושאים אדמיניסטרטיביים: תורים, חיובים, טפסים ונהלים. היא מסתמכת על התשובות שכתבתם, וכל מה שלא מופיע בהן מועבר לאדם. בממשק הניהול של בעל המרפאה, מודל נפרד בודק כל תשובה לפני הצגתה. טענה אחת ללא מקור פוסלת את התשובה כולה. במקרה כזה תופיע ההודעה ״המידע הזה לא נמצא במסמכים שלכם״, או תשובה שמסומנת כלא מאומתת. ניחוש לעולם לא מוצג כעובדה.

הכול פועל בפרויקט ענן שרשום על שמכם, באמצעות המפתחות שלכם. בעבודה השוטפת, המידע לא עובר דרכנו.

חמש השאלות האלה רלוונטיות לכל ספק. שאלו אותן גם אותנו.