במקום לנחש איזה מודל יצליח, תנו לסוכני ה-AI לבחור בעצמם
כנס Evolve to AIשורפים זמן וכסף על ניחושים במקום לבדוק כמו שצריך איזה מודל יתאים למשימה? הכירו את Neural Navigator שפיתחה רד האט, שיעשה את זה במקומכם (וכנראה הרבה יותר טוב)
יובל לוריא בכנס Evolve to AI 2026 (צילום: Eclipse Media)
צוותים שבוחרים מודלים ו-GPUs על בסיס אינטואיציה, מגלים לעתים קרובות את בעיות ה-Latency רק אחרי שהשקיעו זמן פיתוח וכסף. הפתרון הוא כמובן לא להוסיף עוד סוכנים למערכת, אלא לספק להם נתונים טובים יותר וארכיטקטורה שתאפשר להם לקבל החלטות מושכלות.
כנס Evolve to AI של גיקטיים אירח היום (ד') את יובל לוריא, Senior Machine Learning Engineer ב-Red Hat, שהציג את Neural Navigator: כלי תשתיתי שפיתחה החברה, שנועד לסייע לסוכני AI לבחור את המודלים ואת תצורות החומרה המתאימים להם. הכלי מתרגם שפה טבעית למפרט טכני, ממפה אותו ל-SLOs ולפרופילים של עומסי עבודה המבוססים על מחקר, ומצליב אותו עם מאגר Benchmarks. באמצעות דירוג מרובה-קריטריונים (דיוק, עלות ו-Latency), הוא מפיק המלצות על מודלים ו-GPUs, ואף מסוגל לייצר קובצי YAML לפריסה בקוברנטיס.
"הבעיה שרצינו לפתור היא שצוותים קודם מוציאים מודל לפרודקשן, ורק אחר כך עושים איטרציות כדי לבדוק אם צריך להחליף GPUs ולנחש ניחושים בדיעבד", אמר לוריא. "בשיטה החדשה, במקום לנחש ולשרוף כסף – אנחנו לא מעריכים כמה יעלה המודל, אלא מייצרים תשובה דטרמיניסטית שהסוכנים שלכם יכולים לקרוא לה".
ה-Navigator בעצם מייצר נתיב ישיר מקונספט לפרודקשן ודיפלוימנט בלחיצת כפתור אחת, ונותן תמונה ברורה על האופן שבו נתונים, מחקר, SLOs ואבלואציה של LLMs מרכיבים את שכבת ההמלצות שבה סוכנים משתמשים.
מפרומפט לפרודקשן: ארבעת השלבים של Neural Navigator
הצעד הראשון הוא הגדרת ההקשר העסקי. "עבור תהליך ההערכה השתמשנו ב-600 מקרי קצה ובדקנו קומבינציות של תרחישים", סיפר לוריא. הוא הסביר איך הם דייקו את הפרומפט בחמישה שלבים, עד שהגיעו לדיוק מרשים של 95.1%.
השלב השני הוא הספציפיקציות הטכניות: כמה טוקנים נכנסים וכמה יוצאים, SLO targets ואימפקט. את הבדיקות הם הריצו על דאטה-סטים שעוזרים לבחור את המודל הכי מתאים ואת השילובים הנכונים למשימה. כל דאטה-סט מתאים למשימה אחרת, והשילובים ביניהם משתנים בהתאם לשימוש: צ'אטבוט, השלמת קוד וכן הלאה.
השלב השלישי הוא דירוג. לוריא הסביר כי Neural Navigator מצליב את תוצאות הבדיקות עם מאגר אבלואציה הכולל 1,226 Benchmarks, שבאמצעותם נבדקו 206 מודלים בקוד פתוח על פני 77 שילובים של מודלים ותצורות חומרה. המערכת מציגה דירוגים נפרדים לפי איזון בין ביצועים לעלות, דיוק, עלות נמוכה או Latency נמוך. בין המודלים שנבדקו מופיעים GPT-OSS ,DeepSeek-V3 ,Qwen 2.5 ו-Kimi K2. במקביל, נבדקו תצורות GPU שונות ופרופילי תעבורה עם כמויות שונות של טוקנים נכנסים ויוצאים, כדי להשוות בין המודלים בתנאים דומים.
השלב הרביעי הוא הפריסה. לאחר בחירת המודל ותצורת החומרה, Neural Navigator מייצר קובצי YAML לפריסה בקוברנטיס. לוריא הציג קובצי InferenceService באמצעות KServe, מנגנון Autoscaling ו-ServiceMonitor לניטור באמצעות Prometheus. כך, התהליך לא מסתיים בהמלצה על מודל, אלא מאפשר להתקדם ממנה גם לפריסה בפועל.
החזון: Human on the loop
לוריא סיים את ההרצאה בחזון של רד האט ל-Human on the loop. "זאת דרגה אוטונומית יותר של פרוטוקול A2A, שבה האייג'נט מודיע מראש כשהוא לא יכול לבצע משימה מסוימת", הסביר. "אנחנו לא רוצים שסוכנים יעשו סקייל-אפ בלי אישור, לדוגמה, ולכן אנחנו לא מסירים את הגורם האנושי לחלוטין".
המטרה של רד האט היא להחליף את משחק הניחושים בכלי מובנה, כדי שכל אחד יוכל לדעת איזה מודל עדיף לו מבלי לבזבז זמן על איטרציות וכסף. "השלב הבא שאליו אנחנו שואפים הוא שנוכל לתת פרומפט ולקבל את המודל הרלוונטי בלי מאמץ. בעתיד נרצה גם להכניס את זה בתור MCP, כאשר אנחנו מפקחים על הכל מלמעלה".
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.