מחקר חדש: כותבים ל-AI בעברית? זה עולה לכם עד פי 3 טוקנים
מחקר חושף כיצד האופן שבו מודלי שפה מעבדים טקסט מייקר משמעותית את השימוש בהם. אמ;לק: תעברו לאנגלית
תמונה: Dreamstime
כשאנחנו משתמשים במודלי שפה גדולים, בין אם דרך הצ'אט או באמצעות API, אתם בטח כבר יודעים שהמנוע מאחורי הקלעים לא קורא מילים כמו בני אדם. במקום זאת, הוא מפרק את הטקסט ליחידות מידע קטנות שנקראות טוקנים, שמשמשות את מעבדות ה-AI גם לצורך תמחור השירותים שלהן.
"מס טוקנים"
דוח של קבוצת המחקר CLEAR שופך אור על תופעה, שזכתה לכינוי "מס טוקנים". צוות החוקרים גילה כי מנגנוני הטוקניזציה אומנו בעיקר על אנגלית ושפות בעלות כתב לטיני, ולכן הם מתקשים להתמודד עם שפות אחרות. התוצאה היא שמשפט פשוט יעלה למשתמש בשפות זרות הרבה יותר מאשר למשתמש באנגלית, למרות שהמשמעות או התשובה זהה לחלוטין. כך למשל טקסט באמהרית עלול לדרוש עד פי שישה יותר טוקנים מאשר באנגלית במודל כמו GPT-5.
החוקרים בדקו את יעילות הטוקניזציה של המודלים המובילים בשוק ב-200 שפות שונות. בעוד שב-20 השפות הנפוצות ביותר ברשת הפערים יחסית נסבלים, בשאר השפות הפער יכול לזנק לעד פי 17.
המשמעות עבור המפתחים היא לא רק חשבון ענן מנופח יותר, אלא גם זמני תגובה איטיים יותר ופגיעה בחלון הקונטקסט של המודל – שיכול להכיל פחות מידע לפני שהוא מתחיל לאבד נתונים ולהזות.
עברית קשה שפה
נקודה מעניינת בשבילנו, דוברי העברית, שעולה מהמחקר היא המיקום של העברית. למרות הנוכחות הדיגיטלית שלה (מקום 32 בדירוג), במודל Llama 3.3 של מטא, למשל, עלות הטוקנים בעברית תהיה גבוהה פי 3 לעומת טוקנים בעיבוד טקסטים באנגלית – שהיא השפה הזולה ביותר. כלומר, למרות שהעברית פופולרית יחסית, הפעולה של חלק מהטוקנייזרים והמודלים לא יעילה. הנתונים האלו רלוונטיים גם למשתמשים פרטיים, וגם למפתחים בשוק המקומי שלנו.
מבחינת ציונים כוללים, רוב המודלים הגדולים לא מככבים. מודלים של גוגל כמו Gemini 3.8 Flash ו-Gemma 4 זכו לציון סביר יחסית, אך מודלים פופולריים אחרים כמו GPT-5 של חברת OpenAI ו-Command A+ של Cohere קיבלו ציון נכשל עם פערים של כמעט פי 14 בעלויות. מודל התרגום הייעודי NLLB של מטא הוא היחיד שזכה בציון המקסימלי.
החוקרים מסכמים וטוענים שבסופו של דבר מדובר בבחירה הנדסית שניתן לפתור. עד שמעבדות הפיתוח ישנו את הארכיטקטורה שלהן, הפתרון המהיר ביותר לדבריהם הוא מעבר למודל תמחור לפי תווים במקום טוקנים. צעד כזה יבטל את האפליה הכלכלית באופן מיידי, ויאפשר תחרות הוגנת יותר בכלכלה החדשה.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.