פלייבוק ארכיטקטורת סוכני AI: שיגור MVP לייצור ב-4 שבועות

שבוע 1: גילוי, סט הערכה, ופרוסה אנכית דקה. שבוע 2: לולאת planner-executor, חוזי כלים, וטרייס ראשון מקצה-לקצה. שבוע 3: זיכרון, גארדריילים, בקרת עלויות והקשחה. שבוע 4: השקה הדרגתית, תצפיתיות ומסירה. כל שבוע מסתיים בדמו מול סט הערכה קפוא, לא ב"תחושה".

אם שבוע מסתיים בלי הזזת ציון ההערכה, עוצרים וחותכים היקף. עיכובי לו"ז הם כמעט תמיד בעיות היקף בתחפושת של בעיות הנדסה.

שלוש טופולוגיות מכסות כ-90% מהעומסים האמיתיים. סוכן יחיד עם כלים מתאים לטריאז', חילוץ וניתוב. Planner-executor מפריד בין המודל שמחליט למודל שמבצע — זול יותר, ניתן ניפוי-שגיאות ואיכל להערכה. Multi-agent (מפקח + מומחים) שווה את המורכבות רק כשהמשימות הטרוגניות באמת וארוכות טווח.

ברירת המחדל היא planner-executor. הוא דוחס עלויות בשימוש במודל קטן לביצוע, נותן מקום טבעי להזרקת גארדריילים ומייצר טרייסים שאדם באמת יכול לקרוא בביקורת אירוע.

הכלים שאתם חושפים מגדירים את מעטפת היכולת של הסוכן יותר מבחירת המודל. השאירו את שטח הפנים קטן — חמישה עד שנים-עשר כלים מתוכננים היטב מנצחים ארבעים חופפים בכל פעם.

כל כלי זקוק לסכמה עם טיפוסים, מפתח אידמפוטנטיות, טיים-אאוט וצורת שגיאה מובנית. החזירו כשלים קריאים למכונה שה-planner יכול לחשוב עליהם, לא stack traces. תעדו כל הפעלה עם קלטים, פלטים, latency ועלות.

זיכרון עבודה הוא ה-scratchpad של הריצה הנוכחית — נשמר בפרומפט, מוגבל בטוקנים. זיכרון אפיזודי הוא ריצות קודמות של המשתמש או הישות — נשמר ב-Postgres עם שדות מובנים, נשלף לפי ID לא לפי דמיון וקטורי. זיכרון סמנטי הוא בסיס הידע — נשלף בשליפה היברידית BM25 + צפופה ומורדר מחדש.

כמעט כל באג "הסוכן שכח" הוא בעצם באג זיכרון אפיזודי. חיפוש וקטורי לא יכול להחליף foreign key.

בונים את סט ההערכה לפני הסוכן. 50–200 מקרים מייצגים, שנאספו על ידי מומחה תחום, עם ground truth להצלחת משימה, בחירת כלי ו(היכן שרלוונטי) פלטים מדויקים. זה החפץ שמאפשר לשגר בביטחון.

הריצו את הסוויטה על כל שינוי פרומפט, שינוי כלי ושדרוג מודל. שלבו ניקוד אוטומטי (LLM-as-judge עם rubric ובדיקות דטרמיניסטיות) עם סקירה אנושית שבועית של 20 טרייסים אקראיים. השופט מוצא רגרסיות; האדם מוצא נקודות עיוורות שהשופט חולק עם הסוכן.

שכבת קלט: redaction של PII, זיהוי prompt-injection, rate limits לכל דייר. שכבת תכנון: תקרת צעדים לריצה, תקרת קריאות כלי לצעד, חסימת רצפי כלים אסורים. שכבת פלט: אימות סכמה, מסווג מדיניות, בדיקות דטרמיניסטיות לכלים הרסניים. שכבה אנושית: שערי אישור לפעולות בעלות רדיוס נזק גבוה עם תצוגות diff ברורות.

גארדריילים זולים להוסיף בשבוע 3 ויקרים באופן כואב להוסיף אחרי אירוע.

קבעו תקרת עלות לריצה ו-SLO של latency לריצה לפני הפרומפט הראשון. נתבו תכנון טריוויאלי למודל קטן, הסלימו למודל חזיתי רק בהסתעפויות קשות. שימו במטמון באגרסיביות — prompt caching לפרומפטי מערכת יציבים, מטמון embeddings לשליפה, מטמון תוצאות-כלי לקריאות דטרמיניסטיות.

רוב סוכני הייצור מתייצבים על $0.02–$0.15 לריצה מוצלחת לאחר כיוונון. אם שלכם פי 10 מזה, הלולאה ארוכה מדי, לא המודל יקר מדי.

כל ריצה מקבלת trace ID שעוקב אחריה דרך לוגים, spans, קריאות כלי ושירותי downstream. שמרו את התמלול המלא, קלט/פלט הכלי וציון ההערכה. התריעו על רגרסיה בשיעור הצלחה, קפיצה בעלות לריצה ועלייה בשיעור שגיאות כלי — לא על latency גולמי.

OpenTelemetry + Langfuse (או המקבילה) מספיק ל-95% מהצוותים. אל תבנו dashboard מותאם בחודש הראשון.

שגרו מאחורי feature flag למשתמשים פנימיים ראשונים. אחר כך 1% מתנועה חיצונית במצב shadow (הסוכן רץ, אדם משגר). אחר כך 10% עם שיגור ישיר. אחר כך 100%. כל שלב רץ לפחות שלושה ימים וחייב לעבור את רף ההערכה ורף האירועים.

השקות משעממות הן איך שסוכני AI הופכים לתוכנה משעממת ואמינה — שזו המטרה האמיתית.