כיוונון Gemma 4 לעומסי ייצור: מדריך LoRA ו-PEFT מלא

הנדסת פרומפט נתקעת מהר במשימות מתמחות: קידוד רפואי, חילוץ סעיפים משפטיים, מחקר הון, ניתוב טיקטים פנימי. Gemma 4 בגודל 9B–27B עם מתאם LoRA מכוון היטב משווה או עוקף דיוק של GPT-4 בפלח הצר שחשוב לכם, במחיר טוקן נמוך פי 10–40 ובאפשרות פריסה פרטית.

הכיוונון גם הופך לנכס הגנתי. המתאם שלכם, סט ההערכה שלכם, ועקומת העלות יורדת ככל שהתעבורה גדלה — הפוך מתמחור API לפי שימוש.

המנבא הגדול ביותר להצלחת כיוונון הוא איכות הדאטה, לא הגודל. אנו מכוונים ל-2,000–10,000 דוגמאות בעלות אות גבוה ברוב הסתגלויות הדומיין. כל דוגמה נסקרת על ידי מומחה תוכן, מנוקה משכפולים מול סט ההערכה ומתויגת במקור.

צמדו לכל דוגמה הוראת משימה מפורשת. Gemma 4 מכוון להוראות מראש; שמירה על הפורמט הזה משאירה את המודל קוהרנטי וניתן לשליטה לאחר ההסתגלות.

לרוב העומסים אנו מתחילים ב-LoRA rank 16, alpha 32, dropout 0.05, על q_proj, k_proj, v_proj ו-o_proj. זה נותן 0.5–1.5% מהפרמטרים לאימון — מספיק כדי לקדד התנהגות דומיין מבלי לשכתב את המודל הבסיס.

העלו ל-rank 32 או 64 למשימות יצירת קוד ופלט מובנה. השאירו דרגה נמוכה למשימות טון, סגנון וניתוב.

כשל מספר אחת של פרויקטי LLM פנימיים הוא לשלוח מודל ש'מרגיש טוב יותר' בלי הוכחה. לפני האימון הראשון, כתבו סט הערכה דטרמיניסטי שמדרג את המודל על דיוק, ציות לפורמט, השהיה ויחס ניצחון מול המודל הקודם.

אוטומציה. כל checkpoint מריץ את ההערכה ושולח שורה אחת ל-Slack. checkpoint שמרגרסיב מעל 2% — לא משוגר.

פרסו את Gemma 4 הבסיס פעם אחת. החליפו מתאמי LoRA לפי לקוח, משימה או זרוע A/B בזמן הבקשה. הדפוס הזה מקטין דרסטית את כמות ה-GPU ומאפשר rollback מיידי.

לנתיבים רגישי-השהיה, מזגו את המתאם לתוך הבסיס בזמן build והגישו עם vLLM או TGI ו-paged attention.