שיפור מדוקדק של טרנספורמציות RAG

אחרי שמזינים מסמך, RAG Engine בפלטפורמת הסוכנים של Gemini Enterprise מריץ סדרה של טרנספורמציות כדי להכין את הנתונים לאינדוקס. אתם יכולים לשלוט בתרחישי השימוש באמצעות הפרמטרים הבאים:

פרמטר תיאור
chunk_size כשמסמכים מוטמעים באינדקס, הם מפולחים לחלקים. הפרמטר chunk_size (בטוקנים) מציין את גודל המקטע. גודל ברירת המחדל של חלקי הטקסט הוא 1,024 טוקנים.
chunk_overlap כברירת מחדל, המסמכים מפולחים לחלקים עם חפיפה מסוימת כדי לשפר את הרלוונטיות ואת איכות השליפה. ברירת המחדל של חפיפה בין חלקי טקסט היא 256 טוקנים.

גודל קטן יותר של מקטע אומר שההטמעות מדויקות יותר. גודל גדול יותר של מקטע אומר שההטמעות עשויות להיות כלליות יותר, אבל יכול להיות שהן יפספסו פרטים ספציפיים.

לדוגמה, אם תמירו 1,000 מילים למערך הטמעה שנועד ל-200 מילים, יכול להיות שתאבדו פרטים. קיבולת ההטמעה קבועה לכל מקטע. יכול להיות שחלק גדול של טקסט לא יתאים למודל עם חלון קטן.

המאמרים הבאים