איפה Gemini ב-BigQuery מעבד את הנתונים

במאמר הזה מוסבר איפה Gemini ב-BigQuery מעבד את הנתונים שלכם. ההתנהגות הזו רלוונטית לתכונות הבאות של Gemini ב-BigQuery:

העיבוד של Gemini לצורך התכונות האלה מתבצע בגבולות השיפוט של מיקום השאילתה, או במקום שבו מאוחסן מערך הנתונים של BigQuery. לדוגמה, אם המיקום של השאילתה או מערך הנתונים שלכם ב-BigQuery הוא באזור europe-west1, העיבוד של Gemini מתבצע במיקום שנמצא בגבול השיפוט של EU. העיצוב הזה מצמצם את תנועת הנתונים ופועל לפי השיטות המומלצות לניהול נתונים. מידע נוסף על הגבלות בנוגע לתחומי שיפוט זמינים מופיע במאמר מגבלות.

ברוב התכונות של Gemini ב-BigQuery, האדמין יכול לשלוט במיקום העיבוד של Gemini באמצעות ההגדרה מיקום ברירת המחדל הגלובלי ברמת הפרויקט או הארגון. משתמשי BigQuery יכולים לשנות את מיקום ברירת המחדל הגלובלי הזה באמצעות ההגדרה מיקום השאילתה ב-BigQuery Studio. במקרים שבהם הגדרת מיקום של שאילתה לא מצוינת בהגדרות התצורה על ידי אדמין או באופן מפורש על ידי המשתמש בשאילתה, Gemini ב-BigQuery משתמש במיקום שנגזר מהשאילתה שנערכת. מידע נוסף על האופן שבו BigQuery קובע את מיקום השאילתה זמין במאמר הרצת שאילתה.

‫Gemini ב-BigQuery קובע את תחום השיפוט של US או EU על סמך אמצעי הבקרה האלה. אם לא ניתן לקבוע את תחום השיפוט, המיקום הגלובלי לעיבוד נתונים ייקבע על סמך המיקומים שבהם Gemini זמין.

בקטעים הבאים מוסבר איך אפשר לקבוע איפה כל תכונה של Gemini ב-BigQuery מעבדת את הנתונים.

עורך SQL וקנבס נתונים

כשיוצרים קוד באמצעות כלי העריכה של SQL או כשמשתמשים בקנבס נתונים כדי ליצור תהליכי עבודה של ניתוח נתונים, Gemini ב-BigQuery משתמש בלוגיקה הבאה כדי לקבוע את מיקום העיבוד:

  • אדמין ב-BigQuery יכול לציין מיקום ברירת מחדל ברמת הארגון או ברמת הפרויקט. במאמר ציון מיקום ברירת מחדל ברמת הארגון או ברמת הפרויקט מוסבר איך מציינים מיקום ברירת מחדל.

  • משתמש ב-BigQuery יכול לציין מיקום של שאילתה ב-BigQuery Studio שיבטל את ההגדרה של האדמין. הוראות להגדרת מיקום ברירת מחדל לשאילתות ב-BigQuery זמינות במאמר ציון מיקומים.

  • אם אי אפשר לקבוע את המיקום של מערך נתונים, או אם לא צוין מיקום ברירת המחדל של השאילתה של המשתמש,מערכת BigQuery מנסה לקבוע את המיקום של מערך הנתונים או השאילתה על סמך הרצת ניסיון. לדוגמה:

    • דוגמה לשימוש בכלי לעריכת SQL: אם הבקשה שלכם ל-Gemini לטרנספורמציה של SQL עם Gemini מתייחסת למערך נתונים ב-europe-west1,‏ Gemini מעבד את הנתונים בגבולות השיפוט של EU.
    • דוגמה לקנבס נתונים: אם קנבס הנתונים שלכם מציג נתונים ממערך נתונים שנמצא ב-us-east4, כל הניתוחים או ההצעות של Gemini ב-BigQuery מעובדים בגבולות השיפוט של US.

ציון מיקום ברירת מחדל ברמת הארגון או ברמת הפרויקט

אדמין ב-BigQuery יכול לציין מיקום ברירת מחדל ברמת הארגון או ברמת הפרויקט שבו מתבצע עיבוד של בקשות Gemini. מיקום ברירת המחדל נשמר במטמון למשך הסשן של המשתמש בזמן שהוא עורך בכרטיסייה הנוכחית של עורך ה-SQL. המיקום שמוגדר כברירת מחדל משמש כשפעולות של Gemini ב-BigQuery לא מציינות מיקום באופן מפורש, ואי אפשר להסיק מיקום מהבקשה.

מידע נוסף על הגדרת מיקום ברירת המחדל זמין במאמר הגדרת הגדרות גלובליות.

מידע נוסף על אימות הגדרת המיקום שמוגדרת כברירת מחדל זמין במאמר אחזור הגדרות.

BigQuery Data Engineering Agent

‫Data Engineering Agent תומך באזורים גיאוגרפיים ברמת סמכות שיפוט, ומספק נקודות קצה ייעודיות לשירות עבור אזורים גיאוגרפיים us, eu ועולמיים. ההעדפה האזורית מוקצית אוטומטית על סמך המיקום של סביבת העבודה המשויכת ב-Dataform.

באינטראקציה עם הסוכן ב Cloud de Confiance מסוף, כל העיבוד הפנימי – כולל מנוע ההסקה והאחסון הזמני של הקשר השיחה – מתבצע אך ורק בגבולות השיפוט שמוגדרים באזור של סביבת העבודה ב-Dataform.

כשמבצעים אינטראקציה עם הסוכן באמצעות ה-API הציבורי, בוחרים באפשרות us או eu כדי לוודא שכל העיבוד, החשיבה הרציונלית והקריאות לשירותים במורד הזרם יישארו בתחום השיפוט הזה. אם אזור ה-API שצוין לא תואם לאזור של סביבת העבודה, המערכת מחזירה שגיאה.

כדי לשנות את אזור העיבוד, צריך ליצור מאגר חדש של Dataform ולהגדיר אותו לאזור המעודכן.

BigQuery Data Science Agent

הסוכן BigQuery Data Science זמין במספר מוגבל של אזורים ב-Colab Enterprise. האזור נקבע אוטומטית לפי המיקום של מחברת Colab Enterprise. מידע נוסף זמין במאמר בנושא מיקומים של Colab Enterprise.

כשאתם יוצרים אינטראקציה עם Data Science Agent במסוף Cloud de Confiance , נתוני הסשן – כולל היסטוריית השיחות ואחסון זמני של הקשר השיחה – מאוחסנים באותו אזור שבו נמצא המחברת. נתונים שמאוחסנים במצב מנוחה ב-notebook מאוחסנים גם במיקום של ה-notebook.

בקשות למודל Gemini מנותבות לנקודות קצה (endpoints) אזוריות או גלובליות, בהתאם לגרסת המודל ולאזור. הניתוב הזה הוא דינמי ועשוי להשתנות כשיוצאות גרסאות חדשות של המודל. לדוגמה, גרסאות חדשות יותר של מודלים עשויות להשתמש בהתחלה בנקודת קצה גלובלית, ועם הזמן להתרחב לנקודות קצה אזוריות או לנקודות קצה בכמה אזורים.

מידע נוסף על מיקום הנתונים מופיע במאמר מיקום הנתונים.

תובנות מנתונים ב-BigQuery

כדי ליצור תובנות באמצעות תובנות מנתוני BigQuery, אפשר להריץ פעולות של סריקת נתונים בטבלאות נבחרות ובמשאבים של מערכי נתונים. הסריקות האלה נוצרות באותו מיקום של משאב מערך הנתונים ב-BigQuery. במסגרת תחומי השיפוט של US או EU, העיבוד של Gemini ב-BigQuery מוגבל לתחום השיפוט שבו הסריקה מתבצעת. מחוץ לתחומי השיפוט של US וEU, העיבוד מתבצע באופן גלובלי. כדי לדעת איפה מתבצע עיבוד הנתונים הגלובלי של Gemini, אפשר לעיין במאמר מיקומי השרתים של Gemini.

הכנת נתונים ב-BigQuery

המיקום שבו מתבצעים תהליכי הכנת הנתונים ב-BigQuery תלוי בתכונה של הכנת הנתונים שבה אתם משתמשים.

  • כשמכינים נתונים באופן עצמאי, מיקום העיבוד של Gemini ב-BigQuery הוא המיקום שבו נמצא מערך הנתונים של BigQuery.
  • אם אתם מפעילים הכנת נתונים כחלק מצינורות של Dataform או BigQuery, מיקום עיבוד הנתונים של Gemini ב-BigQuery נקבע לפי ההגדרה defaultLocation של Dataform, אם היא מוגדרת. ההגדרה defaultLocation קובעת גם את מיקום העבודה ב-BigQuery. כך מובטח שעיבוד הנתונים על ידי Gemini ב-BigQuery יתבצע באותם גבולות שיפוט.
  • אם לא מוגדר defaultLocation ל-Dataform או לצינור BigQuery שמכיל את ההכנה של הנתונים, אז האזור לעיבוד של Gemini ב-BigQuery נקבע לפי הגדרת האזור של המאגר. צינור (pipeline) שלא צוינה בו הגדרה של defaultLocation יכול להריץ משימות שונות של BigQuery במיקומים שונים, בהתאם למיקום של הטבלאות שמשמשות בצמתים של הצינור. מומלץ להגדיר את defaultLocation כדי להבטיח מיקום עיבוד עקבי.

מגבלות

ההגבלות הבאות חלות כשמזהים את המיקום שבו Gemini ב-BigQuery מעבד את הנתונים:

  • ‫Gemini ב-BigQuery לא מספק נתונים על מיקום השרתים למיקומים ספציפיים. אפשר לציין עיבוד נתונים עבור תחומי שיפוט נתמכים של US ושל EU. נתונים שמגיעים מחוץ לתחומי השיפוט האלה מעובדים באופן גלובלי.
  • העיבוד של Gemini ב-BigQuery בהתאם לשיפוט זמין רק לתכונות של Gemini ב-BigQuery שהן זמינות לכולם (GA). רשימת התכונות של Gemini ב-BigQuery זמינה במאמר סקירה כללית של Gemini ב-BigQuery.
  • התמיכה של Gemini בכתיבת קוד ב-Notebook של Python ב-BigQuery מוגבלת לעיבוד גלובלי.
  • ‫Gemini בצ'אט של Cloud Assist (GCA) תומך רק בעיבוד גלובלי של Gemini. כדי למנוע גישה לחלונית הצ'אט של GCA, צריך להסיר את ההרשאה geminicloudassist.agents.invoke לניהול זהויות והרשאות גישה (IAM) מהמשתמשים. במאמר יצירה וניהול של תפקידים בהתאמה אישית מוסבר איך יוצרים תפקידים בהתאמה אישית.

המאמרים הבאים