סקירה כללית על BigQuery

‫BigQuery היא פלטפורמת נתונים מנוהלת לחלוטין שמוכנה ל-AI, שעוזרת לכם לנהל ולנתח את הנתונים. הארכיטקטורה של BigQuery היא בלי שרת (serverless), כך שאפשר להשתמש בשפות כמו SQL ו-Python כדי לענות על השאלות החשובות ביותר של הארגון, בלי לנהל את התשתית.

מנתחי נתונים, מהנדסי מערכות מידע, מנהלי מחסני נתונים ומדעני נתונים יכולים להשתמש ב-BigQuery בתרחישים הבאים:

• תהליכי עבודה בעזרת AI: אתם יכולים להשתמש ב-AI גנרטיבי, בחיפוש וקטורי ובתכונות העזרה של Gemini כדי לחקור, לשנות ולשלב מודלים גדולים של שפה (LLM) בתהליכי העבודה של הנתונים.
• למידת מכונה וחיזוי אנליטי: פיתוח, אימון ופריסה של מודלים על הנתונים שלכם באמצעות SQL או Python.
• בינה עסקית וניתוח אד-הוק: שאילתות על טרה-בייטים תוך שניות ועל פטה-בייטים תוך דקות, כדי לקבל החלטות עסקיות קריטיות.
• ניתוח נתונים גיאו-מרחביים: ניתוח והצגה חזותית של נתונים מבוססי-מיקום באמצעות מערכות מידע גיאוגרפי (GIS).
• משילות מידע וחיפוש סמנטי: גילוי, ניהול ואימות של נתונים ונכסי AI באמצעות תכונות מובנות שמבוססות על Knowledge Catalog.
• הטמעת נתונים רציפה: הזרמה של נתונים מובְנים ובלתי מובְנים בזמן אמת, עם תמיכה בפורמטים פתוחים של טבלאות כמו Apache Iceberg, ‏Delta ו-Apache Hudi.

ארכיטקטורת BigQuery

הארכיטקטורה של BigQuery מורכבת משני חלקים: שכבת אחסון שקולטת, מאחסנת ומבצעת אופטימיזציה של נתונים, ושכבת מחשוב שמספקת יכולות ניתוח. שכבות המחשוב והאחסון האלה פועלות ביעילות ובאופן עצמאי, הודות לרשת של Google בקנה מידה של פטה-ביט שמאפשרת את התקשורת הנדרשת ביניהן.

במסדי נתונים מדור קודם, בדרך כלל צריך לשתף משאבים בין פעולות קריאה וכתיבה לבין פעולות ניתוח. זה יכול לגרום להתנגשויות בין משאבים ולהאט את השאילתות בזמן שהנתונים נכתבים באחסון או נקראים ממנו. מאגרי משאבים משותפים יכולים להיות עמוסים עוד יותר כשצריך משאבים למשימות של ניהול מסדי נתונים, כמו הקצאה או ביטול של הרשאות. ההפרדה בין שכבות המחשוב והאחסון ב-BigQuery מאפשרת לכל שכבה להקצות משאבים באופן דינמי בלי להשפיע על הביצועים או על הזמינות של השכבה השנייה.

ההפרדה הזו מאפשרת ל-BigQuery לחדש מהר יותר, כי אפשר לפרוס שיפורים באחסון ובמחשוב בנפרד, בלי זמן השבתה או השפעה שלילית על ביצועי המערכת. הוא גם חיוני כדי להציע מחסן נתונים מנוהל לחלוטין בלי שרת (serverless), שבו צוות ההנדסה של BigQuery מטפל בעדכונים ובתחזוקה. כתוצאה מכך, אין צורך להקצות משאבים או לשנות את קנה המידה שלהם באופן ידני, ואתם יכולים להתמקד בהפקת ערך במקום במשימות המסורתיות של ניהול מסדי נתונים.

הממשקים של BigQuery כוללים את ממשק המסוף של Cloud de Confiance ואת כלי שורת הפקודה של BigQuery. מפתחים ומדעני נתונים יכולים להשתמש בספריות לקוח עם תכנות מוכר, כולל Python, ‏ Java, ‏ JavaScript ו-Go, וגם ב-API בארכיטקטורת REST וב-RPC API של BigQuery כדי לשנות ולנהל נתונים. מנהלי ההתקנים של ODBC ו-JDBC מספקים אינטראקציה עם אפליקציות קיימות, כולל כלים ושירותים של צד שלישי.

איך מתחילים לעבוד עם BigQuery

אתם יכולים להתחיל להשתמש ב-BigQuery תוך כמה דקות.

• Cloud de Confiance מדריך למתחילים במסוף: היכרות עם היכולות של BigQuery Studio.

היכרות עם BigQuery

התשתית ללא שרת (serverless) של BigQuery מאפשרת לכם להתמקד בנתונים במקום בניהול המשאבים. ‫BigQuery משלב מחסן נתונים מבוסס-ענן עם כלי ניתוח מתקדמים.

אחסון BigQuery

הנתונים ב-BigQuery מאוחסנים בפורמט של אחסון עמודות, שמותאם לשאילתות של ניתוח נתונים. ב-BigQuery הנתונים מוצגים בטבלאות, בשורות ובעמודות, ויש תמיכה מלאה בסמנטיקה של טרנזקציות במסד נתונים (ACID). האחסון ב-BigQuery משוכפל באופן אוטומטי בכמה מיקומים כדי לספק זמינות גבוהה.

• מידע על דפוסים נפוצים לארגון משאבי BigQuery במחסן הנתונים וב-data marts.
• מידע ולמידה על מערכי נתונים, מאגר ברמה העליונה של טבלאות ותצוגות ב-BigQuery.
• טעינת נתונים ל-BigQuery באמצעות:
  • העברת נתונים בסטרימינג באמצעות Storage Write API ‏ (gRPC).
  • טעינת נתונים באצווה מקבצים מקומיים או מ-Cloud Storage, בפורמטים שכוללים את: Avro,‏ Parquet,‏ ORC,‏ CSV,‏ JSON.

למידע נוסף, קראו את הסקירה הכללית על האחסון ב-BigQuery.

ניתוח נתונים ב-BigQuery

ניתוח תיאורי וניתוח מרשמי משמשים לבינה עסקית, ניתוח אד-הוק, ניתוח נתונים גיאוגרפיים ולמידת מכונה. אתם יכולים לשלוח שאילתות על נתונים שמאוחסנים ב-BigQuery או להריץ שאילתות על נתונים במקום שבו הם מאוחסנים, באמצעות טבלאות חיצוניות או שאילתות מאוחדות, כולל Cloud Storage.

• שאילתות SQL סטנדרטיות בתקן ANSI (תמיכה ב-ISO/IEC 9075), כולל תמיכה בצירופים, בשדות מקוננים ובשדות חוזרים, בפונקציות של ניתוח וצבירה, בשאילתות עם כמה הצהרות ובמגוון פונקציות מרחביות עם ניתוח נתונים גיאו-מרחביים – מערכות מידע גיאוגרפי.
• ‫API בשפת Python שתואם ל-Pandas, שסופק על ידי BigQuery DataFrames.
• ליצור תצוגות כדי לשתף את הניתוח.
• תמיכה בכלי בינה עסקית (BI), כולל כלים של צד שלישי שמשתמשים במנהלי ההתקנים של Simba ODBC ו-JDBC ל-BigQuery
• ‫BigQuery ML מספק למידת מכונה וניתוח חזוי.
• בעזרת BigQuery Studio קל יותר להשלים את תהליכי העבודה של ניתוח הנתונים ולמידת המכונה (ML) ב-BigQuery.
• להריץ שאילתות על נתונים מחוץ ל-BigQuery באמצעות טבלאות חיצוניות.

למידע נוסף, קראו את הסקירה הכללית על ניתוח הנתונים ב-BigQuery.

ניהול BigQuery

ב-BigQuery אפשר לנהל באופן מרוכז את משאבי הנתונים והמחשוב, ובעזרת ניהול זהויות והרשאות גישה (IAM) אפשר לאבטח את המשאבים האלה באמצעות מודל הגישה שמשמש בכל Cloud de Confiance by S3NS.

• מבוא לאבטחת מידע ולמשילות מידע – כדי להבין מהי משילות מידע ואילו אמצעי בקרה נדרשים כדי לאבטח את המשאבים של BigQuery.
• משימות הן פעולות ש-BigQuery מריץ בשבילכם כדי לטעון, לייצא, להעתיק או לשלוח שאילתות לגבי נתונים.
• הזמנות מאפשרות לכם לעבור בין תמחור על פי דרישה לתמחור מבוסס-קיבולת.

למידע נוסף, קראו את המאמר מבוא לניהול BigQuery.

משאבים של BigQuery

מקורות מידע על BigQuery:

• בנתוני הגרסה מופיעים יומני שינויים של תכונות, שינויים והוצאות משימוש.
• ב-Stack Overflow יש קהילה פעילה של מפתחים ומנתחי נתונים שעובדים עם BigQuery.
• בספר Google BigQuery: The Definitive Guide: Data Warehousing, Analytics, and Machine Learning at Scale, מאת Valliappa Lakshmanan ו-Jordan Tigani, מוסבר איך BigQuery פועל ומוצג מדריך מקיף לשימוש בשירות.

ממשקי API, כלים וחומרי עזר

חומרי עזר למפתחים ולאנליסטים של BigQuery:

• במאמרים BigQuery API וספריות לקוח יש סקירות כלליות של התכונות של BigQuery והשימוש בהן.
• מאמרי העזרה של BigQuery DataFrames API, כדי לקבל פרטים על השימוש ב-API בשפת Python שתואם ל-pandas.
• DML מאפשרים לנהל ולשנות את הנתונים ב-BigQuery.
• מאמרי העזרה של כלי שורת הפקודה של BigQuery מתעדים את התחביר, הפקודות, הדגלים והארגומנטים של ממשק ה-CLI של bq.
• שילוב ODBC או JDBC: חיבור BigQuery לתשתית ולכלים הקיימים.

תפקידים ומשאבים ב-BigQuery

‫BigQuery נותן מענה לצרכים של מומחי נתונים בתפקידים ובאחריות הבאים.

המאמרים הבאים

• מידע ולמידה על השוואה בין BigQuery ב- Cloud de Confiance ל-Google Cloud

• סקירה כללית של האחסון ב-BigQuery
• סקירה כללית על ניתוח הנתונים ב-BigQuery
• לסקירה כללית על ניהול BigQuery, קראו את המאמר מבוא לניהול BigQuery.
• סקירה כללית על אבטחת מידע ומשילות ב-BigQuery