היכרות עם כלים למפתחים

‫BigQuery מספק קבוצה של כלים למפתחים שבעזרתם אפשר לגשת ל-BigQuery בסביבת הפיתוח, לקשר את BigQuery לאפליקציות חיצוניות ולפתח פתרונות מקצה לקצה. לפני שמשתמשים בכלים האלה, כדאי להכיר מושגים סטנדרטיים של BigQuery, כמו ניתוח וארגון משאבים.

כלים לגישה ל-BigQuery בסביבת הפיתוח

ממשקי ה-API וספריות הלקוח של BigQuery הם כלי הליבה למפתחים לשליחת בקשות ל-BigQuery מחוץ למסוףCloud de Confiance ולכלי שורת הפקודה של BigQuery. כשניגשים ל-BigQuery בדרך הזו, צריך לספק גם סוג כלשהו של אימות.

ממשקי API

‫BigQuery מציע ממשקי API ל-REST ול-gRPC כדי ליצור ממשק עם השירותים השונים שלו באופן פרוגרמטי. ממשקי ה-API הבאים זמינים:

ספריות לקוח

אמנם אפשר להשתמש ישירות ב-BigQuery APIs על ידי יצירת בקשות לשרת, אבל שימוש בספריות הלקוח של BigQuery יכול לצמצם באופן משמעותי את כמות הקוד שצריך לכתוב, כי הן מספקות קיצורי דרך לקריאות ל-BigQuery API. השפות הנתמכות ב-BigQuery הן C#‎‏, Go,‏ Java,‏ Node.js,‏ PHP,‏ Python ו-Ruby. כדי לנסות מדריך למתחילים בנושא ספריות הלקוח של BigQuery, אפשר לעיין במאמר הרצת שאילתות במערך נתונים ציבורי באמצעות ספריות הלקוח של BigQuery.

אימות

אימות הוא התהליך שבו מאמתים את הזהות שלכם באמצעות פרטי כניסה. כשניגשים ל-BigQuery בסביבת הפיתוח, תמיד נדרש אימות. שיטת האימות הנפוצה ביותר בקרב מפתחי BigQuery היא Application Default Credentials, שמאפשרת למצוא את פרטי הכניסה באופן אוטומטי על סמך הסביבה שלכם. מידע נוסף על עקרונות כלליים של אימות ועל שיטות אימות אחרות זמין במאמר בנושא אימות ב-BigQuery.

כלים לחיבור BigQuery לאפליקציות חיצוניות

יש כמה כלים מותאמים אישית לחיבור שיכולים לעזור לכם לשלב את היכולות של BigQuery עם אפליקציות של צד שלישי.

‫MCP Toolbox for Databases

Model Context Protocol‏ (MCP) הוא פרוטוקול פתוח לחיבור מודלים גדולים של שפה (LLM) למקורות נתונים כמו BigQuery. ‫MCP Toolbox for Databases מקשר את פרויקט BigQuery שלכם לסביבות פיתוח משולבות (IDE) ולכלי פיתוח שונים, ומאפשר לכם ליצור סוכני AI חזקים יותר באמצעות נתוני BigQuery.

ניתוח נתונים של סוכנים ב-BigQuery

ניתוח נתונים של סוכני BigQuery הוא פתרון קוד פתוח מאינטראקציה ישירה (First-Party) שמתעד, מנתח וממחיש נתונים של אינטראקציות עם סוכנים מרובי-ערוצים בהיקף גדול. הפתרון הזה מאפשר למפתחים להזרים אינטראקציות גולמיות עם סוכנים, כמו בקשות, תשובות, קריאות לכלים ושגיאות, ישירות אל BigQuery.

מידע נוסף על הפתרון הזה זמין במאמר שימוש בניתוח נתונים של סוכנים ב-BigQuery.

מנהלי התקנים של ODBC ו-JDBC

מנהלי התקנים של Open Database Connectivity‏ (ODBC) ו-Java Database Connectivity‏ (JDBC) מחברים אפליקציות למסדי נתונים. ‫Google משתפת פעולה עם Simba כדי לספק מנהלי התקנים של ODBC ו-JDBC ל-BigQuery. אתם יכולים להשתמש בהם כדי לבנות אפליקציות תוכנה שאינן תלויות במסד נתונים, באמצעות הכלים והתשתית המועדפים עליכם. מנהל ההתקן של JDBC ל-BigQuery שפותח על ידי Google זמין גם בתצוגה מקדימה.

‫Cloud de Confiance for Visual Studio Code extension

אם אתם משתמשים ב-Visual Studio Code‏ (VS Code), אתם יכולים להשתמש בCloud de Confiance by S3NS תוסף VS Code כדי להריץ מחברות BigQuery ולצפות בתצוגה מקדימה של מערכי נתונים ב-BigQuery מתוך סביבת VS Code הקיימת שלכם.

כלים לפיתוח פתרונות מקצה לקצה

כשיוצרים פתרונות מורכבים באמצעות BigQuery,‏ Google מציעה הרבה דרכים לעזרה, בעיקר באמצעות דוגמאות קוד, יכולות של מאגרים וסביבות עבודה ומגוון רחב של שילובים עם BigQuery.

דוגמאות קוד

דוגמאות קוד של BigQuery מספקות קטעי קוד לביצוע משימות נפוצות ב-BigQuery, כמו יצירת טבלאות, הצגת רשימת חיבורים, הצגת התחייבויות לקיבולת והזמנות וטעינת נתונים. אפשר להשתמש בדוגמאות הקוד האלה כדי להתחיל לבנות פתרונות מורכבים יותר.

מאגרי נתונים וסביבות עבודה

אתם יכולים להשתמש במאגרי קוד כדי לנהל גרסאות של הקבצים שבהם אתם משתמשים ב-BigQuery, ובסביבות עבודה בתוך מאגרי הקוד האלה כדי לערוך קוד. ב-BigQuery נעשה שימוש ב-Git כדי לתעד שינויים ולנהל גרסאות של קבצים. אתם יכולים להשתמש ביכולות של Git שמוטמעות ב-BigQuery, או להתחבר למאגר Git של צד שלישי.

שירותים וכלים משולבים

שירותי Google והכלים הבאים משולבים עם BigQuery ומציעים יכולות נוספות לבניית פתרונות:

  • ‫Managed Service for Apache Spark. שירות שמנוהל במלואו להרצת משימות של Apache Hadoop ו-Apache Spark. השירות המנוהל ל-Apache Spark מספק את מחבר BigQuery, שמאפשר ל-Hadoop ול-Spark לעבד נתונים מ-BigQuery ישירות.
  • ‫Dataflow. שירות מנוהל במלואו להפעלת משימות Apache Beam בקנה מידה רחב. המחבר BigQuery I/O ל-Beam מאפשר לצינורות Beam לקרוא ולכתוב נתונים אל BigQuery וממנו.
  • ‫Managed Service for Apache Airflow. שירות מנוהל לתזמון תהליכי עבודה שמבוסס על Apache Airflow. אופרטורים של BigQuery מאפשרים לתהליכי עבודה של Airflow לנהל מערכי נתונים וטבלאות, להריץ שאילתות ולאמת נתונים.
  • ‫Pub/Sub. שירות הודעות אסינכרוני וניתן להרחבה. ב-Pub/Sub יש מינויים ל-BigQuery, שאפשר להשתמש בהם כדי לכתוב הודעות לטבלה קיימת ב-BigQuery כשהן מתקבלות.
  • ‫Dataform. שירות לאנליסטים של נתונים לפיתוח, בדיקה, ניהול גרסאות ותזמון תהליכי עבודה מורכבים של SQL לשינוי נתונים ב-BigQuery.
  • מודול BigQuery Terraform. מודול לאוטומציה של יצירה ופריסה של מערכי נתונים וטבלאות ב-BigQuery.
  • כלי שורת הפקודה של BigQuery. כלי שורת פקודה מבוסס Python ל-BigQuery.

בנוסף, Google מאמתת עשרות פתרונות ושילובים של שותפים עבור BigQuery באמצעות התוכנית Cloud de Confiance by S3NS Ready - BigQuery. השותפים האלה עמדו בדרישות הבסיסיות כדי להבטיח תאימות ל-BigQuery.

המאמרים הבאים

  • מידע על מקורות מידע ואירועים קרובים למפתחים זמין במרכז למפתחים. Cloud de Confiance
  • מידע על האופן שבו חברות אחרות משתמשות ב- Cloud de Confianceזמין במאמר ענן נתונים ל-ISVs.