שילובים עם Bigtable
קישור של Bigtable לשירותים אחרים של Cloud de Confiance ולכלים בקוד פתוח מאפשר לעבד, לנתח ולסנכרן נתונים בין האפליקציות. השילובים האלה עוזרים לכם ליצור פייפליינים של נתונים שניתנים להתאמה, להריץ ניתוח נתונים ולנהל את התשתית של מסד הנתונים.
Cloud de Confiance by S3NS שירותים
בקטע הזה מתוארים Cloud de Confiance השירותים ש-Bigtable משתלב איתם.
BigQuery
BigQuery הוא מחסן נתונים לצורכי ניתוח מנוהל במלואו של Google, בקנה מידה של פטה-בייט ובעלות נמוכה. אתם יכולים להשתמש ב-BigQuery עם Bigtable למטרות הבאות:
אתם יכולים ליצור טבלה חיצונית ב-BigQuery, ואז להשתמש בה כדי לשלוח שאילתות לטבלה ב-Bigtable ולצרף את הנתונים לטבלאות אחרות ב-BigQuery. מידע נוסף מופיע במאמר בנושא שאילתות על נתונים ב-Bigtable.
אתם יכולים לייצא את הנתונים שלכם ב-BigQuery לטבלה ב-Bigtable באמצעות ETL הפוך (RETL) מ-BigQuery ל-Bigtable. מידע נוסף זמין במאמר ייצוא נתונים ל-Bigtable.
מאגר משאבי ענן
מאגר משאבי ענן, שמספק שירותי מלאי על סמך מסד נתונים של סדרות זמנים, תומך בסוגי המשאבים של Bigtable ומחזיר אותם. רשימה מלאה זמינה במאמר סוגי משאבים נתמכים.
Knowledge Catalog
ב-Knowledge Catalog, המטא-נתונים על משאבי Bigtable מקוטלגים באופן אוטומטי. מידע מקוטלג על הנתונים שלכם יכול לעזור לכם בניתוח, בשימוש חוזר בנתונים, בפיתוח אפליקציות ובניהול נתונים. מידע נוסף זמין במאמר בנושא ניהול נכסי נתונים באמצעות Knowledge Catalog.
Dataflow
Dataflow הוא שירות ענן ומודל תכנות לעיבוד נתונים בהיקפים גדולים (Big Data). Dataflow תומך בעיבוד באצווה ובסטרימינג. אתם יכולים להשתמש ב-Dataflow כדי לעבד נתונים שמאוחסנים ב-Bigtable או כדי לאחסן את הפלט של צינור עיבוד הנתונים ב-Dataflow. אתם יכולים גם להשתמש בתבניות של Dataflow כדי לייצא ולייבא את הנתונים כקובצי Avro, Parquet או SequenceFiles.
כדי להתחיל, אפשר לעיין במאמר Bigtable Beam connector.
אפשר גם להשתמש ב-Bigtable כחיפוש של ערכי מפתח כדי להעשיר את הנתונים בצינור עיבוד נתונים. לסקירה כללית, ראו העשרת נתונים בסטרימינג. למדריך בנושא, ראו שימוש ב-Apache Beam וב-Bigtable כדי להעשיר נתונים.
Managed Service for Apache Spark
Managed Service for Apache Spark מספק את Apache Hadoop ומוצרים קשורים כשירות מנוהל בענן. באמצעות Managed Service for Apache Spark, אתם יכולים להריץ משימות Hadoop שקוראות מ-Bigtable וכותבות אליו.
דוגמה למשימת Hadoop MapReduce שמשתמשת ב-Bigtable מופיעה בספרייה /java/dataproc-wordcount במאגר GoogleCloudPlatform/cloud-bigtable-examples ב-GitHub.
Pub/Sub
Bigtable תומך בהטמעה ממינויים ל-Pub/Sub. אתם יכולים להגדיר מינוי ל-Pub/Sub כדי לשלוח הודעות לטבלה ב-Bigtable. מערכת Pub/Sub כותבת את ההודעות האלה ל-Bigtable כשורות חדשות. מידע נוסף זמין במאמר בנושא מינויים ל-Bigtable.
חיפוש וקטורי ב-Agent Platform
Gemini Enterprise Agent Platform חיפוש וקטורי היא טכנולוגיה שיכולה לחפש בין מיליארדי פריטים שדומים או קשורים מבחינה סמנטית. הוא שימושי להטמעה של מנועי המלצות, צ'אט בוטים וסיווג טקסט.
אתם יכולים להשתמש ב-Bigtable כדי לאחסן הטמעות וקטורים, לייצא אותן לאינדקס של חיפוש וקטורי ואז לשלוח שאילתות לאינדקס כדי למצוא פריטים דומים. לדוגמה של תהליך עבודה, אפשר לעיין במדריך לייצוא מ-Bigtable ל-חיפוש וקטורי במאגר workflows-demos GitHub.
אפשר גם להעביר עדכונים בסטרימינג כדי לסנכרן את אינדקס החיפוש של "חיפוש וקטורי" עם Bigtable בזמן אמת. מידע נוסף זמין במאמר התבנית "סנכרון שינויים בזרמי נתונים של Bigtable לחיפוש וקטורי".
Big Data
בקטע הזה מתוארים מוצרי Big Data ש-Bigtable משתלב איתם.
Apache Beam
Apache Beam הוא מודל מאוחד להגדרה של צינורות עיבוד נתונים מקבילים באצווה ובסטרימינג. המחבר של Bigtable ל-Beam (BigtableIO) עוזר לבצע פעולות באצווה ובסטרימינג על נתונים ב-Bigtable בצינור עיבוד נתונים.
במדריך עיבוד של שינוי בנתונים ב-Bigtable מוסבר איך להשתמש במחבר Bigtable Beam כדי לפרוס צינור נתונים ב-Dataflow.
Apache Hadoop
Apache Hadoop הוא מסגרת שמאפשרת עיבוד מבוזר של קבוצות נתונים גדולות באשכולות של מחשבים. אתם יכולים להשתמש ב-Managed Service for Apache Spark כדי ליצור אשכול Hadoop, ואז להריץ משימות MapReduce שקוראות מ-Bigtable וכותבות אליו.
דוגמה למשימת Hadoop MapReduce שמשתמשת ב-Bigtable מופיעה בספרייה /java/dataproc-wordcount במאגר GoogleCloudPlatform/cloud-bigtable-examples ב-GitHub.
StreamSets Data Collector
StreamSets Data Collector היא אפליקציה להזרמת נתונים שאפשר להגדיר כך שתכתוב נתונים ל-Bigtable. חברת StreamSets מספקת ספריית Bigtable במאגר שלה ב-GitHub בכתובת streamsets/datacollector.
מסדי נתונים של גרפים
בקטע הזה מתוארים מסדי נתונים של גרפים שמשולבים ב-Bigtable.
HGraphDB
HGraphDB היא שכבת לקוח לשימוש ב-Apache HBase או ב-Bigtable כמסד נתונים של תרשים. הוא מטמיע את הממשקים של Apache TinkerPop 3.
מידע נוסף על הפעלת HGraphDB עם תמיכה ב-Bigtable זמין במאמרי העזרה בנושא HGraphDB.
JanusGraph
JanusGraph הוא מסד נתונים של גרפים שניתן להתאים לעומס. הוא מותאם לאחסון ולשליחת שאילתות של גרפים שמכילים מאות מיליארדי קודקודים וקצוות.
מידע נוסף על הפעלת JanusGraph עם תמיכה ב-Bigtable זמין במאמר הפעלת JanusGraph עם Bigtable או במסמכי JanusGraph.
ניהול התשתיות
בקטע הזה מתוארים כלים לניהול תשתית ש-Bigtable משתלב איתם.
Pivotal Cloud Foundry
Pivotal Cloud Foundry היא פלטפורמה לפיתוח ולפריסה של אפליקציות, שמאפשרת לקשר אפליקציה ל-Bigtable.
Terraform
Terraform הוא כלי בקוד פתוח שמקודד ממשקי API לקובצי תצורה מוצהרים. אפשר לשתף את הקבצים האלה בין חברי הצוות, להתייחס אליהם כקוד, לערוך אותם, לבדוק אותם ולנהל את הגרסאות שלהם.
מידע נוסף על שימוש ב-Bigtable עם Terraform זמין במאמרים Bigtable Instance ו-Bigtable Table במסמכי התיעוד של Terraform.
מסדי נתונים של פעולות על ציר הזמן ומעקב
בקטע הזה מוסבר על מסדי נתונים של סדרות זמן ועל כלי מעקב שמשולבים ב-Bigtable.
OpenTSDB
OpenTSDB הוא מסד נתונים של סדרות עתיות שיכול להשתמש ב-Bigtable לאחסון. במסמכי התיעוד של OpenTSDB מוסבר איך להתחיל לעבוד עם OpenTSDB.