מערכי נתונים ציבוריים ב-BigQuery

מערך נתונים ציבורי הוא כל מערך נתונים שמאוחסן ב-BigQuery וזמין לציבור הרחב דרך תוכנית מערכי הנתונים הציבוריים של Google Cloud. מערכי הנתונים הציבוריים הם מערכי נתונים שמתארחים ב-BigQuery, ואתם יכולים לגשת אליהם ולשלב אותם באפליקציות שלכם. ‫Google משלמת על האחסון של מערכי הנתונים האלה ומספקת גישה ציבורית לנתונים באמצעות פרויקט. אתם משלמים רק על השאילתות שאתם מבצעים על הנתונים. בכל חודש מקבלים בחינם 1TB לעיבוד נתוני שאילתות, ומתחילים לשלם אחרי שהנפח הזה מנוצל. פרטים על תמחור שאילתות

אתם יכולים לנתח מערכי נתונים ציבוריים באמצעות שאילתות SQL מדור קודם או שאילתות GoogleSQL. כשמריצים שאילתות על מערכי נתונים ציבוריים, צריך להשתמש בשם טבלה מלא, לדוגמה bigquery-public-data.bbc_news.fulltext. אם הארגון שלכם מגביל את הגישה לנתונים, למשל באמצעות גבולות אבטחה, יכול להיות שתצטרכו לפנות לאדמין כדי לקבל הרשאת גישה למערכי נתונים ציבוריים.

אפשר לגשת למערכי נתונים ציבוריים ב-BigQuery באמצעות מסוףCloud de Confiance , באמצעות כלי שורת הפקודה של BigQuery או באמצעות קריאות ל-API בארכיטקטורת REST של BigQuery באמצעות מגוון ספריות לקוח כמו Java,‏ ‎.NET או Python. אתם יכולים גם לצפות במערכי נתונים ציבוריים ולשלוח אליהם שאילתות באמצעות BigQuery sharing (לשעבר Analytics Hub), פלטפורמה להחלפת נתונים שעוזרת לכם למצוא ספריות נתונים ולגשת אליהן.

כברירת מחדל, אי אפשר לגשת למערכי נתונים ציבוריים מתוך מתחם של VPC Service Controls. אין הסכם רמת שירות (SLA) לתוכנית מערכי הנתונים הציבוריים.

מעבר אל Sharing (Analytics Hub)

כדי לקבל פרטים נוספים על כל מערך נתונים, לוחצים על שם מערך הנתונים בקטע Datasets ב-Cloud Marketplace.

לדף Datasets ב-Cloud Marketplace

לפני שמתחילים

כדי להתחיל להשתמש במערך נתונים ציבורי ב-BigQuery, צריך ליצור או לבחור פרויקט. הטרה-בייט הראשון של נתונים שעוברים עיבוד בכל חודש הוא בחינם, כך שאפשר להתחיל לשלוח שאילתות למערכי נתונים ציבוריים בלי להפעיל חיוב. אם אתם מתכוונים לחרוג מתוכנית החינם, אתם צריכים גם להפעיל את החיוב.

  1. In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Cloud de Confiance project.

  3. ‫BigQuery מופעל באופן אוטומטי בפרויקטים חדשים. כדי להפעיל את BigQuery בפרויקט קיים:

    מפעילים את BigQuery API, אם הוא עדיין לא מופעל.

    התפקידים שנדרשים כדי להפעיל ממשקי API

    כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

    להפעלת ה-API

מיקומים של מערכי נתונים ציבוריים

כל מערך נתונים ציבורי מאוחסן במיקום ספציפי, כמו US או EU. נכון לעכשיו, טבלאות הדוגמה של BigQuery מאוחסנות במיקום US במספר אזורים. כששולחים שאילתה לטבלה לדוגמה, צריך לספק את הדגל --location=US בשורת הפקודה, לבחור את US כמיקום העיבוד במסוףCloud de Confiance , או לציין את המאפיין location בקטע jobReference של משאב המשימה כשמשתמשים ב-API. טבלאות הדוגמה מאוחסנות בארה"ב, ולכן אי אפשר לכתוב את תוצאות השאילתות של טבלאות הדוגמה לטבלה באזור אחר, ואי אפשר לצרף טבלאות דוגמה לטבלאות באזור אחר.

גישה למערכי נתונים ציבוריים במסוף Cloud de Confiance

אפשר לגשת למערכי נתונים ציבוריים במסוףCloud de Confiance בדרכים הבאות:

כדי לברר מתי טבלת נתונים עודכנה לאחרונה, עוברים לקטע Details של הטבלה, כפי שמתואר במאמר קבלת מידע על טבלאות, ומעיינים בשדה Last modified.

מערכי נתונים ציבוריים אחרים

יש עוד הרבה מערכי נתונים ציבוריים שאפשר לשלוח אליהם שאילתות. חלק מהם מתארחים ב-Google, אבל הרבה יותר מתארחים אצל צדדים שלישיים. קבוצות נתונים אחרות כוללות:

שיתוף של מערך נתונים עם הציבור

כדי לשתף את מערכי הנתונים שלכם עם הציבור, אתם יכולים לשנות את אמצעי בקרת הגישה של מערך הנתונים כך שתתאפשר גישה ל"כל המשתמשים המאומתים". למידע נוסף על הגדרת אמצעי בקרת גישה למערכי נתונים, קראו את המאמר שליטה בגישה למערכי נתונים.

כשמשתפים קבוצת נתונים באופן ציבורי:

  • החיובים על האחסון חלים על החשבון לחיוב שמקושר לפרויקט שמכיל את מערך הנתונים שמשותף באופן ציבורי.
  • החיובים על השאילתות מתבצעים בחשבון לחיוב שמקושר לפרויקט שבו מופעלות משימות השאילתות.

למידע נוסף, קראו את הסקירה הכללית על התמחור ב-BigQuery.

טבלאות לדוגמה

בנוסף למערכי הנתונים שגלויים לכולם, BigQuery מספק מספר מוגבל של טבלאות לדוגמה שאפשר להריץ בהן שאילתות. הטבלאות האלה נמצאות במערך הנתונים bigquery-public-data:samples.

הדרישות להרצת שאילתות בטבלאות לדוגמה ב-BigQuery זהות לדרישות להרצת שאילתות במערכי הנתונים הציבוריים.

מערך הנתונים bigquery-public-data:samples כולל את הטבלאות הבאות:

שם תיאור
gsod מכיל מידע על מזג האוויר שנאסף על ידי NOAA, כמו כמויות משקעים ומהירויות רוח מסוף 1929 עד תחילת 2010.
github_nested מכיל ציר זמן של פעולות כמו בקשות משיכה ותגובות במאגרים של GitHub עם סכימה בתצוגת עץ. נוצר בספטמבר 2012.
github_timeline מכיל ציר זמן של פעולות כמו בקשות משיכה ותגובות במאגרי GitHub עם סכימה שטוחה. נוצר במאי 2012.
natality מתאר את כל הלידות בארצות הברית שנרשמו ב-50 המדינות, במחוז קולומביה ובניו יורק סיטי בין השנים 1969 ל-2008.
shakespeare מכיל אינדקס מילים של יצירות שייקספיר, עם מספר הפעמים שכל מילה מופיעה בכל קורפוס.
trigrams מכיל טריגרמות בשפה האנגלית מדגימה של יצירות שפורסמו בין השנים 1520 ל-2008.
wikipedia מכיל את היסטוריית הגרסאות המלאה של כל המאמרים בוויקיפדיה עד אפריל 2010.

יצירת קשר

אם יש לכם שאלות לגבי תוכנית מערכי הנתונים הציבוריים של BigQuery, אתם יכולים לפנות אלינו בכתובת bq-public-data@google.com.

המאמרים הבאים

במאמר המדריך למתחילים לשימוש במסוף Cloud de Confiance מוסבר איך שולחים שאילתות לטבלה במערך נתונים ציבורי.