Sebagian atau seluruh informasi di halaman ini mungkin tidak berlaku untuk Cloud de Confiance dari S3NS. Lihat Perbedaan dengan Google Cloud untuk mengetahui detail selengkapnya.

Membuat prediksi dengan model TensorFlow yang diimpor

Dalam tutorial ini, Anda akan mengimpor model TensorFlow ke set data BigQuery ML. Kemudian, Anda menggunakan kueri SQL untuk membuat prediksi dari model yang diimpor.

Tujuan

Gunakan pernyataan CREATE MODEL untuk mengimpor model TensorFlow ke BigQuery ML.
Gunakan fungsi ML.PREDICT untuk membuat prediksi dengan model TensorFlow yang diimpor.

Biaya

Dalam dokumen ini, Anda akan menggunakan komponen Cloud de Confiance by S3NSyang dapat ditagih berikut:

Setelah menyelesaikan tugas yang dijelaskan dalam dokumen ini, Anda dapat menghindari penagihan berkelanjutan dengan menghapus resource yang Anda buat. Untuk mengetahui informasi selengkapnya, baca bagian Pembersihan.

Sebelum memulai

In the Cloud de Confiance console, on the project selector page, select or create a Cloud de Confiance project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
- Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector
Verifikasi bahwa penagihan diaktifkan untuk project Cloud de Confiance Anda.

Pastikan BigQuery API diaktifkan.

Aktifkan API
Pastikan Anda memiliki izin yang diperlukan untuk melakukan tugas dalam dokumen ini.

Peran yang diperlukan

Jika membuat project baru, Anda adalah pemilik project, dan Anda diberi semua izin Identity and Access Management (IAM) yang diperlukan untuk menyelesaikan tutorial ini.

Jika Anda menggunakan project yang sudah ada, peran BigQuery Studio Admin (roles/bigquery.studioAdmin) memberikan semua izin yang diperlukan untuk menyelesaikan tutorial ini.

Pastikan Anda memiliki peran berikut di project: Admin BigQuery Studio (roles/bigquery.studioAdmin).

Memeriksa peran

Di konsol Cloud de Confiance , buka halaman IAM.
Buka IAM
Pilih project.
Di kolom Akun utama, temukan semua baris yang mengidentifikasi Anda atau grup yang Anda ikuti. Untuk mengetahui grup mana saja yang Anda ikuti, hubungi administrator Anda.
Untuk semua baris yang menentukan atau menyertakan Anda, periksa kolom Peran untuk melihat apakah daftar peran menyertakan peran yang diperlukan.

Memberikan peran

Di konsol Cloud de Confiance , buka halaman IAM.
Buka IAM
Pilih project.
Klik Grant access.
Di kolom New principals, masukkan ID pengguna Anda. Biasanya, ini adalah ID untuk pengguna dalam workforce identity pool. Untuk mengetahui detailnya, baca bagian Merepresentasikan pengguna workforce pool dalam kebijakan IAM, atau hubungi administrator Anda.
Klik Pilih peran, lalu telusuri peran.
Untuk memberikan peran tambahan, klik Add another role, lalu tambahkan tiap peran tambahan.
Klik Simpan.

Untuk mengetahui informasi selengkapnya tentang izin IAM di BigQuery, lihat Izin BigQuery.

Membuat set data

Buat set data BigQuery untuk menyimpan model ML Anda.

Konsol

Di konsol Cloud de Confiance , buka halaman BigQuery.

Buka halaman BigQuery
Di panel Explorer, klik nama project Anda.
Klik View actions > Create dataset.
Di halaman Create dataset, lakukan hal berikut:
- Untuk Dataset ID, masukkan bqml_tutorial.
- Untuk Location type, pilih Multi-region, lalu pilih US.
- Jangan ubah setelan default yang tersisa, lalu klik Create dataset.

bq

Untuk membuat set data baru, gunakan perintah bq mk --dataset.

Buat set data bernama bqml_tutorial dengan lokasi data ditetapkan ke US.

bq mk --dataset \
  --location=US \
  --description "BigQuery ML tutorial dataset." \
  bqml_tutorial

Pastikan set data telah dibuat:
```
bq ls
```

API

Panggil metode datasets.insert dengan resource set data yang ditentukan.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Mengimpor model TensorFlow

Langkah-langkah berikut menunjukkan cara mengimpor model dari Cloud Storage. Jalur ke model adalah gs://cloud-training-demos/txtclass/export/exporter/1549825580/*. Nama model yang diimpor adalah imported_tf_model.

Perhatikan bahwa URI Cloud Storage diakhiri dengan karakter pengganti (*). Karakter ini menunjukkan bahwa BigQuery ML harus mengimpor aset apa pun yang terkait dengan model tersebut.

Model yang diimpor adalah model pengklasifikasi teks TensorFlow yang memprediksi situs yang memublikasikan judul artikel tertentu.

Untuk mengimpor model TensorFlow ke set data, ikuti langkah-langkah berikut.

Konsol

Di konsol Cloud de Confiance , buka halaman BigQuery.

Buka halaman BigQuery
Untuk Buat baru, klik Kueri SQL.

Di editor kueri, masukkan pernyataan CREATE MODEL ini, lalu klik Run.

  CREATE OR REPLACE MODEL `bqml_tutorial.imported_tf_model`
  OPTIONS (MODEL_TYPE='TENSORFLOW',
    MODEL_PATH='gs://cloud-training-demos/txtclass/export/exporter/1549825580/*')

Setelah operasi selesai, Anda akan melihat pesan seperti Successfully created model named imported_tf_model.

Model baru Anda akan muncul di panel Resources. Model ditunjukkan dengan ikon model: .
Jika Anda memilih model baru di panel Resources, informasi tentang model akan muncul di bawah Query editor.

bq

Impor model TensorFlow dari Cloud Storage dengan memasukkan pernyataan CREATE MODEL berikut.

bq query --use_legacy_sql=false \
"CREATE OR REPLACE MODEL
  `bqml_tutorial.imported_tf_model`
OPTIONS
  (MODEL_TYPE='TENSORFLOW',
    MODEL_PATH='gs://cloud-training-demos/txtclass/export/exporter/1549825580/*')"

Setelah mengimpor model, verifikasi bahwa model muncul di set data.

bq ls -m bqml_tutorial

Outputnya mirip dengan hal berikut ini:

tableId             Type
------------------- -------
imported_tf_model   MODEL

API

Masukkan tugas baru dan isi properti jobs#configuration.query di isi permintaan.

{
  "query": "CREATE MODEL `PROJECT_ID:bqml_tutorial.imported_tf_model` OPTIONS(MODEL_TYPE='TENSORFLOW' MODEL_PATH='gs://cloud-training-demos/txtclass/export/exporter/1549825580/*')"
}

Ganti PROJECT_ID dengan nama project dan set data Anda.

BigQuery DataFrames

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan BigQuery DataFrames di Panduan memulai BigQuery menggunakan BigQuery DataFrames. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi BigQuery DataFrames.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.

Impor model menggunakan objek TensorFlowModel.

import bigframes
from bigframes.ml.imported import TensorFlowModel

bigframes.options.bigquery.project = PROJECT_ID
# You can change the location to one of the valid locations: https://cloud.google.com/bigquery/docs/locations#supported_locations
bigframes.options.bigquery.location = "US"

imported_tensorflow_model = TensorFlowModel(
    model_path="gs://cloud-training-demos/txtclass/export/exporter/1549825580/*"
)

Untuk mengetahui informasi selengkapnya tentang cara mengimpor model TensorFlow ke BigQuery ML, termasuk persyaratan format dan penyimpanan, lihat pernyataan CREATE MODEL untuk mengimpor model TensorFlow.

Membuat prediksi dengan model TensorFlow yang diimpor

Setelah mengimpor model TensorFlow, Anda menggunakan fungsi ML.PREDICT untuk membuat prediksi dengan model.

Kueri berikut menggunakan imported_tf_model untuk membuat prediksi menggunakan data input dari tabel full dalam set data publik hacker_news. Dalam kueri, fungsi serving_input_fn model TensorFlow menentukan bahwa model mengharapkan string input tunggal bernama input. Subkueri menetapkan alias input ke kolom title dalam pernyataan SELECT subkueri.

Untuk membuat prediksi dengan model TensorFlow yang diimpor, ikuti langkah-langkah berikut.

Konsol

Di konsol Cloud de Confiance , buka halaman BigQuery.

Buka halaman BigQuery
Di bagian Buat baru, klik Kueri SQL.

Di editor kueri, masukkan kueri ini yang menggunakan fungsi ML.PREDICT.

SELECT *
  FROM ML.PREDICT(MODEL `bqml_tutorial.imported_tf_model`,
    (
     SELECT title AS input
     FROM bigquery-public-data.hacker_news.full
    )
)

Hasil kueri akan terlihat seperti ini:

Hasil kueri

bq

Masukkan perintah ini untuk menjalankan kueri yang menggunakan ML.PREDICT.

bq query \
--use_legacy_sql=false \
'SELECT *
FROM ML.PREDICT(
  MODEL `bqml_tutorial.imported_tf_model`,
  (SELECT title AS input FROM `bigquery-public-data.hacker_news.full`))'

Hasilnya akan terlihat seperti ini:

+------------------------------------------------------------------------+----------------------------------------------------------------------------------+
|                               dense_1                                  |                                       input                                      |
+------------------------------------------------------------------------+----------------------------------------------------------------------------------+
|   ["0.6251608729362488","0.2989124357700348","0.07592673599720001"]    | How Red Hat Decides Which Open Source Companies t...                             |
|   ["0.014276246540248394","0.972910463809967","0.01281337533146143"]   | Ask HN: Toronto/GTA mastermind around side income for big corp. dev?             |
|   ["0.9821603298187256","1.8601855117594823E-5","0.01782100833952427"] | Ask HN: What are good resources on strategy and decision making for your career? |
|   ["0.8611106276512146","0.06648492068052292","0.07240450382232666"]   | Forget about promises, use harvests                                              |
+------------------------------------------------------------------------+----------------------------------------------------------------------------------+

API

Masukkan tugas baru dan isi properti jobs#configuration.query seperti pada isi permintaan. Ganti project_id dengan nama project Anda.

{
  "query": "SELECT * FROM ML.PREDICT(MODEL `project_id.bqml_tutorial.imported_tf_model`, (SELECT * FROM input_data))"
}

BigQuery DataFrames

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.

Gunakan fungsi predict untuk menjalankan model TensorFlow:

import bigframes.pandas as bpd

df = bpd.read_gbq("bigquery-public-data.hacker_news.full")
df_pred = df.rename(columns={"title": "input"})
predictions = imported_tensorflow_model.predict(df_pred)
predictions.head(5)

Hasilnya akan terlihat seperti ini:

Visualisasi hasil

Dalam hasil kueri, kolom dense_1 berisi array nilai probabilitas, dan kolom input berisi nilai string yang sesuai dari tabel input. Setiap nilai elemen array mewakili probabilitas bahwa string input yang sesuai adalah judul artikel dari publikasi tertentu.

Pembersihan

Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.

Menghapus project

Konsol

Perhatian: Penghapusan project memiliki efek berikut:

Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

Di Konsol Cloud de Confiance , buka halaman Manage resources.
Buka Kelola resource
Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

gcloud

Perhatian: Penghapusan project memiliki efek berikut:

Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

Menghapus Cloud de Confiance project:

gcloud projects delete PROJECT_ID

Menghapus resource satu per satu

Atau, hapus setiap resource yang digunakan dalam tutorial ini:

Hapus model yang diimpor.
Opsional: Hapus set data.

Langkah berikutnya

Untuk ringkasan BigQuery ML, lihat Pengantar BigQuery ML.
Untuk mulai menggunakan BigQuery ML, lihat Membuat model machine learning di BigQuery ML.
Untuk mengetahui informasi selengkapnya tentang cara mengimpor model TensorFlow, lihat Pernyataan CREATE MODEL untuk mengimpor model TensorFlow.
Untuk informasi selengkapnya tentang penggunaan model, lihat referensi berikut:
Untuk mengetahui informasi selengkapnya tentang penggunaan BigQuery DataFrames API di notebook BigQuery, lihat:
- Pengantar notebook BigQuery
- Ringkasan BigQuery DataFrames