Casos de uso de IA no Cloud Run

Se você está criando agentes, executando modelos de inferência ou fazendo a integração com vários serviços de IA, o Cloud Run oferece a escalonabilidade, a flexibilidade e a facilidade de uso necessárias para dar vida às suas inovações de IA.

Esta página destaca alguns casos de uso de alto nível para hospedar, criar e implantar cargas de trabalho de IA no Cloud Run.

Por que usar o Cloud Run para cargas de trabalho de IA?

O Cloud Run oferece várias vantagens para garantir que seus aplicativos de IA sejam escalonáveis, flexíveis e gerenciáveis. Alguns destaques incluem:

  • Suporte flexível a contêineres: empacote seu app e as dependências dele em um contêiner ou use qualquer linguagem, biblioteca ou framework com suporte. Saiba mais sobre o contrato de ambiente de execução de contêiner do Cloud Run.
  • Endpoint HTTP: depois de implantar um serviço ou instância do Cloud Run, receba um endpoint de URL do Cloud Run seguro e pronto para uso. O Cloud Run oferece streaming com suporte à codificação de transferência em partes HTTP, HTTP/2 e WebSockets.
  • Escalonamento automático ou manual: para serviços do Cloud Run, o Cloud Run escalona automaticamente o serviço com base na demanda. Isso garante que você pague apenas pelo que usar, o que é ideal para cargas de trabalho de IA imprevisíveis. Também é possível definir o serviço para escalonamento manual com base nas necessidades de tráfego e utilização da CPU. Para instâncias do Cloud Run, o escalonamento automático não é aplicável. Elas são executadas como singletons que você inicia e interrompe manualmente.

Principais casos de uso de IA

Confira algumas maneiras de usar o Cloud Run para potencializar seus aplicativos de IA:

Hospedar agentes e bots de IA

O Cloud Run é uma plataforma ideal para hospedar a lógica de back-end de agentes de IA, chatbots e assistentes virtuais. Esses agentes podem orquestrar chamadas para modelos de IA, como o Gemini na Vertex AI, gerenciar o estado e fazer a integração com várias ferramentas e APIs.

  • Microsserviços para agentes: implante recursos de agentes individuais como serviços ou instâncias separados do Cloud Run. Consulte Hospedar agentes de IA para saber mais.
  • Servidores do Protocolo de Contexto de Modelo (MCP): implemente servidores MCP para fornecer contexto padronizado para LLMs das suas ferramentas e fontes de dados. Consulte Hospedar servidores MCP para saber mais.

Disponibilizar modelos de IA/ML para inferência

Implante seus modelos de machine learning treinados como endpoints HTTP escalonáveis.

  • Inferência em tempo real: disponibilize previsões de modelos criados com frameworks como TensorFlow, PyTorch, scikit-learn ou usando modelos abertos como o Gemma.
  • Desacoplar arquivos de modelos grandes do contêiner: o adaptador Cloud Storage FUSE permite montar um bucket do Cloud Storage e o torna acessível como um diretório local dentro do contêiner do Cloud Run.

Hospedar APIs e back-ends com tecnologia de IA

Crie APIs e microsserviços que incorporam recursos de IA.

  • APIs inteligentes: desenvolva APIs que usam LLMs para compreensão de linguagem natural , análise de sentimentos, tradução, resumo e assim por diante.
  • Fluxos de trabalho automatizados: crie serviços que acionam ações orientadas por IA com base em eventos ou solicitações.

Criar protótipos e experimentar ideias

Itere rapidamente as ideias de IA.

  • Divisão de tráfego: use o recurso de divisão de tráfego do Cloud Run para testar diferentes modelos, comandos ou configurações e o Google Cloud Observability para monitorar métricas (latência, taxa de erros, custo) para medir o sucesso do teste A/B.

A seguir

Dependendo da sua familiaridade com os conceitos de IA e do seu caso de uso de IA, explore os recursos de IA do Cloud Run.