VMware, equipe da Nvidia na empresa

Jul 31, 2023

Por Maria Korolov

Escritor colaborador, Network World |

As empresas que tentam implantar IA generativa hoje enfrentam um grande problema. Se usarem uma plataforma comercial como OpenAI, terão que enviar dados para a nuvem, o que pode entrar em conflito com os requisitos de conformidade e ser caro. Se baixarem e executarem localmente um modelo como o Llama 2, precisarão saber muito sobre como ajustá-lo, como configurar bancos de dados vetoriais para alimentá-lo com dados em tempo real e como operacionalizá-lo.

A nova parceria da VMware com a Nvidia visa resolver esses problemas, oferecendo uma plataforma de IA generativa totalmente integrada e pronta para uso que as empresas podem executar no local, em instalações de colocation ou em nuvens privadas. A plataforma incluirá o Llama 2 ou uma escolha de outros modelos de linguagem de grande porte, bem como um banco de dados vetorial para alimentar o LLM com informações atualizadas da empresa.

O produto, VMware Private AI Foundation com Nvidia, contará com software de IA generativo e computação acelerada da Nvidia, e será construído no VMware Cloud Foundation e otimizado para IA.

A necessidade de uma plataforma como esta é dramática. De acordo com o estudo global de benchmark de IA generativa da Lucidworks divulgado este mês, 96% dos executivos e gestores envolvidos em processos de decisão de IA estão priorizando ativamente investimentos em IA generativa, e 93% das empresas planejam aumentar seus gastos com IA no próximo ano.

Mas a gestão de riscos é uma preocupação séria. O cenário regulatório incerto e em evolução tem um impacto significativo nas decisões de investimento generativo em IA, afirmaram 77% dos CEOs entrevistados para uma pesquisa recente da KPMG. A priorização da gestão eficaz de riscos aumentou em todos os níveis nos últimos meses, informou a KPMG, com a proteção de dados pessoais e questões de privacidade liderando a lista de prioridades com 63%, seguida pela segurança cibernética com 62%.

A execução de grandes modelos de linguagem no local ou em outros ambientes controlados pela empresa pode aliviar significativamente muitas dessas preocupações.

“Ter a opção de executar um modelo localmente pode abrir muitas portas para empresas que foram simplesmente proibidas de usar modelos hospedados publicamente, mesmo que estivessem hospedados em uma nuvem pública virtual”, diz Bradley Shimmin, analista-chefe de plataformas de IA, análises e gerenciamento de dados na empresa de pesquisa Omdia.

Isto é particularmente importante para setores fortemente regulamentados como o financeiro, diz ele, ou para casos de uso governamental. Os LLMs locais também podem abordar questões de residência de dados.

“Ter a capacidade de ter modelos de última geração que podem ser executados completamente em sistemas isolados é bastante atraente”, diz Shimmin. “É tudo uma questão de trazer o modelo para os dados. A gravidade dos dados está impulsionando toda a indústria.”

Se os modelos executados localmente também forem gratuitos e de código aberto, as empresas poderão economizar bastante dinheiro por não terem que pagar pelas chamadas da API OpenAI. “A latência é menor, o custo é menor e você tem mais controle sobre isso”, afirma Manish Goyal, líder global de IA e análise da IBM Consulting.

A nova oferta da VMware está posicionada para pegar a onda.

E, esta semana, na conferência VMware Explore 2023, Nvidia e VMware estão demonstrando como as empresas podem usar suas ferramentas para baixar LLMs gratuitos e de código aberto, personalizá-los e implantar IA generativa de nível de produção em ambientes VMware.

A pegada? VMware Private AI Foundation não estará disponível até o início do próximo ano.

“Acreditamos que as empresas trarão mais cargas de trabalho de IA para seus dados, em vez de movê-los para serviços de nuvem pública”, disse Paul Turner, vice-presidente de gerenciamento de produtos para vSphere e plataforma de nuvem da VMware.

As empresas podem pegar modelos como o Llama 2 da Meta, colocá-los em seus data centers próximos aos seus dados, otimizá-los e ajustá-los e criar novas ofertas de negócios, diz ele. "Isso ajuda a construir diferenciais de negócios para as empresas."