Transcription
Vou ver os caras da GPU. É isso. Bem-vindo a um data center de IA onde você pode ouvir. Isso está extremamente alto agora. E sentir. Isso pode secar meu cabelo. A potência. A IA está lá dentro. Até 2028, data centers como este em todo o país poderiam usar 12% de toda a eletricidade dos EUA, o suficiente para alimentar mais de 55 milhões de casas por um ano. E sim, você está aumentando essa energia. Toda vez que você pressiona Enter em um prompt de IA, ele é roteado para lugares como este.
Sabe, precisamos fazer a IA. E precisamos de mais do que o dobro da energia, da eletricidade que temos atualmente. Mas eu queria saber quanta energia eu uso quando faço a IA. Gerar uma imagem ou um vídeo é o equivalente a fazer um bife em uma churrasqueira elétrica? Ah, sim. Ok, vamos começar rastreando este prompt: "Crie um vídeo de um bife dançando". No momento em que você pressiona Enter, essa solicitação é encaminhada para um lugar como este enorme prédio que visitei em Ashburn, Virgínia, também conhecido como Data Center Alley. Este edifício e os muitos ao seu redor são de propriedade da Equinix, uma das maiores empresas que alimentam a internet e agora a IA.
Quando seu prompt chega ao data center, ele inicia a inferência, o processo em que o modelo pensa e responde à sua solicitação. Fileiras de GPUs poderosas geram sua solicitação. Neste caso, o bife dançante. Esse processo não é o mesmo que o treinamento de IA. Isso acontece antes, quando o modelo aprende com quantidades massivas de dados. Voltando à minha pergunta, quanta energia estou usando toda vez que crio essa única imagem ou vídeo? Google, Microsoft e outras empresas de IA generativa não compartilham essas informações. Nós perguntamos a eles. Mas os pesquisadores fizeram seus próprios cálculos.
O objetivo é usar a metodologia de método padronizado. Então, o mesmo conjunto de dados, o mesmo hardware, tipo a mesma configuração e comparar diferentes modelos em termos de consumo de energia. Sasha Luccioni e outros pesquisadores testam quanta energia é usada ao gerar texto, imagens e vídeo usando GPUs Nvidia H100. Ela descobriu que a energia necessária para gerar conteúdo varia muito dependendo do modelo de IA e da configuração da GPU. Isso nos leva de volta a esta churrasqueira elétrica. Então eu conectei este prático medidor de energia na churrasqueira, aumentei o calor e coloquei um bife bem fino. Ah, sim. Se você estiver gerando texto, isso pode queimar de 0,17 watt-hora a 2 watt-hora, o equivalente a usar esta churrasqueira por cerca de quatro segundos. Gerar uma imagem adiciona 1,7 watt-hora. Tudo isso, menos de 10 segundos na churrasqueira. Mas vídeos curtos podem consumir muito mais energia. Em testes de vários modelos de código aberto, os vídeos levaram entre 20 watt-hora e 110 watt-hora.
A 110 watt-hora, um bife de churrasqueira elétrica a vapor, quase igual a uma geração de vídeo. Eu não comeria, mas meu cachorro comeria. A 220 watt-hora, estava parecendo muito mais comestível. Então, duas gerações de vídeo equivalem a um bife de aparência bem bonita. Isso pode não parecer muita energia até você considerar o curta-metragem que fizemos usando Google VO e Runway. Os números de Luccioni vêm de modelos de código aberto que geram clipes de 6 segundos e 480p, de qualidade muito inferior a ferramentas como o Google VO. Geramos 1000 clipes de 8 segundos e 720p para nosso filme. De acordo com essas estimativas, podemos ter usado aproximadamente 110.000 watt-hora. Isso é suficiente para assar cerca de 478 bifes ou alimentar uma casa americana média por 3,5 dias.
Novamente, o Google e outros podem ter sistemas mais eficientes, então pode ter levado menos energia. Muitas vezes me perguntam: "Bem, como sua pesquisa em código aberto se compara ao ChatGPT ou Gemini ou Sora?" Até termos acesso a esses modelos, não podemos realmente fornecer nenhuma informação. E então tudo o que podemos fazer é fazer estimativas. Recentemente, a OpenAI compartilhou algo. Em uma postagem no blog, o CEO Sam Altman disse que a consulta média usa cerca de 0,34 watt-hora de energia. A OpenAI não forneceria detalhes sobre o consumo de energia de imagem ou vídeo. Com base nos números de Altman, 647 prompts equivalem a um bife. Mas a energia não é a única preocupação. A água é usada em grandes quantidades para resfriar essas GPUs quentes. O data center Equinix em que estávamos usava um sistema de circuito fechado que recircula a água com desperdício mínimo. Mas em outras configurações, a água é reciclada e evaporada ou descartada, levando a uma perda líquida.
Ok, mas por que essas coisas são tão intensivas em energia? A resposta é o produto mais quente do mercado, literalmente. Eles disseram que seria muito quente para a TV, como se não pudessem mostrar porque é sensível, mas eles vão nos mostrar uma GPU. (música animada) Eles parecem computadores, eu não sei. As GPUs Nvidia são alguns dos chips mais poderosos e caros do planeta. Este super pod continha 31 Nvidia DGX H100s, cada uma com oito GPUs, totalizando cerca de US$ 9 milhões apenas em hardware. Quando as pessoas dizem que as GPUs estão gritando, é sério. Esses chips geram tanto calor que desligam se esquentarem demais. Portanto, os ventiladores trabalham horas extras para mantê-los frios. É aqui que o ar frio entra e é aqui que o ar quente sai. E além disso, o data center usa refrigeração avançada a ar e líquido para controlar a temperatura.
A maioria dos equipamentos pode funcionar confortavelmente até cerca de 90, 92 graus Fahrenheit. Além disso, ele desligará ou quebrará literalmente. E, obviamente, tudo isso usa muita energia. Às vezes, um rack de GPUs como o que vimos pode usar 100 vezes mais do que racks com outros equipamentos, como CPUs. Mas a Nvidia afirma que a eficiência energética de seus chips mais novos melhorou desde os chips usados nos testes de Luccioni. No último ano, ano e meio, mais ou menos, vimos uma melhoria de 30 vezes na eficiência energética. Então estamos usando 1/30 da energia para a mesma carga de trabalho de inferência que estávamos há apenas um ano.
Então, o que aprendemos hoje? Certamente que IA e GPUs consomem enormes quantidades de energia. E à medida que a demanda por IA cresce, também crescerá o tamanho e o número desses data centers. Vimos vários novos já em construção no Data Center Alley. Mas a grande questão é: vale a pena? Aquele vídeo bobo vale a mesma energia que leva para fazer uma refeição ou carregar um laptop? Sabe, se as pessoas vissem quanta energia estava sendo usada para cada vídeo bobo de gato que elas geraram, talvez pensassem duas vezes, ou, sabe, fariam isso de forma mais consciente. Ou eles tomariam decisões: "Vou usar este modelo e não aquele modelo". "Vou usar meu telefone como calculadora, não o ChatGPT como calculadora".
Mas não é só diversão e vídeos virais. Aquele grande cluster de GPUs que vimos pertence à Bristol Myers Squibb e está sendo usado para descobrir novos medicamentos. Então eles estão realmente investigando quais moléculas podem ter aplicação no tratamento de doenças no futuro. Então, existem algumas cargas de trabalho pelas quais realmente torcemos, e esses são alguns exemplos. Não vou comer mais nada disso. (risos)