Yapay Zeka Mesajlarının Enerji Maliyeti Nedir?
Yapay Zeka Sohbet Botu Mesajlarınız Ne Kadar Enerji Harcıyor?
Yapay zeka modellerine bir soru sorduğunuzda veya hatta teşekkür ettiğinizde ne kadar elektrik tükettiğinizi hiç merak ettiniz mi? Hugging Face mühendisi Julien Delavande bunu merak etti ve cevabı bulmaya yardımcı olacak bir araç geliştirdi.
Yapay zeka modelleri, her çalıştıklarında enerji tüketirler. Bu modeller, büyük ölçekli hesaplama iş yüklerini gerçekleştirmek için çok fazla güce ihtiyaç duyan GPU'lar ve özel çipler üzerinde çalışır. Modellerin güç tüketimini tam olarak belirlemek kolay olmasa da, yapay zeka teknolojilerinin artan kullanımının önümüzdeki birkaç yıl içinde elektrik ihtiyacını yeni zirvelere taşıması bekleniyor. Bu durum, bazı şirketleri çevreye duyarlı olmayan stratejiler izlemeye itebiliyor.
Delavande'nin aracı gibi araçlar, bu konuya dikkat çekmeyi ve belki de bazı yapay zeka kullanıcılarını durup düşünmeye sevk etmeyi amaçlıyor. Geliştiriciler, "Küçük enerji tasarrufları bile milyonlarca sorgu genelinde büyüyebilir - model seçimi veya çıktı uzunluğu önemli çevresel etkilere yol açabilir," diyor.
Julien Delavande tarafından geliştirilen bu araç, Meta'nın Llama 3.3 70B ve Google'ın Gemma 3 gibi modeller için açık kaynaklı bir ön uç olan Chat UI ile çalışmak üzere tasarlanmıştır. Araç, bir modele gönderilen ve modelden alınan mesajların enerji tüketimini gerçek zamanlı olarak tahmin ederek tüketimi Watt-saat veya Joule cinsinden bildirir. Ayrıca, modelin enerji kullanımını mikrodalga fırınlar ve LED'ler gibi yaygın ev aletleriyle karşılaştırır.
Araca göre, Llama 3.3 70B modelinden tipik bir e-posta yazmasını istemek yaklaşık 0.1841 Watt-saat kullanıyor — bu, bir mikrodalga fırını 0.12 saniye çalıştırmaya veya bir ekmek kızartma makinesini 0.02 saniye kullanmaya eşdeğer.
Unutmamak gerekir ki, aracın tahminleri yalnızca birer tahmindir. Delavande, bunların inanılmaz derecede hassas olduğunu iddia etmiyor. Yine de, sohbet botları da dahil olmak üzere her şeyin bir maliyeti olduğunu hatırlatıyorlar.
Delavande ve ortak yaratıcıları, "Yapay zeka enerji puanı gibi projeler ve yapay zekanın enerji ayak izi üzerine daha geniş araştırmalarla, açık kaynak topluluğunda şeffaflığı zorluyoruz. Bir gün, enerji kullanımı gıdalardaki beslenme etiketleri kadar görünür olabilir!" diye ekliyor.
