Bu içeriğim son kullanıcı için değil tamamen şirketler için kaleme aldım. Kişisel kullanımda chatgpt, gemini kısmen ücretsiz servisler kullanılırken şirketlerde ciddi yatırımlarla yapay zeka donanımları satın alınarak yapılan ciddi yatırımlar olmak zorunda.
Bu yüzden yazıyı okurken bunu dikkate almanızı tavsiye ederim. Bu yüzden içeriğimde Chatgpt gibi genel yapay zekalardan bahsetsemde içerik tamamen buradaki yatırım odaklı şirketlere yardımcı olacak bir bakış açısı kazandırmak.
Bu yazıma konu olan içerik ise Martin Alderson tarafından yazılan buradaki içerik. https://martinalderson.com/posts/are-openai-and-anthropic-really-losing-money-on-inference/
Bu içeriği Çinli bir firma biraz daha detaylandırmış o kaynakta burada : https://my.oschina.net/IDP/blog/18695972
Aslında bu yazılarda yada benim yazımda bahsedeceğim konu “Yapay zeka çok pahalı, kimse bu işi uzun vadede sürdüremez” yada daha sık duyduğunuz “yapay zeka bir balondur” ifadesi. Özellikle büyük dil modelleri (LLM) için sıkça söyleniyor bu açıklama. Eee ChatGPT şirketi OpenAI çok fazla yatırım aldı değerlenmesi inanılmaz rakamlara ulaştı. Yapılan teknik analizler, bu algının sanıldığından çok farklı olduğunu ortaya koyuyor.
OpenAI, Anthropic gibi firmaların kullandığı büyük modellerin “çalıştırma maliyeti” (yani inference cost) aslında iki aşamadan oluşuyor:
1. Input (girdi) – Modelin okuduğu, yani senin yazdığın metin.
2. Output (çıktı) – Modelin ürettiği, yani sana verdiği cevap.
Yeni yapılan bir analiz (H100 GPU’lar üzerinden hesaplanmış) şunu gösteriyor:
1 milyon input token (kelime parçası) modeli çalıştırmak sadece 0.001 – 0.005 dolar civarında,
1 milyon output token üretmek ise yaklaşık 3 dolar.
Yani okumak neredeyse bedava, yazmak pahalı. Aradaki fark bin kat civarında. Bu fark, aslında yapay zekâ hizmetlerinin ekonomik yapısını tamamen değiştiriyor.
Örneğin bir kod asistanı düşünelim:
Kullanıcı yüzlerce satır kod yüklüyor (model için bol input), ama model sadece birkaç satır öneri veriyor (az output).
Bu durumda sistem neredeyse ücretsiz çalışıyor, çünkü pahalı kısım yani “yazma” çok az.
Ama video üreten modeller tam tersi. Kullanıcı kısa bir cümle yazıyor:
“Bir kedi, pencereden dışarı bakarken mırlıyor.”
Model ise milyonlarca piksel üretiyor, kare kare video oluşturuyor.
Yani birkaç input karşılığında devasa bir output… İşte orada maliyetler patlıyor.
Birçok kişi “AI çok pahalı, kimse bundan para kazanamaz” diyor.
Ama bu hesaplar gösteriyor ki, bazı yapay zekâ hizmetleri aslında çok kârlı çalışıyor.
Örneğin bir kod asistanı servisi, 100 dolar/ay abonelik ücreti alıp ay sonunda sadece 5 dolar civarında donanım maliyetine katlanabiliyor. Bu da 20 kattan fazla kâr anlamına geliyor.
Aynı mantık, API servisleri için de geçerli. Şu anda birçok platform (OpenAI, Anthropic vb.) API kullanımında milyon başına 3 ila 15 dolar ücret alıyor. Ama bu token’ların gerçek maliyeti çoğu zaman 0.01 dolar civarında.
Pekiii neden hâlâ “çok pahalı” deniyor?
Çünkü bu ifade, büyük oyuncuların işine geliyor. Sürekli “AI çok maliyetli, büyük yatırım gerektiriyor” mesajı verilince, küçük girişimler bu işe girmeye korkuyor. Tıpkı yıllar önce bulut teknolojisinde yaşadığımız gibi: Herkes AWS veya Azure’un pahalı altyapı kurduğunu sanıyordu, meğer o sistemler yüksek kârlıymış.
Aynı hikâyeyi şimdi AI alanında da izliyoruz.
Bugün yapay zekâ modellerinde asıl mesele maliyet değil, verimlilik. Modelin hangi işi yaptığına göre kazanç dengesi tamamen değişiyor:
Az input / çok output: (örneğin video üretimi) pahalı,
Çok input / az output: (örneğin kod asistanı, arama motoru, belge analizi) ucuz ve sürdürülebilir.
Şu anda bir yapay zeka yatırımı yapmak, donanım almak yada personeli bu alanda istihdam etmek gerçekten çok maliyetli gözükebilir. Ancak bu 10 personelle yaptığınız için 1 personelle yapabildiğiniz yada 10 personelle 3 ayda yaptığınız işi 1 haftada yapabildiğinizi gördüğünüzde karlı olduğunu görebilirsiniz. Bu şirket çalışan eforunun daha verimli kullanılmasını sağlayacaktır. Bu sayede personel diğer alanlardaki işlerini yapabileceklerdir.
Peki şirketler yapay zekaya yatırım yapmalı mı? Maliyetler halen yüksek sonuçta.
Yapay zeka şu anda emekleme aşamasında. Emekleme aşamasında olduğu için yazılımcı bulmak yada geliştirmek zaman alıyor. Birde hergün yeni birşey çıkıyor. Bu yüzden donanım yada personel giderleri şirket için çok büyük bir yük oluşturuyorsa o zaman yapay zeka için bu kadar para harcanmamalı ve yapay zeka danışmanlık şirketlerinden destek alınmalı.
Corona salgını sonrasında şirketler verimliğe odaklandı ve bu bir yarış haline geldi. Çin bu konuda önde giderken diğer ülkeler yada şirketler bu açığı kapatmak için daha agresif davrandığını düşünürsek şirketlerin yapay zekayı şirketlerinin merkezine almaları, personellerin bir yardımcı olarak görmeleri gereklidir.
Yani yapay zekâ gerçekten “pahalı” değil; doğru şekilde kullanıldığında oldukça ekonomik bir sistem.