Erciyes Anadolu Holding Bilgi Teknolojileri Operasyon Direktörü Mert Çakar, Fintechtime Temmuz sayısı için yazdı “ Küçük ve Kapalı Devre Yapay Zeka Dönemi : Yerel Zeka Mimarileri”.

“Yapay zekâ projelerinde “en büyük model en doğru sonucu verir” yaklaşımı yerini daha sade, kontrollü ve ihtiyaca uygun mimarilere bırakıyor. Kurumsal ortamlarda her iş yükü dev bulut modellerine veya güçlü GPU altyapılarına ihtiyaç duymuyor; özellikle veri mahremiyeti, regülasyon hassasiyeti, maliyet kontrolü ve düşük gecikme beklentisi olan alanlarda küçük ve kapalı devre yapay zekâ modelleri daha gerçekçi bir seçenek haline geliyor. Kurum içi bilgi asistanları, doküman zekâsı, finans, risk ve uyum süreçleri gibi dar kapsamlı görevlerde, kuruma özgü veriyle beslenen yerel modeller daha tutarlı, hızlı ve denetlenebilir sonuçlar üretebiliyor. Önümüzdeki dönemde kurumlar için asıl mesele en büyük yapay zekâ modelini kullanmak olmayacak. İş ihtiyacına uygun, güvenli, sürdürülebilir ve yeterli dil modelini doğru mimariyle konumlandırabilen kurumlar gerçek avantaj sağlayacak.”

 

Son birkaç yılda hayatımıza daha çok giren yapay zeka kavramı iki temel yaklaşım içerisinde değerlendirildiğini görmekteyiz. Bunlardan birincisi, doğru sonuç almak için erişilebilen en büyük modelin seçilmesi gerektiği; ikincisi ise manalı bir performans yakalayabilmek için mutlaka güçlü GPU (Graphics Processing Unit) altyapısına ihtiyaç duyulduğu temel varsayımıydı. Bununla birlikte başlatılan projelerin yakın zamanda gerçekleştirilmesiyle ortaya çıkan tecrübe, kurumsal ortamlarda ihtiyaç duyulan yapay zeka altyapılarının çok daha sade ve daha az kaynak ihtiyacı ile karşılanabileceğini gösterdi. Genellikle yüksek kaynaklar ile beslenen bulut tabanlı büyük modeller çok güçlü araçlar sunmakta olup, tüm iş yüklerinin bu kusursuza yakın mimarilere ihtiyaç duymadığını gözler önüne sermektedir. Özellikle verinin mahremiyeti ve kurumun dijital sınırlarında kalması gereken senaryolarda, maliyet hassas projelerde/kurumlarda ve işlem süresi uzunluğunun tahammülü çok düşük olan süreçlerde daha küçük, daha kontrollü ve daha yerel mimarilerin öne çıkmaya başladığı bir döneme girdiğimizi söyleyebiliriz.

Bugün geldiğimiz noktada küçük dil modelleri, yani sınırlı kaynakla çalışabilen nispeten daha kompakt dil modelleri, yalnızca yatırım maliyetleri daha ucuz olduklarından değil de belirli iş aktivitelerinde daha doğru tercih olarak görülmeye başlandı. Zira burada fark yaratan unsur; maliyetten ziyade kurum içi veri egemenliği, çevrimdışı çalışabilme gereksinimleri, öngörülebilir işletim maliyetleri ve kontrollü kullanım gibi hassasiyetlere gerçekçi bir çözüm sunulabilmesidir.

Bu noktada asıl soru hangi dil modeli ve hizmet sağlayıcıdan hizmet almalıyım yerine kurumsal ihtiyacımızın, maliyet, güvenlik ve kullanım optimizasyonu adına en doğru modelin hangisi olduğu olmalıdır.

Neden Büyük Model Değil, Doğru Model?

Kurumsal teknoloji projelerinde en maliyetli hatalardan biri, problemi olduğundan büyük tanımlamakta olup, haliyle aynı durum yapay zeka projelerinde de yaşanmaktadır. Örneğin bir kurum içi mevzuat (Politika, Yönetmelik, Prosedür, Kılavuz) asistanı için çoğu zaman yüz milyarlarca parametreli genel amaçlı modele ihtiyaç olmayacaktır. Bu tip işlerde daha küçük, iyi yönlendirilmiş ve veri bağlama ve özetleme fonksiyonları kuvvetli özel tasarlanmış bir model daha öngörülebilir sonuç üretebilecektir. İşte bu noktada kullanılan modelin her şeyi bilmeye odaklanması yerine, belirli veriler ile beslenmiş-öğretisi tamamlanmış modelin sunacağı cevaplarda ve üstleneceği görevlerde tutarlı, hızlı ve güvenli çalışmasıdır.

Küçük dil modellerinin yükselişi tam olarak bu nedenle önemlidir. SLM yaklaşımı odağına hız, enerji verimliliği, ölçeklenebilirlik, düşük altyapı ihtiyacı ve iş aktivitesi odaklı tutarlılık tarafında ciddi avantaj sağlamaktadır. Bu modellerin yerel sunucu ortamlarında (CPU) çalışabilmesi onların yaygınlaşmasında son derece önemlidir. Küçük dil modellerinin veri gizliliğini merkeze alarak hızlı yanıt üretebilmesi, veri öğretisi kapsamında sergilediği tutarlılığı ve nispeten az enerjiye ihtiyaç duyması tercih edilme olasılığını önemli ölçüde arttırmaktadır.

Burada önemli olan husus, küçük modellerin mükemmellik yerine görev kapsamı dahilinde tatmin edici sonuç verebilecek model ölçeği arasında doğru eşleşmenin yapılmasıdır. Bu noktada kullanılacak yapay zeka senaryosunun nasıl bir modele ihtiyaç duyduğunun doğru analiz edilmesi en kritik hususların başında gelmektedir. Zira kurumsal hayatta iş yüklerinin önemli bir kısmı; sınıflandırma, özetleme, bilgi çağırma, kural tabanlı yorumlama, öneri üretme ve kurum içi soru-cevap gibi daha dar amaçlı görevlerden oluşmaktadır. İşte bu tür alanlarda küçük model stratejisi, teknoloji yatırımını ciddi şekilde azaltmakta ve projenin ROI önemli ölçüde hızlandırmaktadır.

Düşük Kaynaklı Yapay Zeka Artık Gerçekçi Bir Seçenek

GPU’suz yapay zeka yaklaşımını hype davranan kitlede sanki ayıpmış gibi algılanmakla birlikte, CPU üzerinde çalışan modern inference altyapıları sayesinde artık pek çok geliştirici kurum için kalıcı bir mimari haline getirilebildiğini deneyimlemiş durumdadır.

Hassasiyet noktalarının başında gelen maliyet ile GPU tedariği, lisanslama, sunucu planlaması ve enerji ihtiyacı gibi gözde büyümekte olan sorunlardan büyük ölçüde kaçılabileceği anlaşılmaktadır.

Bu aşamada özellikle henüz olgunlaşmamış senaryolarda ciddi bütçe baskısı yarattığından kullanım denemesinden kaçmak yerine, CPU merkezli yapı sayesinde var olan sunucu veya son kullanıcı ortamları dahilinde daha hızlı pilot yapılmasına imkan doğmaktadır.

Veri güvenliği ve operasyonel hakimiyet ve regülasyon nedenleriyle vazgeçilen projeler, lokal ortamlarda oluşturulabilen mimariler sayesinde uygulanabilir hale gelmektedir. Zira lokaldeki CPU üzerinde oluşturulan inference yaklaşımı, verinin public API’ları kullanmadan kurum içinde işlenmesine izin vermektedir. Kurum içine alınmış modeller, on-premise ve dış erişimi (internet vb.) olmayan ağlarda çalıştırılabilirken, bu sayede tıpkı kurumun diğer dijital servisleri gibi konumlandırılabilir. Bu yaklaşım sayesinde, özellikle regülasyon tarafından da sınırlandırılan hassas veriler olan finansal kayıtlar, müşteri verileri, sağlık kayıtları, savunma sanayi gibi hassas sektörlere ait veriler üzerinden de çalışma yapılabilecektir.

En önemli hususlardan biri olan ve aslında neredeyse tüm teknoloji yöneticilerini endişeye sevk eden husus ise mimari sadeliktir. Bu noktada kurumların amacı model yarıştırmak olmadığı ve bunun yerine kendilerine en optimize modelin kurum içinde kullanılmasıdır. Kurumdan kuruma değişebilmekle birlikte asıl ihtiyacın genellikle kontrollü bir cevap motoru, kurum içi bilgi asistanı ve sınırlı bağlamda çalışan bir karar destek katmanıdır. Bu ihtiyaçları ise CPU üstünde oluşturulabilecek mimarilerde birtakım performans kabulleri dahilinde çalışan optimize modellerle karşılamak, teknoloji stratejisini daha sürdürülebilir hale getirebilmektedir.

Kapalı Devre Yapay Zeka Mimarisi Nasıl Kurulur?

Kapalı devre yapay zeka ile kastedilen yalnızca internet iletişimi kesilmiş bir sunucu olmayıp; verinin, modelin ve sonuçların kurumun kontrol sınırları içinde kaldığı, erişim politikalarının net olduğu, dış sistem bağımlılığının minimumda tutulduğu mimaridir. Bahsi edilen yapı ise;

  • Veri Alım Katmanı
  • Temizleme ve Parçalama Katmanı
  • Vektör İndeksleme (Vektör Katmanı)
  • Inference Katmanı
  • Uygulama Arayüzü
  • İzleme Katmanı

dahilinde oluşmaktadır.

Basit ama genel ihtiyacı karşılayabilecek kurguda ise;

  • Kurum İçi Dokümanlar
  • İşlem Logları
  • Prosedürler
  • Teknik Kılavuzlar
  • Sıkça Sorulan Sorular

kapsamındaki eldeki verilerin metinleri/işlem kayıtları önce anlamlı şekilde sınıflandırılır. Sınıflandırılan veri daha sonra uygun parçalara ayrılır ve akabinde embedding işlemleri ile aranabilir bir katmana dönüştürülür. Bu sayede küçük model, doğrudan tüm her şeyi bilmek yerine yalnızca kendisine öğretilen verilen üzerinden yapılan sorgulara kurumsal bağlam içinden cevap üretir. Bu yapı RAG (Retrieval Augmented Generation) dahilinde ve tümüyle lokal veri tabanı ile lokal inference üzerinde çalışabilecektir.

Kapalı devre yapının başarısı yalnızca model seçimiyle ilgili olmayıp, model kadar önemli olan verinin kalitesi, erişim yetkilendirmesi, girdi standardizasyonu, versiyon yönetimi ve kaydetme süreçlerinin tümünden etkilenmektedir. Tabi bu noktada bu önemli hususlar ile birlikte iyi bir yönetişim ile süreç gerçekten arzu edilen çıktıyı üretebilecektir.

Basit Uygulama Senaryosu : Kurum İçi Bilgi Asistanı ve Doküman Zekası

Küçük ve kapalı devre yapay zeka modellerinin en hızlı değer üreten kullanım alanlarının başında kurum içi bilgi asistanları gelmektedir. Büyük holdingler, çoklu şirket yapıları, çok sayıda ve fazlaca şirket/departman tarafından oluşturulmuş dağınık dokümanlar ile farklı ekipler arasında parçalanmış bilgi ambarları nedeniyle ciddi verim kaybı yaşamaktadır. Çalışanların politika/prosedür/kılavuz bulmak, eski proje ve iş dokümantasyonuna ulaşmak, teknik doküman içinden doğru bölümü yakalamak veya bir uygulama akışının güncel versiyonuna erişmek için harcadığı zaman; çoğu zaman görünmeyen ama çok pahalı bir maliyet unsuru yaratmaktadır.

Aslında lokalde basitçe kurulup işletilebilecek küçük bir SLM sistemi burada son derece fayda yaratabilir. Şirketin tümüne etki eden kurumsal politikalar, departmanlara ait iş prosedürleri, operasyonel standartlar, satın alma metrik ve kuralları, önleyici ve tespit edici kontrol hedefleri, uygulama eksenli bakım kılavuzları, kullanılan sistemlerin kullanıcı kılavuzları ve sıkça sorulan sorular tek bir arama-yanıt katmanında basitçe birleştirilebilir. Kullanıcı doğal ve akıcı konuşma dilinde sorusunu sorarak, SLM sisteminin kendisi adına soru metriğinde geçmesi gereken tüm içeriği onun adına gerekli birleştirmeleri yapar ve kullandığı doğrulanmış bağlam üzerinden özet ve net cevap üretebilir. Böyle bir kurguda SLM konumlandığı iş akışında gerekli olmayan diğer bilgilere adapte olmadan güncel ve kuruma özgü bilgi tabanını tarayarak görevini yerine getirebilir.

Bahsini ettiğimiz bu mimari üç temel noktada değer üretir. İlk bileşen olan bilgiye erişim süresi ciddi anlamda hızlanmakla birlikte, cevapların dayanağı kurum içi kaynaklar tarafından beslendiğinden doğru bilgi sunma ve sunulan bilginin denetlenebilmesi hususlarında başarı oranı yüksektir. Son olarak veri doğru yetkilendirmeler sayesinde sadece ilgili kişiye sunulabilirken ve kurum dışarısına çıkmadığı için önemli bir hassasiyet sağlanmış olacaktır. Özellikle regülasyon baskısı altında çalışan sektör ve şirketlerin, benzeri lokal bilgi asistanı senaryolarını ezber bozan bir yapıda basit ve yalın hızlı kazanım alanı olarak öne çıkacaktır.

Uygulama Senaryosu : Finans, Risk ve Uyum Süreçleri

Finans dünyası odağa yerleştirildiğinde yapay zekanın en kritik boyutunun hızlı olmak yerine anlamlı ve tutarlı sonuç üretmek olduğu bilinenin malumudur. Bu nedenle finans ekipleri için kurulacak küçük model mimarilerinde amaç yaratıcı sonuç vermek yerine finans/muhasebe kayıtlarının yorumlanması, dipnotların oluşturulması ya da oluşturulmuş dipnotların anlaşılması, rapor metinlerinin tutarlı hale getirilmesi, iç politika/prosedür gibi mevzuat ile işlem akışı arasındaki uyumun denetlenmesi, yönetim raporunun özetlemesi veya standart dışı durumların tespiti ve erken uyarı sistemlerinin yalın şekilde tespiti gibi daha kurallı görevler olmalıdır.

Küçük modeller burada birkaç noktada güçlü bir yapı sağlayabilirler. Bunların başında, kuruma özel veri seti, finansallar, sonuç izleme ve anomali tespiti konusunda çok rahat adaptasyon sergileyip sonuç üretebilirler. Ayrıca, dış servis, hizmet ve personel bağımlılığını azaltarak kurumun bir nevi yatak odası dahilinde gördüğü hassas verinin korunmasına önemli katkılar sağlayabilirler. Böylece yıl kapanışı, yeni dönem bütçesi, risk değerlendirme, aksiyon planları oluşturma, sürekli izleme ve iç denetim süreçlerinde daha kontrollü bir yapay zeka katmanı kurgulanabilir.

Örneğin aylık kapanış dönemlerinde finans ekipleri yüzlerce açıklama notu, tablo yorumu ve istisna açıklaması üretmek durumunda kalabilirler. Bu süreçte optimize edilmiş model vasıtasıyla; geçmiş dönem veri ve sunum standartları kullanılarak taslak açıklama metinleri oluşturulabilir, anomali tespitleri (belirli kural setleri ile çelişen ifadeler) yapılabilir ve finansal yorumlar standardize edilebilir. Benzer şekilde iç denetim, iç kontrol ve mevzuat uyum ekipleri için, politika/prosedür metinleriyle operasyon kayıtlar arasında tutarsızlık sinyali veren durumlar tespit edilebilir. Buradaki kilit başarı faktörü, modelin klasik tahminleme gücü yerine kuruma özel referans veriler ile eğitilen bir yapı ihdas ederek kuruma özel bir öğreti ile fine-tune edilebilir.

Yeni Kavram : Yeterli Dil Modeli

Önümüzdeki dönemde rekabet avantajı sağlamak isteyen kurumların en büyük en karmaşık en pahalı modeli satın almak yerine, yürütülecek iş aktivitesi ile uyumlu boyutta, kontrollü, denetlenebilir ve doğru veri öğretileri ile güçlendirilen modelleri tercih etmeleri gerekecektir.  Lokalde çalışabilecek nispeten az kaynak ihtiyacı duyacak yapay zeka modelleri tam da bu nedenlerle öne çıkacaktır. Zira kurumlar artık hype kavramlar yerine gerçek dünyada ölçeklenebilir ve sürdürülebilir yapay zeka kullanımlarına adapte olacaktır.