Amazon SageMaker AI’daki Yeni İnovasyonlar, Müşterilerin Üretken Yapay Zeka ve Makine Öğrenimi Modelleri Oluşturma ve Ölçeklendirme Şeklini Değiştiriyor

Üç yeni Amazon SageMaker HyperPod özelliği ve AWS Çözüm Ortakları tarafından sunulan popüler yapay zeka uygulamalarının doğrudan SageMaker’a eklenmesi, müşterilerin yapay zeka geliştirme yaşam döngüsü boyunca zorlu görevlerin üstesinden gelmelerine yardımcı olarak model oluşturmayı, eğitmeyi ve dağıtmayı daha hızlı ve kolay hale getiriyor

Bir Amazon.com şirketi (NASDAQ: AMZN) olan Amazon Web Services (AWS), AWS re:Invent etkinliğinde, müşterilerin genel kullanıma açık popüler modelleri daha hızlı kullanmaya başlamalarına, eğitim verimliliğini en üst düzeye çıkarmalarına, maliyetleri düşürmelerine ve üretken yapay zeka (AI) modeli geliştirmeyi hızlandırmak için tercih ettikleri araçları kullanmalarına yardımcı olmak amacıyla Amazon SageMaker AI’da yaptıkları dört yeni inovasyonu duyurdu. Amazon SageMaker AI, tam olarak yönetilen altyapı, araçlar ve iş akışlarıyla her türlü kullanım durumu için yapay zeka modelleri oluşturmaya, eğitmeye ve dağıtmaya yardımcı olmak üzere yüz binlerce müşteri tarafından kullanılan uçtan uca bir hizmet.

• Amazon SageMaker HyperPod’a yapılan üç yeni ekleme, müşterilerin günümüzün en popüler genel kullanıma açık modellerinden bazılarını eğitmeye hızlı bir şekilde başlamalarını, esnek eğitim planlarıyla haftalarca süren model eğitim süresinden tasarruf etmelerini ve bilgi işlem kaynakları kullanımını en üst düzeye çıkararak maliyetleri yüzde 40’a kadar azaltmalarını sağlıyor.
• SageMaker müşterileri artık Comet, Deepchecks, Fiddler AI ve Lakera gibi AWS çözüm ortakları tarafından sunulan, tam olarak yönetilen üretken yapay zeka ve makine öğrenimi (ML) geliştirme uygulamalarını doğrudan SageMaker’ın içinde kolay ve güvenli bir şekilde deneyebiliyor, dağıtabilir ve kullanabiliyor; bu da onlara kendileri için en uygun araçları seçme esnekliği sağlıyor.
• Articul8, Commonwealth Bank of Australia, Fidelity, Hippocratic AI, Luma AI, NatWest, NinjaTech AI, OpenBabylon, Perplexity, Ping Identity, Salesforce ve Thomson Reuters, üretken yapay zeka modeli geliştirmeyi hızlandırmak için yeni SageMaker özelliklerini kullanan müşteriler arasında yer alıyor.

AWS AI/ML Servisleri ve Altyapısı Başkan Yardımcısı Dr. Baskar Sridharan, “AWS, her büyüklükteki kuruluşun yapay zeka ve makine öğrenimine erişebilmesi ve bunların kullanımını ölçeklendirebilmesi için yapay zeka modelleri oluşturma, eğitme ve dağıtma sürecini basitleştirmek amacıyla yedi yıl önce Amazon SageMaker’ı kullanıma sundu. Üretken yapay zekanın yükselişiyle birlikte SageMaker hızlı bir şekilde inovasyon yapmaya devam ediyor ve Intuit, Perplexity ve Rocket Mortgage gibi müşterilerin temel modelleri daha hızlı oluşturmasına yardımcı olmak için 2023’ten bu yana 140’tan fazla özelliği kullanıma sundu. Bugün yaptığımız duyurularla, müşterilerimize üretken yapay zeka iş yüklerini üretime geçirme hızlarını artırmalarına yardımcı olmak için mümkün olan en yüksek performanslı ve uygun maliyetli model geliştirme altyapısını sunuyoruz” dedi.

SageMaker HyperPod: Üretken yapay zeka modellerini eğitmek için tercih edilen altyapı

Üretken yapay zekanın ortaya çıkmasıyla makine öğrenimi modelleri oluşturma, eğitme ve dağıtma süreci önemli ölçüde zorlaştı çünkü bu teknoloji derin bir yapay zeka uzmanlığı, büyük miktarda veriye erişim ve büyük bilgi işlem kümelerinin oluşturulmasını ve yönetilmesini gerektiriyor. Ek olarak, müşterilerin zaman çizelgelerini ve maliyetleri yönetmeye çalışırken eğitimi kümeler arasında dağıtmak, modellerini sürekli olarak incelemek ve optimize etmek ve donanım sorunlarını manuel olarak düzeltmek için özel kod geliştirmeleri gerekiyor. Bu nedenle AWS, müşterilerin üretken yapay zeka modeli geliştirmeyi binlerce yapay zeka hızlandırıcısında verimli bir şekilde ölçeklendirmesine yardımcı olan ve temel modelleri eğitme süresini yüzde 40’a kadar azaltan SageMaker HyperPod’u oluşturdu. Writer, Luma AI ve Perplexity gibi önde gelen startup’ların yanı sıra Thomson Reuters ve Salesforce gibi büyük kuruluşlar, SageMaker HyperPod sayesinde model geliştirme sürecini hızlandırıyor. Amazon da yeni Amazon Nova modellerini eğitmek için SageMaker HyperPod’u kullanarak eğitim maliyetlerini düşürdü, eğitim altyapısının performansını iyileştirdi ve kümelerini kurmak ve uçtan uca süreci yönetmek için normalde aylarca sürecek olan manuel çalışmadan tasarruf etti.

Artık daha da fazla kuruluş, işletmelerini ve uygulamalarını üretken yapay zeka ile dönüştürmek için genel kullanıma açık popüler modellere ince ayar yapmak veya kendi özel modellerini eğitmek istiyor. Bu nedenle SageMaker HyperPod, müşterilerin bu modelleri büyük ölçekte oluşturmasını, eğitmesini ve dağıtmasını daha kolay, daha hızlı ve daha uygun maliyetli hale getirmek için inovasyon yapmaya devam ediyor:

• Yeni formüller müşterilerin daha hızlı başlangıç yapmasına yardımcı oluyor: Birçok müşteri, kuruluşlarının verileri kullanılarak belirli kullanım durumlarına göre özelleştirilebilen Llama ve Mistral gibi genel kullanıma açık popüler modellerden yararlanmak istiyor. Ancak eğitim performansını optimize etmek için farklı algoritmalarla denemeler yapmak, parametreleri dikkatli bir şekilde ayarlamak, eğitimin etkisini gözlemlemek, sorunları ayıklamak ve performans kıyaslamak gibi haftalarca süren yinelemeli testler yapmak gerekiyor. SageMaker HyperPod, müşterilerin dakikalar içinde başlamasına yardımcı olmak için Llama 3.2 90B, Llama 3.1 405B ve Mistral 8x22B gibi günümüzün en popüler genel kullanıma açık modellerinden bazıları için 30’dan fazla özel olarak hazırlanmış model eğitimi formülüne erişim sağlıyor. Bu formüller, eğitim veri kümelerini otomatik yükleyerek, dağıtılmış eğitim teknikleri uygulayarak ve sistemi verimli kontrol noktaları oluşturacak ve altyapı arızaları durumunda kurtarma sağlayacak şekilde yapılandırarak müşteriler için başlangıç sürecini büyük ölçüde basitleştiriyor. Bu, tüm beceri seviyelerinden müşterilerin AWS altyapısında model eğitimi için en başından itibaren daha iyi fiyat performansı elde etmelerini sağlayarak haftalarca süren yinelemeli değerlendirme ve test sürecini ortadan kaldırıyor. Müşteriler, SageMaker GitHub kütüphanesi aracılığıyla mevcut eğitim formüllerine göz atabiliyor, kendi ihtiyaçlarına göre parametreleri ayarlayabiliyor ve dakikalar içinde dağıtım yapabiliyor. Ayrıca müşteriler tek satırlık basit bir düzenlemeyle fiyat performansını daha da optimize etmek için GPU veya Trainium tabanlı bulut sunucular arasında sorunsuz bir şekilde geçiş yapabiliyor.

Salesforce’taki araştırmacılar, altyapı konusunda endişelenmek zorunda kalmadan veya eğitim yığınlarını her yeni model için optimize etmeye haftalar harcamadan temel model eğitimine ve ince ayar yapmaya hızlı bir şekilde başlamanın yollarını arıyorlardı. Amazon SageMaker HyperPod formülleri sayesinde temel modelleri özelleştirirken hızlı prototip oluşturma işlemi gerçekleştirebiliyorlar. Şimdi Salesforce’un Yapay Zeka Araştırma ekipleri, çeşitli ön eğitim ve ince ayar formülleriyle dakikalar içinde çalışmaya başlayabiliyor ve temel modelleri yüksek performansla kullanıma hazır hale getirebiliyor.

• Esnek eğitim planları, eğitim sürelerini ve bütçelerini karşılamayı kolaylaştırıyor: Altyapı inovasyonları maliyetlerin düşürülmesine ve müşterilerin modelleri daha verimli bir şekilde eğitmesine yardımcı olsa da müşterilerin yine de eğitim görevlerini zamanında ve bütçe dahilinde tamamlamak için gereken bilgi işlem kapasitesini planlamaları ve yönetmeleri gerekiyor. Bu nedenle AWS, SageMaker HyperPod için esnek eğitim planlarını kullanıma sunuyor. Müşteriler, birkaç tıklamayla istedikleri tamamlanma tarihini ve ihtiyaç duydukları en yüksek bilgi işlem kaynağı miktarını belirleyebiliyor. Bunun üzerine SageMaker HyperPod otomatik olarak kapasite ayırıyor, kümeler kuruyor ve model eğitimi için işler oluşturuyor, böylece müşteri ekiplerine haftalarca süre kazandırıyor. Bu, müşterilerin model geliştirme görevlerini tamamlamak için büyük bilgi işlem kümeleri edinmeye çalışırken karşılaştıkları belirsizliği azaltıyor. Önerilen eğitim planının belirtilen zaman, bütçe veya bilgi işlem gereksinimlerini karşılamadığı durumlarda SageMaker HyperPod, tarih aralığını genişletmek, daha fazla bilgi işlem eklemek veya eğitimi farklı bir AWS Bölgesinde yürütmek gibi alternatif planlar öneriyor. Plan onaylandıktan sonra SageMaker altyapıyı otomatik olarak tedarik ediyor ve eğitim işlerini yürütüyor. SageMaker, eğitim işini zamanında tamamlamak için gereken doğru miktarda hızlandırılmış bilgi işlem bulut sunucusunu ayırmak için Amazon Elastic Compute Cloud (EC2) Capacity Blocks kullanıyor. SageMaker HyperPod, bu kapasite bloklarının ne zaman kullanılabilir olduğuna bağlı olarak eğitim işlerini verimli bir şekilde duraklatıp devam ettirerek müşterilerin işi zamanında tamamlamak için ihtiyaç duydukları bilgi işlem kaynaklarına manuel olarak müdahale etmelerine gerek kalmadan erişmelerine yardımcı oluyor.

Hippocratic AI, sağlık hizmetleri için güvenlik odaklı büyük dil modelleri (LLM’ler) geliştiriyor. Hippocratic AI, birçok modelini eğitmek için SageMaker HyperPod esnek eğitim planlarını kullanarak eğitim görevlerini zamanında tamamlamak için ihtiyaç duydukları hızlandırılmış bilgi işlem kaynaklarına erişim sağladı. Bu, model eğitim hızlarını 4 kat artırmalarına ve çözümlerini yüzlerce kullanım durumunu kapsayacak şekilde daha verimli bir şekilde ölçeklendirmelerine yardımcı oldu.

Az temsil edilen diller için LLM’leri özelleştiren bir yapay zeka şirketi olan OpenBabylon’daki geliştiriciler ve veri bilimcileri, büyük ölçekli deneyler yürütmek üzere GPU kaynaklarına erişimlerini kolaylaştırmak için SageMaker HyperPod esnek eğitim planlarını kullanıyor. Şirket, SageMaker HyperPod’u kullanarak 100 büyük ölçekli model eğitimi deneyi gerçekleştirdi ve bu deneyler sayesinde İngilizce’den Ukraynaca’ya çeviride en gelişmiş sonuçları sağlayan bir model oluşturdu. OpenBabylon, SageMaker HyperPod sayesinde bu atılımı zamanında gerçekleştirmeyi başardı ve maliyetleri etkili bir şekilde yönetti.

• Görev yönetimi, hızlandırıcı kullanımını en üst düzeye çıkarıyor: Kuruluşlar, model eğitimi için giderek daha büyük miktarlarda hızlandırılmış bilgi işlem kapasitesi istiyor. Ancak bu bilgi işlem kaynakları pahalı ve sınırlı olduğundan, müşterilerin bilgi işlem kaynaklarının en kritik model geliştirme görevleri için önceliklendirilmesini sağlamak ve herhangi bir israf veya yetersiz kullanımdan kaçınmak için kaynak kullanımını yönetecek bir yönteme ihtiyaçları var. Görev önceliklendirmesi ve kaynak tahsisi uygun kontrol edilmediğinde bazı projeler kaynak yetersizliği nedeniyle dururken bazıları da kaynakların atıl kalmasına neden oluyor. Bu durum, veri bilimciler ilerleme kaydetmek için mücadele ederken, kaynak tahsisini sürekli olarak yeniden planlaması gereken yöneticiler için önemli bir yük oluşturuyor. Bu da kuruluşların yapay zeka inovasyonlarını pazara hızlı bir şekilde sunmasını engelliyor ve maliyet aşımlarına yol açıyor. SageMaker HyperPod görev yönetimi ile müşteriler, model eğitimi, ince ayar ve çıkarım için hızlandırıcı kullanımını en üst düzeye çıkarabiliyor ve model geliştirme maliyetlerini yüzde 40’a kadar azaltabiliyor. Müşteriler, birkaç tıklamayla farklı görevler için öncelikleri kolayca tanımlayabiliyor ve her ekibin veya projenin kullanabileceği bilgi işlem kaynağı sayısı için sınır belirleyebiliyor. Müşteriler farklı ekipler ve projeler için sınır belirledikten sonra, SageMaker HyperPod ilgili kaynakları tahsis ediyor ve en kritik işlere öncelik verilmesini sağlamak için görev sıralamasını otomatik olarak yönetiyor. Örneğin, bir müşterinin müşteriye yönelik bir hizmeti destekleyen bir çıkarım görevi için acilen daha fazla bilgi işlem ihtiyacı varsa ancak tüm bilgi işlem kaynakları kullanımdaysa SageMaker HyperPod, acil çıkarım görevinin ihtiyacı olan kaynakları almasını sağlamak için az kullanılan veya acil olmayan görevlere atanan bilgi işlem kaynaklarını otomatik olarak serbest bırakıyor. Böyle bir durumda SageMaker HyperPod, acil olmayan görevleri otomatik olarak duraklatıyor, tamamlanan işlerin bozulmaması için kontrol noktasını kaydediyor ve daha fazla kaynak kullanılabilir olduğunda görevi otomatik olarak son kaydedilen kontrol noktasından devam ettirerek müşterilerin bilgi işlemden en iyi şekilde yararlanmalarını sağlıyor.

İşletmelerin kendi üretken yapay zeka uygulamalarını oluşturmalarına yardımcı olan hızla büyüyen bir startup olan Articul8 AI’ın, kaynaklarını mümkün olduğunca verimli bir şekilde tahsis etmek için bilgi işlem ortamını sürekli olarak optimize etmesi gerekiyor. SageMaker HyperPod’un yeni görev yönetimi özelliğini kullanan şirket, GPU kullanımında önemli bir iyileşme elde etti, bu da boşta kalma süresinin azalmasını ve uçtan uca model geliştirmenin hızlanmasını sağladı. Kaynakları otomatik olarak yüksek öncelikli görevlere kaydırma yeteneği, ekibin üretkenliğini artırarak yeni üretken yapay zeka inovasyonlarını pazara daha hızlı sunmalarına olanak tanıdı.

SageMaker’daki AWS Çözüm Ortakları tarafından sunulan popüler yapay zeka uygulamalarını kullanarak model geliştirme ve dağıtımını hızlandırın

Birçok müşteri, deneyleri izleme ve yönetme, model kalitesini değerlendirme, performansı izleme ve bir yapay zeka uygulamasının güvenliğini sağlama gibi özel görevleri yürütmek için SageMaker AI ile birlikte sınıfının en iyisi üretken yapay zeka ve makine öğrenimi model geliştirme araçlarını kullanıyor. Ancak, popüler yapay zeka uygulamalarını bir ekibin iş akışına entegre etmek zaman alıcı ve çok adımlı bir süreç. Bu süreç, doğru çözümü aranmasını, güvenlik ve uyumluluk değerlendirmelerinin yapılmasını, birden çok araçta veri erişiminin izlenmesini, gerekli altyapının sağlanmasını ve yönetilmesini, veri entegrasyonlarının oluşturulmasını ve yönetişim gerekliliklerinin uygulandığının doğrulanmasını içeriyor. AWS, müşterilerin özel yapay zeka uygulamalarının gücünü Amazon SageMaker’ın yönetilen özellikleri ve güvenliğiyle birleştirmelerini kolaylaştırıyor. Bu yeni özellik, Comet, Deepchecks, Fiddler ve Lakera Guard gibi önde gelen çözüm ortaklarının sınıfının en iyisi üretken yapay zeka ve makine öğrenimi geliştirme uygulamalarını doğrudan SageMaker içinde denemeyi, dağıtmayı ve kullanmayı kolaylaştırarak müşteriler için engelleri ve zorlukları ortadan kaldırıyor.

SageMaker, çeşitli üretken yapay zeka ve makine öğrenimi geliştirme görevleri için çözüm ortaklarının tam olarak yönetilen ve güvenli uygulamalarını sunan ilk hizmet. Bu, müşterilere model oluştururken, eğitirken ve dağıtırken daha da fazla esneklik ve kontrol sağlamanın yanı sıra yapay zeka uygulamalarını devreye alma süresini aylardan haftalara indiriyor. Her çözüm ortağı uygulaması SageMaker tarafından tam olarak yönetiliyor, böylece müşterilerin uygulamayı kurmalarına veya yeterli kapasite olduğundan emin olmak için sürekli izlemelerine gerek kalmıyor. Bu uygulamaların doğrudan SageMaker’dan erişilebilir hale gelmesiyle müşterilerin artık verileri güvenli AWS ortamlarının dışına taşımalarına gerek kalmıyor ve arayüzler arasında geçiş yapmak için harcanan zamanı azaltabiliyorlar. Başlamak için müşterilerin Amazon SageMaker Çözüm Ortağı Yapay Zeka uygulamaları kataloğuna göz atarak kullanmak istedikleri uygulamaların özellikleri, kullanıcı deneyimi ve fiyatlandırması hakkında bilgi edinmeleri yeterli. Daha sonra uygulamaları kolayca seçip dağıtabiliyor ve AWS Kimlik ve Erişim Yönetimi (IAM, Identity and Access Management) servisini kullanarak tüm ekip için erişimi yönetebiliyorlar.

Amazon SageMaker, Ping Identity’nin kendi geliştirdiği yapay zeka ve makine öğrenimi altyapısının geliştirilmesinde ve işletilmesinde de önemli bir rol oynuyor. SageMaker’daki çözüm ortağı yapay zeka uygulamaları sayesinde Ping Identity, müşterilerine özel ve tam olarak yönetilen bir hizmet olarak daha hızlı, daha etkili makine öğrenimi destekli işlevler sunabilecek ve operasyonel iş yükünü azaltırken katı güvenlik ve gizlilik gereksinimlerini destekleyebilecek.