Takip et

FastFlowLM/FastFlowLM – Ryzen NPU’da LLM Çalıştırma

Bu proje, büyük dil modellerini (LLM) AMD Ryzen işlemcilerin NPU’larında (Sinir İşleme Birimleri) GPU’ya ihtiyaç duymadan çalıştırmayı sağlar.

Ryzen NPU’da LLM Çalıştırma

Ryzen NPU'da LLM Çalıştırma

Bu proje, büyük dil modellerini (LLM) AMD Ryzen işlemcilerin NPU’larında (Sinir İşleme Birimleri) GPU’ya ihtiyaç duymadan çalıştırmayı sağlar. Maliyetli grafik kartlarına bağımlılığı azaltarak LLM’lerin daha erişilebilir ve enerji verimli bir şekilde dağıtılmasına olanak tanır. Özellikle yerel cihazlarda veya düşük maliyetli donanımlarda yapay zeka modelleri çalıştırmak isteyen geliştiriciler ve araştırmacılar için tasarlanmıştır. Yapay zeka uygulamalarının donanım gereksinimlerini optimize etmeyi hedefler.

GitHub: https://github.com/FastFlowLM/FastFlowLM

Yorumlar
İçeriği beğendiniz mi? Bir tartışma başlatın veya görüşlerinizi paylaşın.
Yorum Yaz

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

E-posta Bülteni
Yazılım Topluluğuna Katılın
En son güncellemeleri, yaratıcı ipuçlarını ve özel kaynakları doğrudan e-posta kutunuza alın. Tasarım ve inovasyonun geleceğini birlikte keşfedelim.