İçeriğe geç
Yapay Zekâ Laboratuvarı

Sahaya çıkardığımız sistemlerin ardındaki yöntemler

Algı, dizi modelleme, dil, ses ve cihaz üstü optimizasyon alanlarında uygulamalı araştırma: bir grafik yayımlamak için değil, bir modeli müşterinin donanımına yerleştirip orada dürüst tutmak için yapılıyor. Bu sayfa, gerçekte neyle inşa ettiğimizin sözlüğüdür.

  • Çalışma zamanıC++ · CUDA · TensorRT · ONNX Runtime
  • HedeflerJetson sınıfı uç · iş istasyonu · hava soğutmalı rack
  • DisiplinHer terfiden önce held-out değerlendirme
  • SahiplikAğırlıklar, kod ve değerlendirmeler müşteride kalır
AMİRAL PROGRAM

Yerinde endüstriyel yapay zekâ: silikondan yanıta

Laboratuvarın öncü programı, tamamen müşterinin binası içinde çalışan gizlilik öncelikli bir tanı yığını: yerel modeller, doğrulanmış eğitim dünyaları, deterministik kontrol ve bir uç hızlandırma hattı; ölçüm-önce geliştirilir.

Deterministik çalışma zamanı kontrolü

Deterministik kontrolün küçük yapay zekâ ajanları için neyi yapıp neyi yapamayacağı üzerine araştırma: sınırlı adımlar, dürüst çekimserliğin doğru yanıt sayıldığı kapalı sözlükler ve tanık isteyen iddialar.

Yerel model çıkarım yığını

Açık ağırlıklı modeller, sıradan donanımda nicemlenip servis edilir; endüstriyel kök neden analizi için ince ayarlanır ki tesisin telemetrisi tesisten çıkmasın.

Doğrulanmış zemin gerçekli eğitim dünyaları

Gerçek arıza etiketli rüzgâr ve güneş telemetri arşivlerini ve fizik temelli sentetik tesisleri, yanıtları denetlenebilir eğitim ve değerlendirme dünyalarına çeviren bir veri motoru.

Uç hızlandırma programı

Standart bir endüstriyel bilgisayarın yanında durmak üzere tasarlanmış, yüksek verimli vektör erişimi ile gerçek zamanlı kayma ve anomali izleme için bir uç yardımcı işlemci hattı.

Her yetenek iddiası, yayınlanmadan önce dondurulmuş eşikli ön kayıtlı bir değerlendirmeden geçer; akış izleme matematiği gerçek kuantum donanımı ölçüm verisiyle doğrulandı. Kontrol çalışması üzerine bir araştırma makalesi hazırlanıyor: sonuçlar önce açık ön baskı olarak yayımlanacak, ardından hakemli değerlendirmeye sunulacak; olumsuz bulgular da dahil.

Portföyde tanı yığını
01
Bilgisayarlı görü ve 3D algı

Derinlik, geometri ve bir kameranın bildiğine ne kadar güvenilebileceği

Tek bir lensten kalibre edilmiş bir düzeneğe kadar iş, pikselleri metrik yapıya çevirmek ve sonra bu yapının ne kadarına inanılacağına karar vermektir.

Monoküler metrik derinlik
Tek kameradan piksel başına yoğun derinlik; sahneye özgü çekimlerle ince ayarlanır ve bilinen geometriye karşı ölçek çıpası atılır, böylece çıktı göreli birimlerde değil metre cinsinden olur.
Stereo ve çok görüşlü geometri
Kalibre düzenekler için rektifikasyon, semi-global matching ve öğrenilmiş cost-volume stereosu; düzeneğin kendisi hareketli bir kamera olduğunda bundle adjustment ve structure-from-motion.
Nokta bulutu işleme
LiDAR ve derinlik sensörü verileri için voksel seyreltme, RANSAC ile zemin düzlemi oturtma, Öklid kümeleme ve seyrek konvolüsyon omurgaları; simüle edilmiş sahnelere karşı referans doğrulama da buna dâhil.
Kuş bakışı füzyon
Kamera özniteliklerini yukarıdan aşağı bir ızgaraya taşıyıp menzil sensörleriyle birleştirmek; böylece doluluk, boş alan ve şerit düzeyindeki yapı bir devir teslim zincirinden değil tek bir temsilden gelir.
Belirsizlik ve kalibrasyon
Piksel başına güven başlıkları, sıcaklık ölçekleme ve konformal eşikler; böylece aşağı akıştaki bir kural, modelin kendisinin güvenmediği derinliğe dayanarak hareket etmeyi reddedebilir.
02
Dizi modelleri ve tahminleme

Zaman serileri, yineleme ve öğrenerek büyüdüğümüz modellerin yerini alanlar

Sensör akışları, satış geçmişleri ve olay kayıtları her şeyden önce birer dizidir. Mimariyi verinin biçimine ve cihazın bütçesine göre seçeriz; moda olana göre değil.

xLSTM (sLSTM / mLSTM)
Üstel kapılama ve matris bellekle genişletilmiş LSTM hücreleri: transformer'ların uzun bağlam başarımını doğrusal maliyetle geri kazanan yinelemeli modeller; model bir uç kutuda aylarca çalışacaksa bu belirleyici olur.
Durum-uzayı modelleri
Dikkat mekanizmasının karesel belleğinin darboğaz, sabit gecikmeli yinelemeli taramanın ise gereklilik olduğu çok uzun sensör dizileri için seçici durum-uzayı katmanları (Mamba ailesi).
Zamansal konvolüsyon
Yüksek hızlı sinyaller için artık bloklarla kurulan genişletilmiş (dilated) nedensel konvolüsyonlar: her karşılaştırmada yanımızda tuttuğumuz kararlı ve yorumlanabilir temel çizgi; daha gösterişli bir modelin onu yenmesi şarttır.
Olasılıksal tahminleme
Nicelik başlıkları, konformal tahmin aralıkları ve mevsimsel-naif temel çizgilere karşı beceri skorları; böylece bir tahmin, kendi belirsizliğinin genişliğiyle ve geçen haftaya yeğlenmek için bir gerekçeyle birlikte teslim edilir.
Akışlarda anomali tespiti
Telemetri pencereleri üzerinde yeniden oluşturma hatası ve yoğunluk modelleri; olay kümeli değerlendirmeyle, uzun süren tek bir arıza bir kez sayılır ve yanlış alarmlar makine-ay başına raporlanır.
03
Doğal dil ve bilgi getirimi

Binadan hiç çıkmayan belgeler üzerinde çalıştırılan dil modelleri

İlginç problemler modelin kendisi değil, etrafındaki her şey: kaynak gösteren getirim, sınırları çizilmiş üretim ve kaymayı kullanıcıdan önce yakalayan değerlendirme.

Getirimle desteklenmiş üretim
Çapraz kodlayıcı yeniden sıralayıcıyla birlikte hibrit yoğun-artı-seyrek getirim (gömme benzerliği ve BM25); parçalara bölünür, böylece her yanıt geldiği pasajı ve okuyucunun açabileceği bir atfı taşır.
Gömmeler ve vektör indeksleri
Müşterinin kendi söz dağarcığı için ince ayarlanmış gömme modelleri; yerel donanımda HNSW veya IVF-PQ ile indekslenir ve geri getirme başarımı varsayılmaz, etiketli bir sorgu kümesine karşı ölçülür.
Yapılandırılmış bilgi çıkarımı
Tipli şemalara karşı kısıtlı kod çözme: sözleşmeler, faturalar ve formlar doğrulanmış kayıtlara dönüşür; modelin çekimser kalışları bir kusur değil, bir özellik olarak sayılır.
Sınırları çizilmiş ajan koşumları
İzin listesiyle sınırlanmış eylemleri, bir bütçesi, her çağrının izi ve sonuç doğuran her adımdan önce bir insan onayı kapısı olan araç kullanan ajanlar: ürün koşum takımının kendisidir, model yalnızca bir bileşendir.
Değerlendirme ve kayma
Altın soru kümeleri, sadakat ve atıf kesinliği puanlaması, ayrıca her model veya indeks değişikliğinde çalışan regresyon kapıları; böylece sessiz bir bozulma başarısız bir denetim olarak ortaya çıkar.
04
Ses ve sinyal işleme

Konuşma ve ses, önce sinyal sonra dil olarak

Telefon hattındaki ses ile bir rulmandaki titreşim aynı disiplindir: modelin ne göreceğine karar veren ön uç sinyal işleme.

Akış hâlinde konuşma tanıma
Telefon bant genişliğine göre ayarlanmış ses etkinliği tespiti ve konuşma sonu kestirimiyle parçalı, düşük gecikmeli deşifre; yerel donanımda çalışır, böylece ses ağ sınırını hiç geçmez.
Konuşmacı ve olay tespiti
Kimin ne söylediği için diyarizasyon, ayrıca akustik olay sınıflandırma (düşen bir tepsi, bir alarm, perde değiştiren bir makine), log-mel ve constant-Q temsillerinden.
Mertebe takibi ve spektral öznitelikler
Titreşimi milin dönüşüne göre yeniden örnekleyerek rulman ve dişli imzalarının sabit mertebelerde oturmasını sağlamak; düz bir FFT'nin gizlediği arızalar için zarf spektrumları ve kurtogramlar.
Öz-denetimli ses ön eğitimi
Müşterinin kendi sahasından gelen etiketsiz kayıtlar üzerinde karşıtsal ve maskeli-tahmin ön eğitimi; böylece aşağı akıştaki sınıflandırıcı bir avuç etiketten değil, saatlerce bağlamdan öğrenir.
Metinden konuşmaya ve diyalog gecikmesi
Saniyenin altında sıra devriyle akış hâlinde sentez; arayanın son sözünden ilk duyulabilir yanıta kadar uçtan uca ölçülür ve çağrıyı barındıran donanımın üzerinde çalışır.
05
C++ ile gerçek zamanlı takip

Kare bütçesinin şartname olduğu çoklu nesne takibi

Tespit kolay olan yarısı. Kimlikleri kapanmalar boyunca, kameralar arasında ve bir gecelik görüntü boyunca sabit bir milisaniye bütçesi içinde korumak: mühendislik orada.

Tespite dayalı takip
IoU ve görünüm maliyeti üzerinde Macar atamasıyla Kalman süzgeçli hareket modelleri, ByteTrack tarzı düşük skorlu kurtarma ve genel değil kamera başına ayarlanan iz yaşam döngüsü kuralları.
Yeniden kimliklendirme ve görünüm gömmeleri
Aynı nesneyi boşluklar ve kameralar arasında eşleştirmek için derli toplu gömme ağları; bir eşleşmenin birleştirmeye yetecek kadar güvenli olmadığı durumlar için açık bir politikayla.
Sensör füzyonu
Kamera, LiDAR ve radar, ortak durum ve zaman hizalamasıyla iz düzeyinde birleştirilir; böylece bir sensörün kaybettiği hedef yeniden doğmak yerine bir diğeri tarafından taşınır.
Sıfır kopyalı hatlar
Kod çözmeden çıkarıma ve bindirmeye kadar kareleri GPU'da tutan GStreamer ve DeepStream grafikleri (ana belleğe gidiş dönüş yok). Akış başına gecikme üretimde keşfedilmez, tasarımda hesaplanır.
Belirlenimci C++ çalışma zamanları
Önceden ayrılmış tamponlar, kilitsiz kuyruklar ve sabitlenmiş bellek; Nsight ile profillenip sanitizer'lı derlemelerle denetlenir, çünkü saatte bir duraklayan bir takipçi takipçi değildir.
06
Uçta yapay zekâ ve gömülü dağıtım

Bir modeli yaşamak zorunda olduğu kutuya sığdırmak

Bir model eğitildiğinde bitmez; cihazın ısıl, bellek ve gecikme zarfı içinde, gözetimsiz, yıllarca çalıştığında biter.

Jetson sınıfı dağıtım
Cihaz ve hassasiyet başına derlenen TensorRT motorları, kazandırdığı yerde DLA'ya yük aktarma, veri sayfasına değil ölçülmüş bir ısıl bütçeye göre seçilen güç modu ve saat profilleri.
Donanım farkındalıklı mimari arama
Omurgaların ve girdi çözünürlüklerinin kâğıt üstündeki FLOPs değerine göre değil hedefte ölçülen gecikmeye göre seçilmesi; gerçek silikondan çıkarılmış bir gecikme arama tablosuyla.
Mühürlü cihazlar
Salt okunur kök dosya sistemleri, imzalı imajlar, bekçi köpekleri ve çevrimdışı çalışabilme; böylece müşteri, ağ çalışmadığında da çalışmayı sürdüren bir cihaza sahip olur.
Saha telemetrisi ve kayma izleyicileri
Girdi dağılımı ve güven histogramları ham kare olarak değil özet olarak gönderilir; böylece kamerayı görmeden bir kameranın kalibrasyondan çıktığını görebiliriz.
Güvenli güncellemeler
A/B bölümleriyle kademeli yayımlar ve başarısız bir sağlık denetiminde otomatik geri alma: model güncellemesi bir dağıtımdır ve dağıtımın disiplinine tabidir.

Optimizasyon tezgâhı

Sahaya çıkardığımız her model aynı beş istasyondan geçer. Sıra önemlidir: hiçbir şey profillenmeden nicelenmez ve held-out bir değerlendirme sıkıştırılmış modelin işi hâlâ yaptığını söylemeden hiçbir şey terfi etmez.

01

Profille

Gerçek hedef üzerinde, gerçek girdi dağılımı altında katman düzeyinde gecikme ve bellek; ısıl durum da yanına kaydedilerek.

  • Nsight
  • katman başına gecikme
  • ısıl zarf
02

Buda ve damıt

Kanalların ve başlıkların yapılandırılmış budanması, ardından tam modelden küçük modele bilgi damıtma; böylece kapasite, profilin boşta dediği yerden kaldırılır.

  • yapılandırılmış budama
  • damıtma
  • LoRA birleştirme
03

Nicele

Önce temsilî kalibrasyon verisiyle eğitim sonrası niceleme; niceleme farkındalıklı eğitim yalnızca INT8 veya FP8 kullanımının değerlendirmenin affetmeyeceği bir doğruluk bedeli çıkardığı yerde.

  • INT8 / FP8
  • PTQ → QAT
  • kalibrasyon kümeleri
04

Derle

Cihaz ve hassasiyet başına graf füzyonu, operatör seçimi ve motor derlemesi: ONNX'ten TensorRT'ye ya da hedefte hiç GPU yoksa derlenmiş bir çalışma zamanına.

  • TensorRT
  • ONNX Runtime
  • çekirdek füzyonu
05

Doğrula

Sıkıştırılmış model, olay kümeli ve taban oranına göre düzeltilmiş tam held-out değerlendirmeyi yeniden koşar; herhangi bir yerdeki gerileme onu bir istasyon geri gönderir.

  • held-out değerlendirme
  • regresyon kapısı
  • imzalı yapıt

Yöntemleri yayımlarız. Sayılar sizin değerlendirme paketinizde, sizin donanımınızda, yeniden koşabileceğiniz yerde yaşar.

Laboratuvar nasıl çalışır

Yenilikten önce temel çizgiler

Her deney sıkıcı temel çizgiyi de içerir: mevsimsel-naif, doğrusal bir model, geçen yılın mimarisi. Yeni bir yöntem ancak tohumlar boyunca held-out veride temel çizgiyi yendiğinde ve ortalama ile yayılımı birlikte raporlandığında sahaya çıkar.

Ön kayıtlı değerlendirme

Eşikler, metrikler ve geçme tanımı koşudan önce yazılır. Sonradan kuralların değişmesini gerektiren bir sonuç, bir başarı değil kurallar hakkında bir bulgudur.

Gerçeğin pahalı olduğu yerde sentetik

Simüle sahneler, üretilmiş sensör verileri ve türetilmiş uç durumlar, gerçek verinin dolduramadığı boşlukları kapatır ve her sentetik sonuç sayılmadan önce gerçek bir kayıtla doğrulanır.

Müşteriye ait yapıtlar

Ağırlıklar, eğitim kodu, değerlendirme koşum takımları ve izler müşterinin depolarına ve donanımına teslim edilir. Yöntem bizde kalır; ürettiği her şey sizde.

Laboratuvara sorulan sorular

Makale veya kıyaslama yayımlıyor musunuz?

Yöntemleri yayımlarız; müşteri onay verdiğinde ara sıra bir yazı da. Bu sitede doğruluk sayıları yayımlamayız: sahibi olmadığımız veriye bağlıdırlar ve değerlendirme protokolü olmayan bir sayı pazarlamadır.

Mevcut modellerimiz ve verimizle çalışabilir misiniz?

Genellikle evet. İlk adım, elinizdekinin etrafına bir değerlendirme koşum takımı kurmaktır (ikimizin de güvenebileceği bir temel çizgi). Neyin değişeceğine dair öneri ancak ondan sonra gelir.

Hangi donanımı hedefliyorsunuz?

Sistemin üzerinde yaşamak zorunda olduğu her neyse: Jetson sınıfı uç cihazlar, iş istasyonu GPU'ları, hava soğutmalı rack'ler ve GPU'nun bulunmadığı yerde derlenmiş CPU çalışma zamanları. Optimizasyon tezgâhı, aynı modelin her birine dürüstçe sığdırılabilmesi için var.

Son güncelleme:

Soyut bir desen oluşturan koyu renkli içi boş metal silindirler

Laboratuvara bir problem getirin

Sinyali, cihazı ve desteklemesi gereken kararı anlatın. Bu yöntemlerden hangilerinin geçerli olduğunu, bir temel çizginin neye benzeyeceğini ve önce neyi ölçmek isteyeceğimizi size söyleriz.

Laboratuvarla konuşun