date/vreme: 25/11/2024, 13h
venue/mesto: NTP, Konferencijska sala 2 (prizemlje)
Speaker / Predavač
Dr. Sasa Misailovic, Associate Professor, University of Illinois at Urbana-Champaign
https://misailo.cs.illinois.edu/ (home page)
Title / Naslov:
Programski sistemi za pouzdanost i efikasnost aplikacija veštačke inteligencije
Abstract / Sažetak:
Razvoj sistema veštačke inteligencije (VI) otvara velike mogućnosti za nove aplikacije. Pouzdanost (trustworthyness) i efikasnost (efficiency) VI sistema je od ključne važnosti da budu prihvaćeni i da ne prouzrokuju materijalnu štetu i naškode ljudima. Za potvrdu svojstava pouzdanosti – kao što su robustnost, pravičnost, ili odsustvo sistemskih predrasuda, sistemi za verifikaciju pružaju različite garancije. Za poboljšanje efikasnosti VI sistema, uključujući smanjenu latenciju i potrošnju energije, nova generacija kompajlera za tenzorske aplikacije automatski primenjuje optimizacije koje iskorišćavaju hardverske karakteristike sistema. Dodanto, specijalne optimizacije smanjuju veličinu neuralnih mreža, da bi poboljšali njihovu brzinu ili nivo tačnosti pomoću tehnika kao što su kvantizacija (quantization), orezivanje (pruning), fino podešavanje (fine tuning), ili popravka (repair). Podrška za sve ove osobine istovremeno, zahteva nove programske sisteme koji će automatizovati proveru i optimizaciju VI aplikacija.
U ovom predavanju prikazaćemo nekoliko tehnika iz našeg istraživanja:
1) Verifikacija osobina pouzdanosti je veoma aktivna oblast istraživanja i moderne tehnike mogu da verifikuju značajno veće DNN-ove nego ranije. Međutim, ove tehnike su i dalje ne-efikasne kada programeri menjaju težine neurona u mreži ili pojedine delove arhitekture mreže posle treninga. Kada se optimizacije primene na DNN-ove, konvencionalna verifikacija je neefikasna jer programeri moraju posle svake promene DNN-a ponovo da pokrenu računski skupu verifikaciju od početka. Opisaću naše sisteme za pouzdanost omogućavaju inkrementalnu DNN verifikaciju koje sinergistički koriste tehnike iz mašinskog učenja, programskih jezika i formalnih metoda.
2) Da bi se poboljšala efikasnost sistema za VI, brojne optimizacije se mogu primeniti na često korišće ne operatore, kao što su množenja matrica ili konvolucije. Ove optimizacije na primer menjaju redosled petlji, izvršavaju operacije u drugačijem redosledu, ili spajaju kod više operatora da bi maksimalno iskoristili osobine hardera. Prikazaćemo primere nekih optimizacija i naše nove optimizacione sisteme koje koriste metode pretrage gradijentnog spusta da efikasno nađu najbolje kombinacije optimizacija. Naši algoritmi relaksiraju problem pretrage koji je suštinski diskretan u kontinualan problem na originalan način i pokazuju da je takva pretraga moguća i na neuralnim mrežama za vizuelne zadatke (CNN) i za obradu jezika (LLM).
Konačno, osvrnućemo se na buduće trendove za uspostvaljanje poverenja u veštačku inteligenciju. Ostvarenje tog cilja zahtevaće kreativno kombinovanje teorija iz matematičke analize, verovatnoće i diskretne matematike sa efikasnim programskim sistemima i hardverom da odgovore složenosti budućih VI aplikacija.
Stil predavanja će biti dostupan studentima druge i viših godina osnovnih studija, kao i master studentima.
Biografija. Saša Misailović je vanredni profesor na Školi za Computing and Data Science Univerziteta Ilinois Urbana-Šempejn (UIUC) i šef katedre za Programske jezike, formalne metode i softversko inženjerstvo (PLFMSE). Osnovne i master studije završio je na ETF Beograd, a doktorat na MIT. Jednu godinu post-doktorskog treninga je proveo na ETH u Cirihu a jedan sabatikal na Univerzitetu Teksas u Ostinu. Do sada je objavio preko osamdeset radova na prestižnim konferencijama iz programskih jezika (PLDI, POPL, OOPSLA, ASPLOS, PPOPP, ESOP, ECOOP, CGO, SAS), softverskog inženjerstva (FSE, ICSE, ISSTA, ICST), mašinskog učenja (ICLR, MLSYS, UAI), formalnih metoda (CAV, ATVA, RV), računarske arhitekture (HPCA), i sistema u realnom vremenu (DAC, DATE, EMSOFT).