Materijali za Primjenu paralelnih računala (informacija)

[venovako]

http://web.math.hr/~singer/num_alg/num_anal.pdf

[venovako]

Predavanja prof. Demmela:
http://www.cs.berkeley.edu/~demmel/

Ponešto predavanja na hrvatskom:
http://www.fsb.hr/ssinger/

I, naravno, MPI i OpenMP standardi.

[venovako]

Izbor iz CUDA literature:

David B. Kirk and Wen-mei W. Hwu.
Programming Massively Parallel Processors
A Hands-on Approach.
Morgan Kaufmann, 2009.

Wen-mei W. Hwu (Ed.).
GPU Computing Gems
Emerald Edition.
Morgan Kaufmann, 2011.

Jason Sanders and Edward Kandrot.
CUDA by Example
An Introduction to General-Purpose GPU Programming.
Addison-Wesley (Pearson Education), 2010.

[mhaberl]

[venovako]

Thnx, mhaberl, "živa" predavanja su katkad brži način od probijanja kroz knjige.

Usput, korisno je pogledati i Forum (CUDA dio) za novosti i savjete oko (nažalost, ne baš rijetkih) problema.

[venovako]

Mali update sa sličnim (ali ne baš istim) linkom kao mhaberl:
http://developer.nvidia.com/cuda-training

[venovako]

Slajdovi sa zadnjih vježbi i ponešto primjera za sljedeće:
http://titan.fsb.hr/~venovako/nastava/PMF-MO/ParAlg12/2/CUDA

[venovako]

Za one koji žele dobiti kakvu-takvu predodžbu o (ne)ovisnosti streamova, materijali s webinara:

http://developer.download.nvidia.com/CUDA/training/StreamsAndConcurrencyWebinar.pdf
http://developer.download.nvidia.com/CUDA/training/StreamsAndConcurrency_Jan_2012.mp4

P.S. Primjer s današnjih vježbi je na "očekivanom" mjestu:
http://titan.fsb.hr/~venovako/nastava/PMF-MO/ParAlg12/2/CUDA/fro.cu

[venovako]

Mali podsjetnik da postoji jedan beskrajno jednostavan i koristan alat za provjeru tipičnih grešaka memorijskog tipa: cuda-memcheck.

Ako je poziv vašeg programa
./prog arg1 arg2
onda je poziv s provjerom
cuda-memcheck ./prog arg1 arg2
Program će se izvoditi znatno sporije, ali će se uloviti dobar dio memorijskih grešaka.

[venovako]

Bilo je pitanje čemu služi i je li potreban cudaDeviceSynchronize() na kraju fro.cu primjera.
Odgovor:
Moramo pričekati da se kernel izvrši kako bi pročitali rezultat iz varijable.
Time što je poziv cublas funkcije završio ne mora značiti da je i kernel kojeg ona zove gotov.
U CUBLAS_Library.pdf, sekcija 2.4 Scalar Parameters, stoji da trebamo "proper synchronization" prije čitanja rezultata.
To je objašnjenje dodano u novu verziju fro.cu primjera na Webu.

Također, nisam siguran jesam li vam (korektno) rekao kako se prevodi višedimenzionalni threadIdx u linearni indeks threada unutar bloka.
Iz linearnog indeksa možemo zaključiti kojem warpu thread pripada i koji mu je lokalni indeks unutar tog warpa).
Zamislite to kao pretvaranje iz kordinata u kartezijskom MPI komunikatoru u linearni rank (0..broj_procesa_u_commu), s jednom razlikom:
pretvorba nije C-ovska (row-major), već column-major (kao u Fortranu).
Točnu formulu imate u CUDA_C_Programming_Guide.pdf, sekcija 2.2 Thread Hierarchy.
Kako je to vrlo važno za pisanje korektnog i brzog koda, molim da svakako pogledate.
Barem 2 razloga: priča o pravilnom pristupu memoriji podrazumijeva linearne indekse threadova.
Također, bilo kakav algoritam na warp razini krucijalno ovisi o tome koji threadovi se nalaze skupa u warpu.

[venovako]

Ako želite detaljnije pogledati koji dijelovi vašeg grafičkog koda jedu koliko resursa, to možete CUDA Profiler-om.
Kako na Fermiju nećete lako pokrenuti GUI aplikaciju, pa tako ni CUDA Visual Profiler (nvpp), preporučam "nevidljivi" ali vrlo korisni komandnolinijski profiler.
Više o njemu ovdje. Ukratko: postavite jedan fajl i ponešto environment varijabli.

Podsjetnik: varijable postavljate npr. ovako
export COMPUTE_PROFILE=1

Preporučam uključiti CSV output.
Rezultate onda možete analizirati Open (ili Libre) Office Calc-om, Excel-om, ...

Jedina je nevolja ako imate zbilja velik output (više od 1Mi redaka), jer to spreadsheet aplikacije ne vole.
No, to se neće dogoditi za jednostavne primjene.



Ako netko zna spreadsheet aplikaciju koja je free, guta CSV i pokoje milionče redaka joj ne predstavlja problem, bit ću vrlo zahvalan (kava...).
Ne tražim "rješenja" tipa promijeni ove konstante u source kodu ogromatičnog office paketa i rekompajliraj ga jer za to zbilja nemam vremena.

[venovako]

Podsjetnik za home-made materijale (za razliku od onih drugih):
http://titan.fsb.hr/~venovako/nastava/PMF-MO/ParAlg12/2/

Direktorij CUDA sadrži slajdove i primjere, a CUDA/scratch programčiće nastale on-line kucanjem na vježbama (i adekvatne "kvalitete").