Em CUDA, a execução paralela é estruturada em threads, que formam blocks, os quais, por sua vez, compõem grids, podendo diferentes blocks dentro de um mesmo grid compartilhar automaticamente sua memória local e seus registradores.