Question

CUDA中device kernel和host程序是异步还是同步的

我知道内存拷贝有异步同步两个版本，但是书上貌似说device程序和host程序是异步的，下面程序是怎么执行的：
__global__ void device aaa(int, int )
int main()
{
int a=5, b=5;
dim3 grid(4,1,1)
dim3 block(4,1,1)
for(int i=0; i<10; i++)
{
aaa<<<grid,block>>>(a,b)
}
printf("device function finished\n");
return 1;
}
gpu程序略了。
是cpu独立做循环还是cpu调用gpu做10次循环？

Answer 1

没错，device和host是异步的，当CPU调用device函数后就返回了！
需要注意的是cudaMemcpy函数是个同步函数，当CPU执行到这里的时候会等待GPU完成工作后开始内存拷贝！
你上面这段程序是由CPU调用了10次GPU内核函数，每次调用完CPU就返回执行下一个循环中的调用，直到循环结束。device函数将会由GPU安排进队列依次执行直到完成，也就是说CPU不会考虑GPU是否完成了上一次的计算工作，会把新的计算工作安插到队列里，而GPU则会依次执行队列中所有的任务！

追问

按照您的逻辑，就是说上面这段程序的printf语句很有可能在device未全部完成的情况下就已经输出了？

追答

不错，是这样的，如果你的kernel执行时间够长的话！当然你可以写个kernel里做个死循环做测试，就明白了！