并行计算--第一章
并行执行内存架构
-
Single instruction, single data(SISD)
使用一个单独的指令执行单独的数据流
-
Single instruction, multiple data(SIMD)
多个处理器，但是只有一个控制流进行控制
-
Multiple instruction, single data(MISD)
独有控制单元的多个处理器，通向一个单独的内存单元
-
Multiple instruction, multiple data(MIMD)
最流行的架构，n个处理器，n个指令流，n个数据流；每个处理器有自己的控制单元和本地内存。每个处理器通过自己的控制单元来进行指令处理。
内存组织
-
共享内存特点
- 对于所有处理器来说，内存是共有的。
- 通过控制处理器来实现同步
- 当两个任务交替时，共享内存的位置不能改变
- 共享内存速度快
-
分布式内存特点
- 内存与处理器是物理分布的。
- 通过移动数据来实现同步
- 在本地内存进行任务分割处理
- 通过消息传递协议进行不同机器间交互
并行模型
- 共享内存模型
- 多线程模型
- 消息传递模型
- 数据并行模型