Parallel Architecture Lecture4

Chromatic Vizier...About 21 min

Parallel Architecture Lecture4

并行计算模型

基本概念

并行计算模型是一种计算模型，是计算机体系结构中的一部分。

PRAM模型

简介

是一种SIMD-SM模型，一份程序共享一份内存，多个处理器运行，统一控制。

访存方式

不可同时读写、可同时读不可同时写（最多默认的）、可同时写不可同时读（没用，一般没这种东西）、可同时读写（需要冲突解决方案）

例： $2^{n}$ 个数求和

EREW并行机只需要处理3轮， $O (l o g N)$ 的复杂度。

优点

适合并行算法表示和复杂性分析，易于使用，隐藏了并行机的通讯、同步等细节。

缺点

不适合MIMD并行机，忽略了SM的竞争（同时要改一份数据）、通讯延迟等因素。

BSP模型

简介

MIMD-DM模型，支持消息传递，块内异步，块间同步。

参数

处理器数 $p$

同步障时间 $l$

带宽因子 $g$

程序运行流程

每一批次都要同时开始，所以快的要等慢的，等待的这一会就是同步障时间。

BSP处理上边的并行加法问题：

Superstep1

计算耗时 $w = 2 N / p$ ， $p$ 是处理器数量， $N$ 是问题规模；

每个处理器处理时分预处理和后处理，所以要乘个2。

第一步不仅仅是单次加法，而是每个处理器先计算其局部和，即把分配到自己部分的数据加总到一个值。这涉及多个加法操作，所以不能把计算量简单地设为1。

通讯耗时 1次（因为是同时的）。

Superstep2

计算耗时 $w = 1$ ；

通讯耗时1次。

Superstep3

计算耗时 $w = 1$ ；

通讯耗时1次。

Superstep4

计算耗时 $w = 1$ ；

无需通讯。

共耗时：

2 N / 8 + 3 \times (g + l + 1)

因为每次通讯都要消耗一个带宽和同步障，再加上一次计算消耗。

一般时间复杂度为 $2 N / p + l o g p (g + l + 1)$ 。

PRAM模型的时间开销是 $2 N / p + l o g p$ ，其实就是去掉通讯开销。

BSP和PRAM比较

BSP强调了计算和通讯的分离，提供了一个编程环境，易于程序复杂性分析。

如果BSP的 $g$ 很小，就可以被认为是PRAM。

$l$ 的值决定了所需的平行松弛度，如果 $l = g = 1$ ，就是无需松弛的PRAM。

什么是松弛度？

松 弛 度 = \frac{计 算 时 间}{通 信 时 间}

当松弛度高时，计算任务的计算时间远多于通信时间。这意味着各个计算任务之间的相互依赖较少，数据交换或同步的频率较低。当松弛度低时，计算任务的计算时间和通信时间接近，或者通信时间占比较大。这意味着各个任务之间有较高的依赖性，需要频繁的数据交换和同步操作。

logP模型

简介

是一种分布存储的、点到点通讯的多处理机模型，其中通讯由一组参数描述，实行隐式同步。

参数

网络延迟 $L$ ；

通信开销 $o$ （处理时间）；

$g = 1 / 带宽$ ，是网络传输间隔时间。处理器中两个连续的通信过程之间的最小距离（最小发送间隔）；

处理器数量 $P$ 。

$L$ 和 $g$ 反映了通讯网络的容量。

这个g到底是什么玩意？为什么1/带宽就是最小发送间隔？

带宽描述了信道内可容纳的数据量，假设一条信道带宽为5（可同时容纳5条消息），那么发送方就要保证不能同时有6条消息在信道内，否则必定丢包。如果每隔1/5的时间发一条消息，就可以保证这件事，当第六条消息发出时，刚好经过了一个单位时间，第一条消息刚好从信道出去。

特征

异步模型

没有同步障、算法设计复杂。

多线程限制

考虑网络容量= $L / g$ ，最多 $L / g$ 的消息可以在任何时刻从一个处理器传输到另一个处理器，这也设置了多线程的限制。

可见通信开销

点对点： $L + 2 o$ （双方各处理2o时间，再加上网络延迟L）

从远程读取： $2 L + 4 o$ （需要双向通信，一来一回发两次，所以是双倍的点对点开销）

预加载： $2 o$ （预加载是非阻塞操作，在预读取期间，程序不需要等待数据到达，而是可以继续执行其他任务。因此，延迟 $L$ 并不会对当前操作有直接影响）

发送n条消息

发n条消息的总开销是

2 o + L + g (n - 1)

因为在等待网络延迟 $L$ 时，两边可以同时进行 $o$ 操作，所以真正花时间的只有一开始发送时的o和最后一条信息接收时的o。因为要发n条消息，所以总共要消耗 $g (n - 1)$ 个发送延迟。

最优广播树

8个处理器，传输延迟6，发送间隔4，处理开销2。

在计算广播树广播时间时，先画出顶层的时间轴，之后画各层的。注意，中间层在转发时要消耗 $2 o$ 时间（接收后处理、发送前处理），把各节点收到消息的时间写在节点上。

优缺点

捕捉了MPC的通讯瓶颈，隐藏了并行机的网络拓扑、路由、协议，可以应用到共享存储、消息传递、数据并行的编程模型中；但难以进行算法描述、设计和分析。

BSP和LogP比较

同步方式

BSP使用全局同步，即每个并行进程在特定的同步点（超级步）上等待其他进程完成，才能继续执行下一个步骤。

LogP基于逐对同步（pairwise synchronization），采用异步通信方式，每个进程在发送或接收消息时可以独立进行同步，不依赖全局同步点。这种方式可以提高资源利用率。

通信开销

BSP模型可以在增加常数级别的额外开销的情况下模拟LogP模型的行为（因为BSP没有消息传递，如果增加了这个机制会有恒定的开销）；

LogP模型可以在增加对数级别的额外开销的情况下模拟BSP模型的行为（因为LogP没有同步，如果要逐级同步，时间复杂度是对数级别）。

时间差异

B S P = L o g P + B a r r i e r s - O v e r h e a d

其实同步障Barriers就是对数级开销；收发时间Overhead就是常数级开销。

编程难易

BSP提供了更方便的程设环境，LogP更好地利用了机器资源；

BSP似乎更简单、方便和符合结构化编程。

网络带宽g的定义

BSP从全局视角定义 $g$ ，假设网络的带宽是全局统一的，所有进程共享这个网络带宽。

LogP从局部视角定义 $g$ ，假设每个进程都有一个单独的、有限的带宽。因此 $g$ 表示从单个进程发送消息之间的最小间隔时间，这反映了网络容量的限制。

三种模型总结

PRAM

便于设计并行算法的简单概念化模型，专注于负载平衡。

BSP

先计算再通信，二者分离。

循环 ${超级步，屏障同步，通信}$ 。

粒度是超步大小与通信时间的比值。

LogP

随时计算，随时通信，通信和处理开销单独计算。

	PRAM	BSP	LogP
结构	SIMD-SM(共享)	MIMD-DM(分布式)	MIMD-DM
计算模型	同步，处理器同时执行	异步，处理器可独立执行	异步，不存在超级步，不需要同步
同步方式	自然同步	屏障（超级步之间）	隐含
参数	$l$ 延迟	$p$ 处理器数量， $g$ 通信带宽， $l$ 同步延迟	$l$ 发送延迟， $o$ 处理开销， $g$ 带宽， $p$ 处理器数量
粒度	细-中等	中等-粗	中等-粗
通信方式	共享变量	消息传递	消息传递
地址空间	全局（单个）	单个或多个	单个或多个

什么是粒度？如何计算？

粒度表示一个大任务被划分的细碎程度。

细粒度计算任务被划分得非常小，每个处理器执行较少量的工作，需要大量通信。

粗粒度计算任务被划分得较大，每个处理器执行大量工作，减少了通信开销，但增加了同步等待时间。

粒 度 = \frac{计 算 时 间}{通 信 时 间}

性能评测

概述

性能评价和性能分析可以揭示高性能计算机、并行算法和并行应用程序的性能特点和性能瓶颈，指导高性能计算机、并行算法和应用程序的设计与改进。

目的在于提高、预测、诊断和优化性能。

机器级性能评测

概念

CPU和存储器的某些基本性能指标；并行和通信开销分析；并行机的可用性与好用性以及机器成本、价格与性/价比。

指标

性能

指机器的速度，它是程序执行时间的倒数。

程序执行时间

是指用户的响应时间（访问磁盘和访问存储器的时间，CPU时间，I/O时间以及操作系统的开销）。

时钟周期 $T C$ 、 $I N$ 条指令、执行每条指令平均需要 $C P I$ 个周期，则执行一个程序需要的时间为：

I N \times C P I \times T C

CPU时间

它表示CPU的工作时间，不包括I/O等待时间和运行其它任务的时间。

工作负载

百万浮点计算数MFLOP (million floating point operations)

百万指令数MI (million instruction)

速度

每秒百万浮点计算数MFLOPS (million floating point operations per second)

每秒百万指令数目MIPS (million instructions per second)

性能指标总结

算法级性能评测

概念

评价的是软件，一个算法或程序运行在并行机上能否有提高。

指标

加速比

对于一个给定的应用，并行算法（或并行程序）相对于串行算法（或串行程序）的性能提高程度。

S_{p} = \frac{串 行 执 行 时 间}{并 行 执 行 时 间}

并行效率

它表示处理器的利用率。

E f f i c i e n c y = \frac{加 速 比}{处 理 器 数 量}

可扩展性

当系统和问题规模增大时，可维持相同性能的能力，即指应用、算法和结构能否充分利用不断增长的处理器的能力。

程序级性能评测

基准程序（Benchmark）

具体评测标准

加速比性能定律

性能提高的基本测度

性 能 = \frac{工 作 量}{时 间}

加 速 比 (并 行) = \frac{并 行 性 能}{串 行 性 能}

加速比特性

由于通信、同步开销的存在，一般： $2 > 1 + 1 > 1$ ，即双处理器并行不如两个处理器单独串行。

但是也有可能： $1 + 1 < 1$ ，如果通信、同步开销过大就会出这种事。

也会存在： $1 + 1 > 2$ ，这种情况就是超线性加速比。

超线性加速比

判定

当出现：

S (p) > O (p)

时，就可以说有超线性加速比。

当加速比超过了处理器数量，也就是两个处理器干了三个处理器才能做到的事，也就出现了所谓 $1 + 1 > 2$ 。

可能的原因

内存容量增加：多个处理器不仅提供了额外的算力，还带来了更多的累积内存。这使得问题的数据能够更好地适应高速缓存，从而减少缓存未命中的次数，提高整体访问速度。对于大数据集，单个处理器的缓存可能不足，而多处理器在合并缓存后，可以更有效地存储更多数据。

缓存效应：多个处理器使得缓存更高效，因为数据可以在多个处理器的缓存中分布存放。单个处理器可能由于缓存限制而频繁访存，而多处理器通过分散数据，可以减少访存延迟。

内存容量增加是利用内存总量的增加，而缓存效应是利用了缓存区数量的增加，有一些区别。

局部性增强：一些算法在并行化后，能够更好地利用数据局部性，提高缓存命中率。

任务分布更均匀：并行计算能够更好地分配任务，避免单个处理器出现的局部性瓶颈。

减少访问冲突：单处理器可能需要频繁访问某些数据，造成冲突，而多处理器分担负载后，这种冲突得到缓解。

例子：深搜

传统深搜算法老老实实搜要走12次，而并行机两个处理器一起，一人走一边，右边的那个走两步就找到了目标，加速比是6。

不同约束条件下的加速比

固定问题规模，PC(Problem constrained)

通过增加处理器数量来缩短解决固定规模问题所需的时间。

固定时间，TC(Time constrained)

通过增加处理器数量，尽可能在固定时间内解决更大规模的问题。

固定存储，MC(Memory constrained)

通过增加处理器数量，在有限的存储空间下优化计算性能。

Amdahl定律

变量

$P$ ：处理器数

$W$ ：问题规模

其中：

$W_{p}$ ：并行部分； $W_{s}$ ：串行部分

$f$ ：串行分量比例

$T_{s} = T_{1}$ ：串行执行时间； $T_{p}$ ：并行执行时间

$S$ ：加速比

$E$ ：效率

目标

定量的计算负载分布在多个处理器上，通过增加处理器加快执行速度。

固定规模的加速比

p e r f o r m a n c e = \frac{w o r k}{t i m e}

S (p) = \frac{p e r f o r m a n c e (p)}{p e r f o r m a n c e (l)} \Rightarrow S (p) = \frac{t i m e (l)}{t i m e (p)}

因为 $p$ 和 $l$ 的work都是一样的，直接比时间就好了。

串行任务的时间没法缩减。随着处理器增加，并行任务的时间减少。

定律内容

S_{p c} = \frac{W_{S} + W_{p}}{W_{S} + \frac{W p}{p}} = \frac{f + (1 - f)}{f + \frac{1 - f}{p}}

= \frac{p}{1 + f (p - 1)} \to \frac{1}{f}, p \to \infty

也就是说串行分量比例 $f$ 限制了加速比的上限。如果整个程序全都只能串行，即 $f = 1$ ，那么加速比为1，无论加多少处理器也不能获得加速。

Gustafson定律

目标

定时的计算负载分布在多个处理器上，通过增加处理器增加可完成的任务量。

定律内容

S_{T C} = \frac{w o r k (p)}{w o r k (l)} = \frac{W_{S} + p \cdot W_{p}}{W_{S} + \frac{p \cdot W_{p}}{p}} = \frac{W_{S} + p \cdot W_{p}}{W_{S} + W_{p}}

S_{T C} = f + p (1 - f) = p + f (1 - p) = p - f (p - 1)

如图，可以把单位时间分为两部分，串行任务用 $f$ 的时间处理，可并行的任务用 $1 - f$ 的事件处理。由于处理串行任务时只能用一个处理器，所以可处理的任务量为 $f \cdot 1 = f$ ，而处理可并行的任务时，有几个处理器就能同时处理几份，总共可处理 $(1 - f) \cdot p$ 个任务，再加起来就是单位时间内处理的总任务量。

考虑并行开销，并行机需要额外处理一份任务来支持并行，那么 $S_{T C}$ 就变成了：

S_{T C} = \frac{W_{S} + p \cdot W_{p}}{W_{S} + W_{p} + W_{o}} = \frac{f + p (1 - f)}{1 + \frac{W_{o}}{W}}

S_{T C} = f + p (1 - f - \frac{W_{o}}{W})

和上边的相比，其实就是减去了它的额外并行开销，因为这部分任务是没意义的，不能算在总加速比里。

Sun & Ni定律

目标

存储空间一定，去解决尽可能多的问题（不用考虑时间）。

假定在单节点上使用了全部存储容量 $M$ 并在相应于 $W$ 的时间内求解之，此时工作负载为

W = f W + (1 - f) W

在 $p$ 个节点的并行系统上，能够求解较大规模的问题是因为存储容量可增加到 $p M$ 。令因子 $G (p)$ 表示存储容量增加到 $p$ 倍时并行工作负载的增加量，所以扩大后的工作负载为

W = f W + (1 - f) G (p) W

就是多乘了一个 $G (p)$ 。这里不能直接多乘一个 $p$ ，因为并不是说存储空间增加多少倍，处理任务的能力就一定能增加相同的倍数。

这里的任务量和处理时间全都不确定，只受存储空间大小影响。

定律内容

S_{M C} = \frac{W o r k (p) / T i m e (p)}{W o r k (l) / T i m e (l)} = \frac{f W + (1 - f) G (p) W}{f W + \frac{(1 - f) G (p) W}{p}}

= \frac{f W + (1 - f) G (p)}{f W + \frac{(1 - f) G (p)}{p}}

考虑并行开销:

S_{M C} = \frac{f W + (1 - f) G (p) W}{f W + \frac{(1 - f) G (p) W}{p} + W_{o}}

= \frac{f W + (1 - f) G (p)}{f W + \frac{(1 - f) G (p)}{p} + \frac{W_{o}}{W}}

和上边一样，在计算并行任务量时要算上额外的并行开销 $W_{o}$ 。

特性

当 $G (p) = 1$ 时，加速比就是Amdahl的加速比。 $G (p) = 1$ 说明不需要额外的内存，即问题规模不变，就是相同规模下比时间。

当 $G (p) = p$ 时，加速比就是Gustafson的加速比。问题规模随处理器数量增加，就是定时间，比谁处理的问题规模大。

当 $G (p) > p$ 时，相当于处理器数的增加速度快于计算机负载和存储要求的增加，加速比会优于上边两个。

加速比总结

参考的加速比经验公式

\frac{p}{l o g p} \leq S \leq P

$\frac{p}{l o g p}$ 是一些分治类问题的加速比，比如快速排序或某些递归算法，此类问题需要较多通信，导致实际加速比小于线性加速。

$S$ 是通信密集型问题的加速比， $S = \frac{1}{C (p)}$ ，其中 $C (p)$ 是与处理器数量相关的通信开销。

$P$ 是线性加速比，性能的增速和处理器的增速相同。

超线性加速，性能的增速比处理器的增速更快。

绝对加速（科学研究）：最佳并行算法与串行算法；相对加速（工程应用）：同一算法在单机和并行机的运行时间

可扩展性评测标准

概述

影响加速比的因素：系统规模与问题规模。

以下问题会拉低加速比：

求解问题中的串行分量；

并行处理所引起的额外开销（通信、等待、竞争、冗余操作和同步等）；

加大的处理器数超过了算法中的并发程度。

以下操作会增加加速比：

增大问题规模，较大的问题规模可提供较高的并发度，额外开销的增加可能慢于有效计算的增加，且算法中的串行分量比例不是固定不变的（串行部分所占的比例随着问题规模的增大而缩小）

可扩展性的概念

增加系统规模（处理器数）会增大额外开销和降低处理器利用率，所以对于一个特定的并行系统（算法或程序），它们能否有效利用不断增加的处理器的能力应是受限的，而度量这种能力就是可扩放性这一指标。

也就是说，处理器少的时候能跑得很有效率，处理器多了也得跑得有效率，不能处理器多了反而不行了。

误区

单纯用固定问题的执行时间来衡量性能是不准确的，应该关心它在系统规模和应用数据规模变化时的执行时间。

可扩展性衡量的就是系统的“规模性能”，是 ${性能，系统规模，数据规模}$ 的总和测度。

在可扩展性上希望达到的目标

当系统规模扩大时，希望系统的处理能力能相应增强。

能力增强

同样的时间能处理更多的数据；

处理同样的数据花更少的时间。

增速

线性、对数、指数等增长比例。

需要调整的参数

并行计算要调整的是处理器数 $p$ 和问题规模 $W$ ，两者可按不同比例进行调整，此比例关系（可能是线性的，多项式的或指数的等）就反映了可扩放的程度。

三种量化可扩展性的方式

等效率测度

$效率 = \frac{加速比}{处理器数}$ ，简单情况下能得分析结果。

等速度测度

速度=每秒处理的数据量，便于通过实验数据得到结果。

平均时延测度

时延：理想并行时间与实际并行时间的差距，便于通过实验数据得到结果。

等效率函数

定义

加速比：

S = \frac{T_{e}}{T_{p}} = \frac{T_{e}}{\frac{T_{e} + T_{o}}{p}} = \frac{p}{1 + \frac{T_{o}}{T_{e}}} = \frac{p}{1 + \frac{W_{o}}{W}}

效率：

E = \frac{S}{P} = \frac{1}{1 + \frac{T_{o}}{T_{e}}} = \frac{1}{1 + \frac{W_{o}}{W}}

等效率：

E = \frac{T_{s}}{p \cdot T_{p}}

如果问题规模 $W$ 保持不变，处理器数 $p$ 增加，开销 $T_{o}$ 增大，效率 $E$ 下降。为了维持一定的效率（介于0与1之间），当处理数 $p$ 增大时，需要相应地增大问题规模 $W$ 的值。由此定义函数 $f_{E} (p)$ 为问题规模 $W$ 随处理器数 $p$ 变化的函数，为等效率函数。