内容简介
本书系统地介绍了并行程序设计的基本概念、原理和方法，是计算机科学与技术领域的重要教材。全书内容涵盖了并行计算机体系结构、并行编程模型、并行算法设计、并行程序性能分析等核心主题，并深入探讨了共享内存编程（如OpenMP）、分布式内存编程（如MPI）以及GPU编程等主流并行编程技术。
第二版在保留经典内容的基础上，紧跟技术发展前沿，新增了多核处理器、异构计算、云计算环境下的并行编程等热点内容，并引入大量实例和典型应用，帮助读者深入理解并行程序设计的实践技巧。书中还提供了丰富的习题和实验指导，便于教学和自学。
本书结构清晰、循序渐进，既适合作为高等院校计算机相关专业本科生和研究生的教材，也适合作为科研人员和工程技术人员的参考用书。通过对本书的学习，读者能够掌握并行程序的设计与优化方法，为解决大规模计算问题打下坚实基础。
目录
1.1 对计算速度的需求
1.2 提高计算速度的潜力
1.2.1 加速系数
1.2.2 什么是最大的加速比
1.2.3 消息传递计算
1.3 并行计算机的类型
1.3.1 共享存储器多处理机系统
1.3.2 消息传递多计算机
1.3.3 分布式共享存储器
1.3.4 MIMD和SIMD的分类
1.4 机群计算
1.4.1 以互联计算机作为计算平台
1.4.2 机群的配置
1.4.3 打造“Beowulf风格”的专用机群
推荐读物
1.5 小结
参考文献
习题
第2章 消息传递计算
2.1 消息传递程序设计基础
1.2 提高计算速度的潜力
1.2.1 加速系数
1.2.2 什么是最大的加速比
1.2.3 消息传递计算
1.3 并行计算机的类型
1.3.1 共享存储器多处理机系统
1.3.2 消息传递多计算机
1.3.3 分布式共享存储器
1.3.4 MIMD和SIMD的分类
1.4 机群计算
1.4.1 以互联计算机作为计算平台
1.4.2 机群的配置
1.4.3 打造“Beowulf风格”的专用机群
推荐读物
1.5 小结
参考文献
习题
第2章 消息传递计算
2.1 消息传递程序设计基础
2.1.1 编程的选择
2.1.2 进程的创建
2.1.3 消息传递例程
2.2 使用计算机机群
2.2.1 软件工具
2.2.2 MPI
2.2.3 伪代码构造
2.3 并行程序的评估
2.3.1 并行执行时间方程式
2.3.2 时间复杂性
2.3.4 广播／集中的通信时间
2.3.3 对渐近分析的评注
2.4 用经验方法进行并行程序的调试和评估
2.4.1 低层调试
2.4.2 可视化工具
2.4.3 调试策略
2.4.4 评估程序
2.4.5 对优化并行代码的评注
2.5 小结
推荐读物
参考文献
习题
第3章 易并行计算
3.1 想的并行计算
3.2 易并行计算举例
3.2.1 图像的几何转换
3.2.2 曼德勃罗特集
3.2.3 蒙特卡罗法
3.3 小结
推荐读物
参考文献
习题
第4章 划分和分治策略
4.1 划分
4.1.1 划分策略
4.1.2 分治
4.1.3 M路分治
4.2 分治技术举例
4.2.1 使用桶排序法排序
4.2.2 数值积分
4.2.3 N体问题
4.3 小结
推荐读物
参考文献
习题
第5章 流水线计算
5.1 流水线技术
5.2 流水线应用的计算平台
5.3 流水线程序举例
5.3.1 数字相加
5.3.2 数的排序
5.3.3 生成质数
5.3.4 线性方程组求解——特殊个例
5.4 小结
推荐读物
参考文献
习题
第6章 同步计算
6.1 同步
6.1.1 障栅
6.1.2 计数器实现
6.1.3 树实现
6.1.4 蝶形障栅
6.1.5 局部同步
6.1.6 死锁
6.2 同步计算
6.2.1 数据并行计算
6.2.2 同步迭代
6.3 同步迭代程序举例
6.3.1 用迭代法解线性方程组
6.3.2 热分布问题
6.3.3 细胞自动机
6.4 部分同步方法
6.5 小结
推荐读物
参考文献
习题
7.1 负载平衡
第7章 负载平衡与终止检测
7.2 动态负载平衡
7.2.1 集中式动态负载平衡
1.2.2 分散式动态负载平衡
7.2.3 使用线形结构的负载平衡
7.3 分布式终止检测算法
7.3.1 终止条件
7.3.2 使用确认消息实现终止
7.3.3 环形终止算法
7.3.4 固定能量分布式终止算法
7.4 程序举例
7.4.1 最短路径问题
7.4.2 图的表示
7.4.3 图的搜索
7.5 小结
推荐读物
参考文献
习题
第8章 共享存储器程序设计
8.1 共享存储器多处理机
8.2 说明并行性的构造
8.2.1 创建并发进程
8.2.2 线程
8.3 共享数据
8.3.1 创建共享数据
8.3.2 访问共享数据
8.4 并行程序设计语言和构造
8.4.1 并行语言
8.4.2 并行语言构造
8.4.3 相关性分析
8.5 OpenMP
8.6.1 共享数据的访问
8.6 性能问题
8.6.2 共享存储器的同步
8.6.3 顺序一致性
8.7 程序举例
8.7.1 使用UNIX进程的举例
8.7.2 使用Pthread的举例
8.7.3 使用Java的举例
8.8 小结
推荐读物
参考文献
习题
第9章 分布式共享存储器系统及其程序设计
9.1 分布式共享存储器
9.2 分布式共享存储器的实现
9.2.1 软件DSM系统
9.2.2 DSM系统的硬件实现
9.2.3 对共享数据的管理
9.2.4 基于页面系统的多阅读器／单写入器策略
9.3 在DSM系统中实现一致性存储器
9.4 分布式共享存储器的程序设计原语
9.4.1 进程的创建
9.4.2 共享数据的创建
9.4.3 共享数据的访问
9.4.4 同步访问
9.4.5 改进性能的要点
9.5 分布式共享存储器的程序设计
9.6 实现一个简易的DSM系统
9.6.1 使用类和方法作为用户接口
9.6.2 基本的共享变量实现
9.6.3 数据组的重叠
参考文献
推荐读物
9.7 小结
习题
第二部分 算法和应用第10章 排序算法
10.1 概述
10.1.1 排序
10.1.2 可能的加速比
10.2 比较和交换排序算法
10.2.1 比较和交换
10.2.2 冒泡排序与奇偶互换排序
10.2.3 归并排序
10.2.4 快速排序
10.2.5 奇偶归并排序
10.2.6 双调谐归并排序
10.3 在专用网络上排序
10.3.1 二维排序
10.3.2 在超立方体上进行快速排序
10.4 其他排序算法
10.4.1 秩排序
10.4.2 计数排序
10.4.3 基数排序
10.4.4 采样排序
10.4.5 在机群上实现排序算法
10.5 小结
推荐读物
参考文献
习题
第11章 数值算法
11.1 矩阵回顾
11.1.1 矩阵相加
11.1.2 矩阵相乘
11.2 矩阵乘法的实现
11.2.1 算法
11.1.4 矩阵与线性方程组的关系
11.1.3 矩阵-向量相乘
11.2.2 直接实现
11.2.3 递归实现
11.2.4 网格实现
11.2.5 其他矩阵相乘方法
11.3 求解线性方程组
11.3.1 线性方程组
11.3.2 高斯消去法
11.3.3 并行实现
11.4 迭代方法
11.4.1 雅可比迭代
11.4.2 快速收敛方法
11.5 小结
参考文献
推荐读物
习题
第12章 图像处理
12.1 低层图像处理
12.2 点处理
12.3 直方图
12.4 平滑、锐化和噪声消减
12.4.1 平均值
12.4.2 中值
12.4.3 加权掩码
12.5 边缘检测
12.5.1 梯度和幅度
12.5.2 边缘检测掩码
12.6 霍夫变换
12.7 频域的变换
12.7.1 傅里叶级数
12.7.2 傅里叶变换
12.7.3 图像处理中的傅里叶变换
12.7.4 离散傅里叶变换算法的并行化
12.7.5 快速傅里叶变换
12.8 小结
推荐读物
参考文献
习题
第13章 搜索和优化
13.1 应用和技术
13.2 分支限界搜索
13.2.1 顺序分支限界
13.2.2 并行分支限界
13.3 遗传算法
13.3.1 进化算法和遗传算法
13.3.2 顺序遗传算法
13.3.3 初始种群
13.3.5 后代的生成
13.3.4 选择过程
13.3.6 变异
13.3.7 终止条件
13.3.8 并行遗传算法
13.4 连续求精
13.5 爬山法（hill climbing）
13.5.1 银行业务应用问题
13.5.2 爬山法在金融业务中的应用
推荐读物
13.5.3 并行化
13.6 小结
参考文献
习题
附录A 基本的MPI例程
附录B 基本的Pthread例程
附录C OpenMP命令、库函数以及环境变量
2.1.2 进程的创建
2.1.3 消息传递例程
2.2 使用计算机机群
2.2.1 软件工具
2.2.2 MPI
2.2.3 伪代码构造
2.3 并行程序的评估
2.3.1 并行执行时间方程式
2.3.2 时间复杂性
2.3.4 广播／集中的通信时间
2.3.3 对渐近分析的评注
2.4 用经验方法进行并行程序的调试和评估
2.4.1 低层调试
2.4.2 可视化工具
2.4.3 调试策略
2.4.4 评估程序
2.4.5 对优化并行代码的评注
2.5 小结
推荐读物
参考文献
习题
第3章 易并行计算
3.1 想的并行计算
3.2 易并行计算举例
3.2.1 图像的几何转换
3.2.2 曼德勃罗特集
3.2.3 蒙特卡罗法
3.3 小结
推荐读物
参考文献
习题
第4章 划分和分治策略
4.1 划分
4.1.1 划分策略
4.1.2 分治
4.1.3 M路分治
4.2 分治技术举例
4.2.1 使用桶排序法排序
4.2.2 数值积分
4.2.3 N体问题
4.3 小结
推荐读物
参考文献
习题
第5章 流水线计算
5.1 流水线技术
5.2 流水线应用的计算平台
5.3 流水线程序举例
5.3.1 数字相加
5.3.2 数的排序
5.3.3 生成质数
5.3.4 线性方程组求解——特殊个例
5.4 小结
推荐读物
参考文献
习题
第6章 同步计算
6.1 同步
6.1.1 障栅
6.1.2 计数器实现
6.1.3 树实现
6.1.4 蝶形障栅
6.1.5 局部同步
6.1.6 死锁
6.2 同步计算
6.2.1 数据并行计算
6.2.2 同步迭代
6.3 同步迭代程序举例
6.3.1 用迭代法解线性方程组
6.3.2 热分布问题
6.3.3 细胞自动机
6.4 部分同步方法
6.5 小结
推荐读物
参考文献
习题
7.1 负载平衡
第7章 负载平衡与终止检测
7.2 动态负载平衡
7.2.1 集中式动态负载平衡
1.2.2 分散式动态负载平衡
7.2.3 使用线形结构的负载平衡
7.3 分布式终止检测算法
7.3.1 终止条件
7.3.2 使用确认消息实现终止
7.3.3 环形终止算法
7.3.4 固定能量分布式终止算法
7.4 程序举例
7.4.1 最短路径问题
7.4.2 图的表示
7.4.3 图的搜索
7.5 小结
推荐读物
参考文献
习题
第8章 共享存储器程序设计
8.1 共享存储器多处理机
8.2 说明并行性的构造
8.2.1 创建并发进程
8.2.2 线程
8.3 共享数据
8.3.1 创建共享数据
8.3.2 访问共享数据
8.4 并行程序设计语言和构造
8.4.1 并行语言
8.4.2 并行语言构造
8.4.3 相关性分析
8.5 OpenMP
8.6.1 共享数据的访问
8.6 性能问题
8.6.2 共享存储器的同步
8.6.3 顺序一致性
8.7 程序举例
8.7.1 使用UNIX进程的举例
8.7.2 使用Pthread的举例
8.7.3 使用Java的举例
8.8 小结
推荐读物
参考文献
习题
第9章 分布式共享存储器系统及其程序设计
9.1 分布式共享存储器
9.2 分布式共享存储器的实现
9.2.1 软件DSM系统
9.2.2 DSM系统的硬件实现
9.2.3 对共享数据的管理
9.2.4 基于页面系统的多阅读器／单写入器策略
9.3 在DSM系统中实现一致性存储器
9.4 分布式共享存储器的程序设计原语
9.4.1 进程的创建
9.4.2 共享数据的创建
9.4.3 共享数据的访问
9.4.4 同步访问
9.4.5 改进性能的要点
9.5 分布式共享存储器的程序设计
9.6 实现一个简易的DSM系统
9.6.1 使用类和方法作为用户接口
9.6.2 基本的共享变量实现
9.6.3 数据组的重叠
参考文献
推荐读物
9.7 小结
习题
第二部分 算法和应用第10章 排序算法
10.1 概述
10.1.1 排序
10.1.2 可能的加速比
10.2 比较和交换排序算法
10.2.1 比较和交换
10.2.2 冒泡排序与奇偶互换排序
10.2.3 归并排序
10.2.4 快速排序
10.2.5 奇偶归并排序
10.2.6 双调谐归并排序
10.3 在专用网络上排序
10.3.1 二维排序
10.3.2 在超立方体上进行快速排序
10.4 其他排序算法
10.4.1 秩排序
10.4.2 计数排序
10.4.3 基数排序
10.4.4 采样排序
10.4.5 在机群上实现排序算法
10.5 小结
推荐读物
参考文献
习题
第11章 数值算法
11.1 矩阵回顾
11.1.1 矩阵相加
11.1.2 矩阵相乘
11.2 矩阵乘法的实现
11.2.1 算法
11.1.4 矩阵与线性方程组的关系
11.1.3 矩阵-向量相乘
11.2.2 直接实现
11.2.3 递归实现
11.2.4 网格实现
11.2.5 其他矩阵相乘方法
11.3 求解线性方程组
11.3.1 线性方程组
11.3.2 高斯消去法
11.3.3 并行实现
11.4 迭代方法
11.4.1 雅可比迭代
11.4.2 快速收敛方法
11.5 小结
参考文献
推荐读物
习题
第12章 图像处理
12.1 低层图像处理
12.2 点处理
12.3 直方图
12.4 平滑、锐化和噪声消减
12.4.1 平均值
12.4.2 中值
12.4.3 加权掩码
12.5 边缘检测
12.5.1 梯度和幅度
12.5.2 边缘检测掩码
12.6 霍夫变换
12.7 频域的变换
12.7.1 傅里叶级数
12.7.2 傅里叶变换
12.7.3 图像处理中的傅里叶变换
12.7.4 离散傅里叶变换算法的并行化
12.7.5 快速傅里叶变换
12.8 小结
推荐读物
参考文献
习题
第13章 搜索和优化
13.1 应用和技术
13.2 分支限界搜索
13.2.1 顺序分支限界
13.2.2 并行分支限界
13.3 遗传算法
13.3.1 进化算法和遗传算法
13.3.2 顺序遗传算法
13.3.3 初始种群
13.3.5 后代的生成
13.3.4 选择过程
13.3.6 变异
13.3.7 终止条件
13.3.8 并行遗传算法
13.4 连续求精
13.5 爬山法（hill climbing）
13.5.1 银行业务应用问题
13.5.2 爬山法在金融业务中的应用
推荐读物
13.5.3 并行化
13.6 小结
参考文献
习题
附录A 基本的MPI例程
附录B 基本的Pthread例程
附录C OpenMP命令、库函数以及环境变量
重要申明：
本书由书友@锦小书发布分享，仅供学习交流使用，版权归原作者所有。如有侵权，请联系我们删除。
本书由书友@锦小书发布分享，仅供学习交流使用，版权归原作者所有。如有侵权，请联系我们删除。
📖 支持知识自由流动
每一本书的稳定访问，都离不开服务器、存储与带宽的长期维护。
