内容简介
本书是一本从工程实践角度出发,系统介绍优化理论与算法的斯坦福大学开源教材。作者米凯尔·J. 科申德弗和蒂姆·A. 惠勒均为该领域的资深专家,他们以清晰易懂的方式,将抽象的优化理论转化为可操作的实用方法,旨在帮助读者快速掌握解决实际优化问题的核心技能。
全书内容涵盖了优化领域的主要分支,包括无约束优化、约束优化、线性规划、凸优化、整数规划等,并深入讲解了梯度下降、牛顿法、拟牛顿法、拉格朗日乘子法、KKT条件等经典算法及其变体。书中不仅提供了严谨的数学推导,还配以丰富的伪代码和实例,使读者能够理解算法背后的原理,并学会如何在工程应用中灵活选用合适的优化工具。此外,本书还探讨了在现代计算环境下的算法实现技巧和性能优化策略。
本书适合作为计算机科学、人工智能、运筹学、控制工程等领域高年级本科生和研究生的教材或参考书,也适合希望在实际项目中应用优化算法的工程师和科研人员阅读。通过本书的学习,读者将能够独立设计和实施有效的优化方案,解决从机器学习模型训练到系统资源分配等广泛问题。
目录
彩插
作者简介
译者序
1.1 优化算法的历史
1.2 优化过程
1.3 基本优化问题
1.4 约束
1.5 极值点
1.6 局部极小值的条件
1.7 等高线图
1.8 概述
1.9 小结
1.10 练习
第2章 导数和梯度
2.1 导数
2.2 多维导数
2.3 数值微分
2.4 自动微分
2.5 小结
2.6 练习
第3章 包围
3.1 单模态
3.2 确定初始包围
3.3 斐波那契搜索
3.4 黄金分割搜索
3.5 二次拟合搜索
3.6 Shubert-Piyavskii方法
3.7 二分法
3.8 小结
3.9 练习
第4章 局部下降
4.1 下降方向迭代
4.2 线搜索
4.3 近似线搜索
4.4 信赖域方法
4.5 终止条件
4.6 小结
4.7 练习
第5章 一阶方法
5.1 梯度下降
5.2 共轭梯度
5.3 动量
5.4 Nesterov动量
5.5 Adagrad方法
5.6 RMSProp
5.7 Adadelta
5.8 Adam
5.9 超梯度下降
5.10 小结
5.11 练习
第6章 二阶方法
6.1 牛顿法
6.2 割线法
6.3 拟牛顿法
6.4 小结
6.5 练习
第7章 直接方法
7.1 循环坐标搜索
7.2 鲍威尔搜索法
7.3 胡可-吉夫斯搜索法
7.4 广义模式搜索法
7.5 尼尔德-米德单纯形法
7.6 分割矩形法
7.7 小结
7.8 练习
第8章 随机方法
8.1 噪声下降
8.2 网格自适应直接搜索
8.3 模拟退火
8.4 交叉熵法
8.5 自然进化策略
8.6 自适应协方差矩阵
8.7 小结
8.8 练习
第9章 种群方法
9.1 初始化
9.2 遗传算法
9.3 微分进化
9.4 粒子群优化
9.5 萤火虫算法
9.6 布谷鸟搜索
9.7 混合方法
9.8 小结
9.9 练习
第10章 约束
10.1 约束优化
10.2 约束类型
10.3 消除约束的转换
10.4 拉格朗日乘数法
10.5 不等式约束
10.6 对偶性
10.7 惩罚方法
10.8 增广拉格朗日法
10.9 内点法
10.10 小结
10.11 练习
第11章 线性约束优化
11.1 问题表述
11.2 单纯形算法
11.3 对偶验证
11.4 小结
11.5 练习
第12章 多目标优化
12.1 帕累托最优
12.2 约束方法
12.3 权重法
12.4 多目标种群方法
12.5 偏好诱导
12.6 小结
12.7 练习
第13章 抽样计划
13.1 全因子
13.2 随机抽样
13.3 均匀投影计划
13.4 分层抽样
13.5 空间填充指标
13.6 空间填充子集
13.7 准随机序列
13.8 小结
13.9 习题
第14章 代理模型
14.1 拟合代理模型
14.2 线性模型
14.3 基函数
14.4 拟合噪声目标函数
14.5 模型选择
14.6 小结
14.7 练习
第15章 概率代理模型
15.1 高斯分布
15.2 高斯过程
15.3 预测
15.4 梯度测量
15.5 噪声测量
15.6 拟合高斯过程
15.7 小结
15.8 练习
第16章 代理优化
16.1 基于预测的探索
16.2 基于误差的探索
16.3 置信下界的探索
16.4 改进探索的概率
16.5 预期改进探索
16.6 安全优化
16.7 小结
16.8 练习
第17章 不确定性下的优化
17.1 不确定性
17.2 基于集合的不确定性
17.3 概率不确定性
17.4 小结
17.5 练习
第18章 不确定性传播
18.1 抽样方法
18.2 泰勒逼近
18.3 多项式混沌
18.4 贝叶斯蒙特卡罗
18.5 小结
18.6 练习
第19章 离散优化
19.1 整数规划
19.2 四舍五入
19.3 切割平面
19.4 分支限界法
19.5 动态规划
19.6 蚁群优化
19.7 小结
19.8 练习
第20章 表达式优化
20.1 语法
20.2 遗传编程
20.3 语法进化
20.4 概率语法
20.5 概率原型树
20.6 小结
20.7 练习
第21章 多学科设计优化
21.1 学科分析
21.2 跨学科兼容性
21.3 架构
21.4 多学科设计可行性
21.5 顺序优化
21.6 单学科可行性
21.7 协同优化
21.8 同步分析和设计
21.9 小结
21.10 练习
附录A Julia
附录B 测试函数
附录C 数学概念
附录D 练习参考答案
参考文献
您当前的等级为
登录后免费下载登录
小黑屋反思中,不准下载!
评论后刷新页面下载评论
支付¥以后下载
请先登录
您今天的下载次数(次)用完了,请明天再来
支付积分以后下载立即支付
支付以后下载立即支付
您当前的用户组不允许下载升级会员
您已获得下载权限
您可以每天下载资源次,今日剩余次
免责申明:
1. 本站分享的所有书籍均来源于自互联网,我们只进行收集整理,并不对书籍内容进行更改。
2. 部分书籍中可能有书籍压制者放置的广告,这并不是本站所为,请注意甄别。
3. 我们分享这些书籍,纯粹是出于知识分享的热情,以及对互联网分享精神的高度认同和践行,不以盈利为目的。
4. 本站分享的所有书籍,仅供个人学习研究使用,请勿用于任何商业用途,否则产生的一切法律纠纷与本站无关。
5. 如果这些书籍让你有所收获,在条件允许的情况下,请一定购买正版书籍,这是对创作者最好的支持。
6. 如果您是此书籍的版权所有者,且您不希望此作品出现在本站,请联系我们,我们将在收到您的请求后48小时内予以删除。