本书介绍了最优化的基本概念、典型案例、基本理论和优化算法。典型案例来自数据科学、机器学习、人工智能、图像和信号处理等领域，基本理论涵盖最优解的存在性和唯一性、各类优化问题的一阶或二阶最优性条件、对偶理论等，优化算法包括无约束优化算法、约束优化算法、复合优化算法。全书案例丰富，理论翔实，展现了最优化的“实践—算法—理论—实践”这一特点。书中配备了适量的习题，这些习题难易兼顾、层次分明，为正文的内容提供补充，并可检验读者的学习效果。

本书可作为高等学校数据科学专业的教材或参考书，供研究生和本科高年级学生使用，也可供从事运筹学、计算数学、图像和信号处理、机器学习、人工智能等领域的科技工作者参考。

前辅文
第一章 最优化简介
  1.1 最优化问题概括
   1.1.1 最优化问题的一般形式
   1.1.2 最优化问题的类型与应用背景
  1.2 实例：稀疏优化
  1.3 实例：低秩矩阵恢复
  1.4 实例：深度学习
  1.5 最优化的基本概念
   1.5.1 连续和离散优化问题
   1.5.2 无约束和约束优化问题
   1.5.3 随机和确定性优化问题
   1.5.4 线性和非线性规划问题
   1.5.5 凸和非凸优化问题
   1.5.6 全局和局部最优解
   1.5.7 优化算法
  1.6 总结
  习题1
第二章 基础知识
  2.1 范数
   2.1.1 向量范数
   2.1.2 矩阵范数
   2.1.3 矩阵内积
  2.2 导数
   2.2.1 梯度与海瑟矩阵
   2.2.2 矩阵变量函数的导数
   2.2.3 自动微分
  2.3 广义实值函数
   2.3.1 适当函数
   2.3.2 闭函数
  2.4 凸集
   2.4.1 凸集相关定义
   2.4.2 重要的凸集
   2.4.3 保凸的运算
   2.4.4 分离超平面定理
  2.5 凸函数
   2.5.1 凸函数的定义
   2.5.2 凸函数判定定理
   2.5.3 保凸的运算
   2.5.4 凸函数的性质
  2.6 共轭函数
   2.6.1 共轭函数的定义和例子
   2.6.2 二次共轭函数
  2.7 次梯度
   2.7.1 次梯度的定义
   2.7.2 次梯度的性质
   2.7.3 凸函数的方向导数
   2.7.4 次梯度的计算规则
  2.8 总结
  习题2
第三章 优化建模
  3.1 建模技术
   3.1.1 目标函数的设计
   3.1.2 约束的设计
  3.2 回归分析
   3.2.1 概述
   3.2.2 线性回归模型
   3.2.3 正则化线性回归模型
  3.3 逻辑回归
  3.4 支持向量机
  3.5 概率图模型
  3.6 相位恢复
  3.7 主成分分析
  3.8 矩阵分离问题
  3.9 字典学习
  3.10 K-均值聚类
  3.11 图像处理中的全变差模型
  3.12 小波模型
  3.13 强化学习
  3.14 总结
  习题3
第四章 典型优化问题
  4.1 线性规划
   4.1.1 基本形式和应用背景
   4.1.2 应用举例
  4.2 最小二乘问题
   4.2.1 基本形式和应用背景
   4.2.2 应用举例
  4.3 复合优化问题
   4.3.1 基本形式和应用背景
   4.3.2 应用举例
  4.4 随机优化问题
   4.4.1 基本形式和应用背景
   4.4.2 应用举例
  4.5 半定规划
   4.5.1 基本形式和应用背景
   4.5.2 应用举例
  4.6 矩阵优化
   4.6.1 基本形式和应用背景
   4.6.2 应用举例
  4.7 整数规划
   4.7.1 基本形式和应用背景
   4.7.2 应用举例
  4.8 典型优化算法软件介绍
  4.9 优化模型语言
   4.9.1 CVX
   4.9.2 AMPL
  4.10 总结
  习题4
第五章 最优性理论
  5.1 最优化问题解的存在性
  5.2 无约束可微问题的最优性理论
   5.2.1 一阶最优性条件
   5.2.2 二阶最优性条件
   5.2.3 实例
  5.3 无约束不可微问题的最优性理论
   5.3.1 凸优化问题一阶充要条件
   5.3.2 复合优化问题的一阶必要条件
   *5.3.3非光滑非凸问题的最优性条件
   5.3.4 实例
  5.4 对偶理论
   5.4.1 拉格朗日函数与对偶问题
   5.4.2 带广义不等式约束优化问题的对偶
   5.4.3 实例
  5.5 一般约束优化问题的最优性理论
   5.5.1 一阶最优性条件
   5.5.2 二阶最优性条件
  5.6 带约束凸优化问题的最优性理论
   5.6.1 Slater 约束品性与强对偶原理
   5.6.2 一阶充要条件
   *5.6.3 一阶充要条件：必要性的证明188equation
  5.7 约束优化最优性理论应用实例
   5.7.1 仿射空间的投影问题
   5.7.2 线性规划问题
   5.7.3 基追踪
   5.7.4 最大割问题的半定规划松弛及其非凸分解模型
  5.8 总结
  习题5
第六章 无约束优化算法
  6.1 线搜索方法
   6.1.1 线搜索准则
   6.1.2 线搜索算法
   6.1.3 收敛性分析
  6.2 梯度类算法
   6.2.1 梯度下降法
   6.2.2 Barzilar-Borwein 方法
   6.2.3 应用举例
  6.3 次梯度算法
   6.3.1 次梯度算法结构
   6.3.2 收敛性分析
   6.3.3 应用举例
  6.4 牛顿类算法
   6.4.1 经典牛顿法
   6.4.2 收敛性分析
   6.4.3 修正牛顿法
   6.4.4 非精确牛顿法
   6.4.5 应用举例
  6.5拟牛顿类算法
   6.5.1 割线方程
   6.5.2 拟牛顿矩阵更新方式
   6.5.3 拟牛顿法的全局收敛性
   6.5.4 有限内存 BFGS 方法
   6.5.5 应用举例
  6.6 信赖域算法
   6.6.1 信赖域算法框架
   6.6.2 信赖域子问题求解
   6.6.3 收敛性分析
   6.6.4 应用举例
  6.7 非线性最小二乘问题算法
   6.7.1 非线性最小二乘问题
   6.7.2 高斯--牛顿算法
   6.7.3 Levenberg-Marquardt 方法
   6.7.4 大残量问题的拟牛顿法
   6.7.5 应用举例
  6.8 总结
  习题6
第七章 约束优化算法
  7.1 罚函数法
   7.1.1 等式约束的二次罚函数法
   7.1.2 收敛性分析
   7.1.3 一般约束问题的二次罚函数法
   7.1.4 应用举例
   7.1.5 其他类型的罚函数法
  7.2 增广拉格朗日函数法
   7.2.1 等式约束优化问题的增广拉格朗日函数法
   7.2.2 一般约束优化问题的增广拉格朗日函数法
   7.2.3 凸优化问题的增广拉格朗日函数法
   7.2.4 基追踪问题的增广拉格朗日函数法
   7.2.5 半定规划问题的增广拉格朗日函数法
  7.3 线性规划内点法
   7.3.1 原始--对偶算法
   7.3.2 路径追踪算法
  7.4 总结
  习题7
第八章 复合优化算法
  8.1 近似点梯度法
   8.1.1 邻近算子
   8.1.2 近似点梯度法
   8.1.3 应用举例
   8.1.4 收敛性分析
   *8.1.5 非凸函数的邻近算子与近似点梯度法
  8.2 Nesterov 加速算法
   8.2.1 FISTA算法
   8.2.2 其他加速算法
   8.2.3 应用举例
   8.2.4 收敛性分析
  8.3 近似点算法
   8.3.1 近似点算法
   8.3.2 与增广拉格朗日函数法的关系
   8.3.3 应用举例
   8.3.4 收敛性分析
   8.3.5 Moreau-Yosida正则化
  8.4 分块坐标下降法
   8.4.1 问题描述
   8.4.2 算法结构
   8.4.3 应用举例
   *8.4.4 收敛性分析376equation
  8.5 对偶算法
   8.5.1 对偶近似点梯度法
   8.5.2 原始--对偶混合梯度算法
   8.5.3 应用举例395.8.
   8.5.4 收敛性分析
  8.6 交替方向乘子法
   8.6.1 交替方向乘子法
   8.6.2 Douglas-Rachford Splitting 算法
   8.6.3 常见变形和技巧
   8.6.4 应用举例415.8.
   *8.6.5 收敛性分析
  8.7 随机优化算法
   8.7.1 随机梯度下降算法
   8.7.2 应用举例
   8.7.3 收敛性分析
   8.7.4 方差减小技术
  8.8 总结
  习题8
附录A 符号表
附录B 数学基础
  B.1 线性代数基础
   B.1.1 矩阵内积与迹
   B.1.2 正交矩阵与（半）正定矩阵
   B.1.3 矩阵的秩
   B.1.4 像空间和零空间
   B.1.5 行列式
   B.1.6 特征值与特征向量
   B.1.7 广义逆
   B.1.8 Sherman-Morrison-Woodbury 公式
   B.1.9 Schur 补
  B.2 数值代数基础
   B.2.1 解线性方程组
   B.2.2 系数矩阵为特殊矩阵的方程组解法
   B.2.3 特征值分解与奇异值分解
   B.2.4 数值代数软件
  B.3 概率基础
   B.3.1 概率空间
   B.3.2 随机变量
   B.3.3 条件期望
   B.3.4 随机变量的收敛性
   B.3.5 随机过程
   B.3.6 概率不等式
参考文献
索引