本文将对正则稀疏优化模型以及算法研究的发展进行综述，并总结归纳最具代表性的几种模型及算法。我们将正则稀疏优化模型分为两大类，从正则项的选取和构造特点出发，分为单正则稀疏优化模型和混合正则稀疏优化模型两大类。另外，我们结合最新研究成果，从损伤识别、故障诊断、超分辨率重建和电阻抗层析成像等实际问题出发，提出构造不同的正则稀疏优化模型新思路，并探讨新模型和算法可以研究的内容及方向，进一步探索模型和算法更广阔的应用前景。
2.正则稀疏优化模型及算法综述
2.1.l0稀疏优化模型与算法概述
原始稀疏优化模型共有三种类型：
第一种：带有线性约束的l0极小化稀疏优化模型[12][13]
第二种：带有非线性约束的l0极小化稀疏优化模型[14]
第三种：l0正则稀疏优化模型[12][15][16]
l0范数具有离散结构，同时模型(1)、(2)和(3)都是NP-hard[14][15]，针对这两大挑战，专家学者提出了两种经典算法：贪婪算法和硬阈值算法。
1993年，Mallat等[11]介绍了一种贪婪算法：匹配追踪算法。1995年，Natarajan[14]提出启发式贪婪算法。2004年，Tropp[17]给出了一种贪婪算法:正交匹配追踪算法。但是贪婪算法具有一定的局限性，只有维度较低时，才可以快速有效地求解l0稀疏优化模型。当处理高维度模型时，该算法效率明显降低.因此专家学者设计出硬阈值算法来高效地求解高维度下l0稀疏优化模型[12][13][18]。2006年，Herrity等[13]提出两种硬阈值算法：GENERAL和BLOCK迭代阈值算法。
2.2.l1正则稀疏优化模型与算法概述
l0稀疏优化模型本身限制了算法的设计和求解效率，因此学者们相继采取了很多改进的方法。首先，1998年，Chen和Donoho[19]提出l1正则稀疏优化模型：
此外2000年，Osborne，Presnell和Turlach[27][28]从另一角度出发提出，此方法求解模型(4)。2007年，Figueiredo等[29]从梯度投影的角度出发，提出稀疏重构梯度投影方法，数值实验表明该方法具有很广泛的应用空间，并且与其他算法相比计算速度有明显提高。同年，Hale和印卧涛等[30]提出不动点连续方法，应用于带有噪声数据的大规模问题时与其他算法相比有很好的效果。2011年，Becker及Candès团队[31]结合不动点连续技术、光滑化技术[32]与改进的梯度方法，设计出加速Nesterov算法，其中Nesterov算法的核心之一是对迭代序列进行微调均衡，已被证明可以提高标准梯度下降算法的收敛速率。加速Nesterov算法非常适合解决大规模压缩感知重建问题，因为其求解效率高，计算精确，且具有灵活性，适用于许多类型的重建问题，此外，该算法具有鲁棒性，即在广泛的问题上的优异性并不依赖于几个参数的微调。针对具有大动态范围的实际信号问题等该算法也具有明显的优势。2011年，Yang等[33]另辟蹊径给出一阶原始-对偶交替方向算法求解模型(4)，算法执行过程中每次迭代都会更新原始变量和对偶变量，数值实验表明该算法有效性的同时还验证了其通用性。
2.3.lp正则稀疏优化模型与算法概述
理论分析和数值实验结果表明l1范数并不是l0范数在一般实践中的最好近似值[34][35]。因此2001年范剑青等[36]提出并证明了lp范数较l1范数可得到更稀疏的解。基于上述理论证明，2008年，Candès等[37]给出lp正则稀疏优化模型：
模型(5)非凸、非光滑、非Lipschitz连续，且是强NP-Hard[15]，不过与模型(3)相比，该模型仍有一些好的性质[15][38]，这使得针对该模型所设计出的算法其泛化性和适用性高于模型(3)。
2.4.混合正则稀疏优化模型与算法概述
本节中，我们将概述六类混合正则稀疏优化模型与算法。
2015年，Lou等[48]发现l1范数和l2范数的差可以更好地逼近l0范数，因此提出混合l1-l2正则稀疏优化模型：
2017年，Selesnick提出一类非凸混合正则稀疏优化模型[51]：
并设计出邻近算法：向前–向后算法求解全局极小解，克服了稀疏正则优化模型只用l1作为正则项往往会低估真实解的问题。
受到上述模型和算法的启发，可以知道lp比l1可以更好地逼近稀疏解，同时混合式正则项可以达到更好的效果，因此Gao等提出两种混合正则稀疏优化模型：
3.正则稀疏优化模型及算法的应用前景
受到上述正则稀疏优化模型及算法发展过程的启发，结合该领域在实际应用中的最新研究成果，我们从工程的损伤识别[55]、齿轮箱复合故障诊断[56]、遥感图像超分辨率重建(SuperResolutionReconstruction,SRR)[57][58]以及碳纤维复合材料(CarbonFiberReinforcedPolymer,CFRP)电阻抗层析成像[59]等实际问题出发构造新正则稀疏优化模型，并探讨正则稀疏优化模型及算法更广阔的应用前景。
3.1.损伤识别
针对上述识别因子构造，我们可以考虑新的构造公式如下：
或
3.2.齿轮箱复合故障诊断
齿轮箱是工业系统和轨道交通系统中的重要动力传输部件，其运行状况直接关系到工业系统的健康状况和高速列车的服役性能。由于加工工艺复杂，装配精度要求较高，工作环境恶劣，齿轮箱极易受到损伤，这将直接导致旋转机械系统发生故障，从而产生较大的经济损失甚至造成人员伤亡。此外，振动信号中常常包含多种元素并伴随着强烈的背景噪声，给齿轮箱故障诊断带来了很大的困难。宋泽树等[56]针对传统稀疏分解方法存在的计算效率低，幅值低估以及估计精度不足等问题，提出了一种基于调Q小波变换作为稀疏表示字典的广义平滑对数正则化稀疏分解方法，再利用前向后向分裂(Forward-BackwardSplitting,FBS)稀疏分解算法精确求解稀疏表示模型，并通过数值实验验证了所提出方法在齿轮箱复合故障诊断中的适用性与优越性，且在强噪声背景下可以提高重构信号的精确度。其中，正则稀疏优化模型的目标函数如下：
因为模型的目标函数(16)较为复杂，暂时不考虑引入混合正则项，我们可以构造新的正则稀疏优化模型的目标函数如下：
再结合求解lp的方法设计高效的迭代算法，并将其应用到齿轮箱复合故障诊断中验证模型和算法的有效性和适用性。
3.3.遥感图像超分辨率重建(SRR)
SRR是当前卫星遥感数据空间分辨率提升的重要技术，但目前现有的超分辨率重建方法在处理具有复杂地物特征的图像时效果不是很理想。当遥感图像中含有多种非均匀地物信息时，很难构建通用的模型来解决其病态问题。于是，杨雪等[57]提出一种混合稀疏表示模型的新型超分辨率重建方法(MSR-SRR)，数值实验表明，该方法的分类结果总体精度和Kappa系数提升更明显，得到的图像细节信息更突出，且不受地物本身类别的限制，不局限于图像的信息提取和分类方法，在提升GF-4图像分辨率方面有很大潜力，可用于图像去噪和图像恢复等，对减灾防灾、气象预警等具有十分重要的意义。其中正则稀疏优化模型如下：
分析模型(18)中每一项代表的不同意义，可以考虑构造如下两种新正则稀疏优化模型：
3.4.CFRP电阻抗层析成像建
碳纤维复合材料(CFRP)作为一种新型复合材料，具有高比强度、高比模量及稳定性好等优点，已被广泛应用于航空航天领域。为确保材料使用的安全性，CFRP的有效检测尤为重要，其中电阻抗层析成像(ElectricalImpedanceTomography,EIT)以其无创性、可视化、无辐射、操作简单、成本低等优点被广泛研究应用。但是电阻抗层析成像逆问题求解具有严重的病态性，因此马敏等[59]提出了一种基于改进低秩稀疏正则化的电阻抗层析成像算法。数值实验表明，该算法能够增强解的稀疏性，改善EIT逆问题的病态性，对于冲击损伤、分层损伤和裂纹损伤均具有良好的反演能力，成像质量均优于传统的三大算法，且成像效果稳定，具有良好抗干扰性，在CFRP损伤检测方面有良好的应用前景。其中EIT重建过程描述如下：
模型(20)的特别之处在于它是混合稀疏向量和稀疏矩阵的优化模型，基于此，我们可以构造如下两种新正则稀疏优化模型：
3.5.低秩矩阵正则稀疏优化模型、算法及应用拓展
故障检测(FaultDetection,FD)[4]在微电子制造、电力系统和农业生产等现代工业过程中至关重要。FD方法可以分为基于模型的方法和数据驱动的方法。针对故障检测，修贤超和刘万泉等构建了如下低秩矩阵稀疏优化模型[4]：