数学-基础知识
本文主要介绍了数学的一些基础知识，包括空间、范数、测度、正问题反问题与适定性等。
数学里空间的概念
空间
向量空间/线性空间
Vector space, is also called linear space.
赋范向量空间/赋范线性空间
内积空间
在数学里面，内积空间是增添了一个额外的结构的向量空间。这个额外的结构叫做内积，或标量积，或点积。这个增添的结构允许我们谈论向量的角度和长度。内积空间由欧几里得空间抽象而来，这是泛函分析讨论的课题。
度量空间
完备度量空间
完备空间或者完备度量空间是具有下述性质的空间：空间中的任何柯西序列都收敛在该空间之内。以有限维空间来说，向量的范数相当于向量的模的长度。但是在有限维欧式空间中还有一个很重要的概念—向量的夹角，特别是两个向量的正交。内积空间是特殊的线性赋范空间，在这类空间中可以引入正交的概念以及投影的概念，从而在内积空间中建立起相应的几何学。用内积导出的范数来定义距离，Banach 空间就成为了希尔伯特空间。
巴拿赫空间
在数学里，尤其是在泛函分析之中，巴拿赫空间是一个完备赋范向量空间。更精确地说，巴拿赫空间是一个具有范数并对此范数完备的向量空间。
希尔伯特空间
在数学中，希尔伯特空间是欧几里德空间的一个推广，其不再局限于有限维的情形。与欧几里德空间相仿，希尔伯特空间也是一个内积空间，其上有距离和角的概念（及由此引申而来的正交性与垂直性的概念）。此外，希尔伯特空间还是一个完备的空间，其上所有的柯西序列等价于收敛序列，从而微积分中的大部分概念都可以无障碍地推广到希尔伯特空间中。希尔伯特空间为基于任意正交系上的多项式表示的傅立叶级数和傅立叶变换提供了一种有效的表述方式，而这也是泛函分析的核心概念之一。希尔伯特空间是公式化数学和量子力学的关键性概念之一。
拓扑空间
- 再生希尔伯特空间
数学里范数的概念
向量的范数
向量的 0 范数
向量中非零元素的个数。 1 范数，为绝对值之和。 2 范数，就是通常意义上的模。 无穷范数，就是取向量的最大值。
首先定义一个向量为：a = [ − 5，6，8, − 10]
向量的 1 范数
向量的 1 范数即：向量的各个元素的绝对值之和。 >上述向量 a 的 1 范数结果就是：29，MATLAB 代码实现为：norm（a，1）；
向量的 2 范数
向量的 2 范数即：向量的每个元素的平方和再开平方根。 >上述 a 的 2 范数结果就是：15，MATLAB 代码实现为：norm（a，2）；
向量的无穷范数
- 向量的负无穷范数即：向量的所有元素的绝对值中最小的。 >上述向量 a 的负无穷范数结果就是：5，MATLAB 代码实现为：norm（a，-inf）；
- 向量的正无穷范数即：向量的所有元素的绝对值中最大的。 >上述向量 a 的负无穷范数结果就是：10，MATLAB 代码实现为：norm（a，inf）；
矩阵的范数
首先我们将介绍数学中矩阵的范数的情况，也就是无论哪个学科都统一的一种规定。例如矩阵A = [ − 1 2 − 3；4 − 6 6]
矩阵的 1 范数
矩阵的 1 范数即：矩阵的每一列上的元素绝对值先求和，再从中取个最大的，（列和最大）。 >上述矩阵 A 的 1 范数先得到[5,8,9]，再取最大的最终结果就是：9，MATLAB 代码实现为：norm（A，1）；
矩阵的 2 范数
矩阵的 2 范数即：矩阵 ATAATA 的最大特征值开平方根。 >上述矩阵 A 的 2 范数得到的最终结果是：10.0623，MATLAB 代码实现为：norm（A，2）；
矩阵的无穷范数
矩阵的 1 范数即：矩阵的每一行上的元素绝对值先求和，再从中取个最大的，（行和最大）。 >上述矩阵 A 的 1 范数先得到[6；16]，再取最大的最终结果就是：16，MATLAB 代码实现为：norm（A，inf）；
接下来我们要介绍机器学习的低秩，稀疏等一些地方用到的范数，一般有核范数，L0 范数，L1 范数（有时很多人也叫 1 范数，这就让初学者很容易混淆），L21 范数（有时也叫 2 范数），F 范数 ⋯ 上述范数都是为了解决实际问题中的困难而提出的新的范数定义，不同于前面的矩阵范数。
矩阵的核范数
矩阵的核范数即：矩阵的奇异值（将矩阵 svd 分解）之和，这个范数可以用来低秩表示（因为最小化核范数，相当于最小化矩阵的秩——低秩）。 >上述矩阵 A 最终结果就是：10.9287， MATLAB 代码实现为：sum(svd(A))
矩阵的 L0 范数
矩阵的 L0 范数即：矩阵的非 0 元素的个数，通常用它来表示稀疏，L0 范数越小 0 元素越多，也就越稀疏。 >上述矩阵 A 最终结果就是：6
矩阵的 L1 范数
矩阵的 L1 范数即：矩阵中的每个元素绝对值之和，它是 L0 范数的最优凸近似，因此它也可以表示稀疏。 >上述矩阵 A 最终结果就是：22，MATLAB 代码实现为：sum(sum(abs(A)))
矩阵的 F 范数
矩阵的 F 范数即：矩阵的各个元素平方之和再开平方根，它通常也叫做矩阵的 L2 范数，它的优点在它是一个凸函数，可以求导求解，易于计算。 >上述矩阵 A 最终结果就是：10.0995，MATLAB 代码实现为：norm（A，‘fro’）
矩阵的 L21 范数
矩阵的 L21 范数即：矩阵先以每一列为单位，求每一列的 F 范数（也可认为是向量的 2 范数），然后再将得到的结果求 L1 范数（也可认为是向量的 1 范数），很容易看出它是介于 L1 和 L2 之间的一种范数。 >上述矩阵 A 最终结果就是：17.1559，MATLAB 代码实现为： norm(A(:,1),2) + norm(A(:,2),2) + norm(A(:,3),2)
数学里测度的概念
测度（英语：Measure）在数学分析里是指一个函数，它对一个给定集合的某些子集指定一个数。感官上，测度的概念相当于长度、面积、体积等。一个特别重要的例子是欧氏空间上的勒贝格测度，它把欧氏几何上传统的诸如长度、面积和体积等概念赋予 n 维欧式空间 Rn 。例如，实数区间 [0, 1] 上的勒贝格测度就是它显而易见的长度，即 1。
传统的积分是在区间上进行的，后来人们希望把积分推广到任意的集合上，就发展出测度的概念，它在数学分析和概率论有重要的地位。
测度论是实分析的一个分支，研究对象有 σ 代数、测度、可测函数和积分，其重要性在概率论和统计学中都有所体现。
Measure (mathematics) - Wikipedia
勒贝格测度
在测度论中，勒贝格测度Lebesgue measure是欧几里得空间上的标准测度。对维数为 1，2，3 的情况，勒贝格测度就是通常的长度、面积、体积。它广泛应用于实分析，特别是用于定义勒贝格积分。可以赋予勒贝格测度的集合称为勒贝格可测集；勒贝格可测集 A 的测度记作 λ (A) 。一般来说，我们允许一个集合的勒贝格测度为 ∞ ，但是即使如此，在假设选择公理成立时，Rn 仍有勒贝格不可测的子集。不可测集的“奇特”行为导致了巴拿赫-塔斯基悖论这样的命题，它是选择公理的一个结果。
数学里正问题反问题与适定性
正问题和反问题
Forward problems are usually well-posed, i.e., they have a unique solution which is insensitive to small changes of the initial values. Inverse problems are the opposite to forward problems, meaning that one is given the effect and the task is to recover the cause.
Direct problem and Inverse problem
Regularization theory of the analytic deep prior approach
[[Lecture_11_Param_Est_class_notes.pdf]]
适定性 Well-posedness
适定问题和不适定问题(Well-posed and Ill-posed Problem)
Inverse problems and ill-posed problems are very hot in mathematics nowadays. The well-posed problems are that the solution of problems is existent, unique, and stable, if there is one or more to be dissatisfied , it is ill-posed.
适定问题 Well-posed Problem
The mathematical term well-posed problem stems from a definition given by 20th-century French mathematician Jacques Hadamard. He believed that mathematical models of physical phenomena should have the properties that:
- a solution exists,
- the solution is unique,
- the solution’s behavior changes continuously with the initial conditions.
Examples of archetypal well-posed problems include the Dirichlet problem for Laplace’s equation, and the heat equation with specified initial conditions. These might be regarded as ‘natural’ problems in that there are physical processes modelled by these problems.
不适定问题 Ill-posed Problem
Problems that are not well-posed in the sense of Hadamard are termed ill-posed. Inverse problems are often ill-posed. For example, the inverse heat equation, deducing a previous distribution of temperature from final data, is not well-posed in that the solution is highly sensitive to changes in the final data.
讨论
Continuum models must often be discretized in order to obtain a numerical solution. While solutions may be continuous with respect to the initial conditions, they may suffer from numerical instability when solved with finite precision, or with errors in the data. Even if a problem is well-posed, it may still be ill-conditioned, meaning that a small error in the initial data can result in much larger errors in the answers. Problems in nonlinear complex systems (so-called chaotic systems) provide well-known examples of instability. An ill-conditioned problem is indicated by a large condition number.
If the problem is well-posed, then it stands a good chance of solution on a computer using a stable algorithm. If it is not well-posed, it needs to be re-formulated for numerical treatment. Typically this involves including additional assumptions, such as smoothness of solution. This process is known as regularization. Tikhonov regularization is one of the most commonly used for regularization of linear ill-posed problems.
数学里的优化问题与正则化
最优化
最优化涉及到目标函数和约束条件。
目标函数：J(x) = f(x) 等式约束：gi(x) = 0, i = 1, 2, ⋯, m 不等式约束：hj(x) ≤ 0, j = 1, 2, ⋯, l
最优化的任务，是在约束条件下寻找 x，使得目标函数取得最优值（最大值或最小值）。
• 静态最优化：变量 x 与时间无关，或在所讨论的时间区间内是常量。
• 动态最优化：变量 x 是时间的函数，目标函数不再是普通函数，而是时间函数的函数，称为泛函数，简称为泛函。
求解动态最优化问题的方法主要有：古典变分法、极小（大）值原理及动态规划等 > 在动态最优控制中，目标函数是一个泛函数，因此求解动态最优化问题可以归结为求解泛函数极值的问题。变分法要解决的问题：求解无限个变量的函数极值。
把最优化方法和正则化方法相结合，应用于求解反问题。
P versus NP Problem
P versus NP problem - Wikipedia
P Problem
The general class of questions for which some algorithm can provide an answer in polynomial time is called “class P” or just “P”.
NP Problem
For some questions, there is no known way to find an answer quickly, but if one is provided with information showing what the answer is, it is possible to verify the answer quickly. The class of questions for which an answer can be verified in polynomial time is called NP, which stands for “nondeterministic polynomial time”
NP-complete Problem
正则化
在数学与计算机科学中，尤其是在机器学习和逆问题领域中，正则化（英语：regularization）是指为解决适定性问题或过拟合而加入额外信息的过程。
- Regularization (mathematics) - Wikipedia
- 正则化 (数学) - 维基百科，自由的百科全书
- Tikhonov regularization - Wikipedia
- 吉洪诺夫正则化 - 维基百科，自由的百科全书
可分离非线性最小二乘法
Separable nonlinear least squares (SNLS) problem is a special class of nonlinear least squares (NLS) problems, whose objective function is a mixture of linear and nonlinear functions. It has many applications in many different areas, especially in Operations Research and Computer Sciences. They are difficult to solve with the infinite-norm metric. In this paper, we give a short note on the separable nonlinear least squares problem, unseparated scheme for NLS, and propose an algorithm for solving mixed linear-nonlinear minimization problem, method of which results in solving a series of least squares separable problems.
W. Gharibi and O. S. Al-Mushayt, “A Note on Separable Nonlinear Least Squares Problem,” 2011 International Conference on Future Computer Sciences and Application, Hong Kong, China, 2011, pp. 54-56, doi: 10.1109/ICFCSA.2011.19.
基本概念与定理
矩阵求逆引理
矩阵求逆引理是信号处理中常用到的定理。这一公式的目的是将矩阵的逆用它的一个可加分量的逆来表示，从而为矩阵求逆提供有效的计算方法。
在递推最小二乘法估计问题中，因为每次推导运算时必须计算矩阵和的逆，这样做工作量非常大，为了简化，通常使用矩阵求逆引理来简化计算量。
矩阵求逆要解决的问题是： 已知一个高维矩阵 A 的逆矩阵，当矩阵 A 产生了一个非常小的变化（维数远低于 A 或低于 A）时，能不能根据已知的 A 的逆矩阵，求产生微小变化后的矩阵的逆。
Woodbury matrix identity - Wikipedia
置信区间
置信区间是指由样本统计量所构造的总体参数的估计区间。在统计学中，一个概率样本的置信区间（Confidence interval）是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度，其给出的是被测量参数的测量值的可信程度，即前面所要求的“一个概率”。
二次型
二次型（quadratic form）：n 个变量的二次多项式称为二次型，即在一个多项式中，未知数的个数为任意多个，但每一项的次数都为 2 的多项式。线性代数的重要内容之一，它起源于几何学中二次曲线方程和二次曲面方程化为标准形问题的研究。二次型理论与域的特征有关。
KL 散度及其用处
压缩感知
[[Compressed Sensing (Compressed Sampling).pdf]]
