大数据集上的广义最小二乘
•浏览 1
Generalized least square on large dataset
我想对未独立采样的数据进行线性拟合。我遇到了广义最小二乘法：
b=(X'*V^(-1)*X)^(-1)*X'*V^(-1)*Yb=(X'*V^(-1)*X)^(-1)*X'*V^(-1)*Yb= (X'/V *X)\\X'/V*YV = [1 1; ...
1 1];
V = [1 0.95; ...
0.95 1 ];
y = a0 + a1*x + a2*x^2 + ... + am*x^m方程为Matlab格式； X 和 Y 是数据点的坐标，V 是"方差矩阵"。
问题在于，由于它的大小(1000 行和列)，V 矩阵变得奇异，因此不可逆。有关如何解决此问题的任何建议？也许使用解决 GLS 以外的广义线性回归问题的方法？我可以使用并且(稍微)熟悉的工具是 Numpy/Scipy、R 和 Matlab。
代替：
b=(X'*V^(-1)*X)^(-1)*X'*V^(-1)*Yb=(X'*V^(-1)*X)^(-1)*X'*V^(-1)*Yb= (X'/V *X)\\X'/V*YV = [1 1; ...
1 1];
V = [1 0.95; ...
0.95 1 ];
y = a0 + a1*x + a2*x^2 + ... + am*x^m使用
b=(X'*V^(-1)*X)^(-1)*X'*V^(-1)*Yb=(X'*V^(-1)*X)^(-1)*X'*V^(-1)*Yb= (X'/V *X)\\X'/V*YV = [1 1; ...
1 1];
V = [1 0.95; ...
0.95 1 ];
y = a0 + a1*x + a2*x^2 + ... + am*x^m即用X/Y 替换X*(Y^-1) 的所有实例。 Matlab 将跳过计算逆(这很困难，而且容易出错)并直接计算除法。
编辑：即使使用最好的矩阵操作，某些操作也是不可能的(例如导致您描述的错误)。
可能与您的问题相关的一个示例是，如果尝试在多个测量值完美、100% 相关的约束下解决最小二乘问题。除了在极少数情况下，这在数学或物理上都无法实现。您需要在测量中具有一定的独立性，以解决测量噪声或建模错误。例如，如果您有两个测量值，每个测量值的方差为 1，并且完全相关，那么您的 V 矩阵将如下所示：
b=(X'*V^(-1)*X)^(-1)*X'*V^(-1)*Yb=(X'*V^(-1)*X)^(-1)*X'*V^(-1)*Yb= (X'/V *X)\\X'/V*YV = [1 1; ...
1 1];
V = [1 0.95; ...
0.95 1 ];
y = a0 + a1*x + a2*x^2 + ... + am*x^m而且你永远无法适应数据。 (这通常意味着你需要重新制定你的基函数，但那是一篇更长的文章。)
但是，如果您调整测量方差以允许测量之间存在少量独立性，那么它会毫无问题地工作。例如，95% 的相关测量看起来像这样
b=(X'*V^(-1)*X)^(-1)*X'*V^(-1)*Yb=(X'*V^(-1)*X)^(-1)*X'*V^(-1)*Yb= (X'/V *X)\\X'/V*YV = [1 1; ...
1 1];
V = [1 0.95; ...
0.95 1 ];
y = a0 + a1*x + a2*x^2 + ... + am*x^m您可以使用奇异值分解作为求解器。它会尽力做到最好。
我通常以另一种方式考虑最小二乘。你可以在这里阅读我的想法：
http://www.scribd.com/doc/21983425/Least-Squares-Fit
看看这是否更适合你。
我不明白大小是个问题。如果您有 N 个 (x, y) 对，您仍然只需要求解 M 阶多项式中的 (M 1) 个系数：
b=(X'*V^(-1)*X)^(-1)*X'*V^(-1)*Yb=(X'*V^(-1)*X)^(-1)*X'*V^(-1)*Yb= (X'/V *X)\\X'/V*YV = [1 1; ...
1 1];
V = [1 0.95; ...
0.95 1 ];
y = a0 + a1*x + a2*x^2 + ... + am*x^m