机器学习数学基础:1.无穷小与无穷大相关知识
机器学习数学基础
·
无穷小与无穷大相关知识
一、无穷小的定义与性质
(一)定义
- 以零为极限:当自变量xxx趋近于某个值(如x→∞x \to \inftyx→∞或x→2x \to 2x→2等)时,若函数的极限值为000,则该函数是在该趋近过程中的无穷小。
- 例如:
- 当x→∞x \to \inftyx→∞时,limx→∞1x=0\lim_{x \to \infty} \frac{1}{x} = 0limx→∞x1=0,所以1x\frac{1}{x}x1是x→∞x \to \inftyx→∞时的无穷小,即xxx增大时,1x\frac{1}{x}x1趋近于000。
- 当x→2x \to 2x→2时,limx→2(3x−6)=0\lim_{x \to 2} (3x - 6) = 0limx→2(3x−6)=0,则3x−63x - 63x−6是x→2x \to 2x→2时的无穷小,即xxx趋近于222时,3x−63x - 63x−6趋近于000。
- 例如:
(二)基本性质
- 有限个无穷小的代数和仍是无穷小
- 当x→ax \to ax→a时,若α1\alpha_1α1,α2\alpha_2α2,⋯\cdots⋯,αn\alpha_nαn都是无穷小,那么它们的代数和α1+α2+⋯+αn\alpha_1 + \alpha_2 + \cdots + \alpha_nα1+α2+⋯+αn,当x→ax \to ax→a时极限仍为000,仍是无穷小。
- 例如:当x→0x \to 0x→0时,xxx,2x2x2x,3x3x3x都是无穷小,其和x+2x+3x=6xx + 2x + 3x = 6xx+2x+3x=6x,当x→0x \to 0x→0时,limx→06x=0\lim_{x \to 0} 6x = 0limx→06x=0,所以6x6x6x是无穷小。
- 有限个无穷小的积仍是无穷小
- 当x→ax \to ax→a时,若β1\beta_1β1,β2\beta_2β2,⋯\cdots⋯,βm\beta_mβm是无穷小,那么它们的乘积β1⋅β2⋯βm\beta_1 \cdot \beta_2 \cdots \beta_mβ1⋅β2⋯βm,当x→ax \to ax→a时极限为000,仍是无穷小。
- 比如:当x→0x \to 0x→0时,x2x^2x2和x3x^3x3都是无穷小,它们的积x2⋅x3=x5x^2 \cdot x^3 = x^5x2⋅x3=x5,当x→0x \to 0x→0时,limx→0x5=0\lim_{x \to 0} x^5 = 0limx→0x5=0,所以x5x^5x5是无穷小。
- 有界变量与无穷小的积仍是无穷小
- 设函数u(x)u(x)u(x)在xxx的某个变化过程中有界(即存在正数MMM,使得∣u(x)∣≤M|u(x)| \leq M∣u(x)∣≤M),同时γ\gammaγ是该过程中的无穷小,那么u(x)⋅γu(x) \cdot \gammau(x)⋅γ的极限为000,仍是无穷小。
- 例如:当x→∞x \to \inftyx→∞时,sinx\sin xsinx是有界函数(∣sinx∣≤1|\sin x| \leq 1∣sinx∣≤1),1x\frac{1}{x}x1是无穷小,那么sinx⋅1x\sin x \cdot \frac{1}{x}sinx⋅x1,当x→∞x \to \inftyx→∞时,limx→∞sinx⋅1x=0\lim_{x \to \infty} \sin x \cdot \frac{1}{x} = 0limx→∞sinx⋅x1=0,所以sinx⋅1x\sin x \cdot \frac{1}{x}sinx⋅x1是无穷小。
- 无限个无穷小之和不一定是无穷小
- 例如:limn→∞(1n2+2n2+⋯+nn2)\lim_{n \to \infty} (\frac{1}{n^2} + \frac{2}{n^2} + \cdots + \frac{n}{n^2})limn→∞(n21+n22+⋯+n2n),括号里每一项当n→∞n \to \inftyn→∞时都是无穷小,通过等差数列求和公式化简为n(n+1)2n2\frac{n(n + 1)}{2n^2}2n2n(n+1),进一步化简为limn→∞n+12n=12\lim_{n \to \infty} \frac{n + 1}{2n} = \frac{1}{2}limn→∞2nn+1=21,结果不是000,说明无限个无穷小之和不一定是无穷小。
(三)无穷小的商不一定是无穷小
- 举例:
- 当x→0x \to 0x→0时,limx→0x2x\lim_{x \to 0} \frac{x}{2x}limx→02xx,分子分母约掉xxx后得limx→012=12\lim_{x \to 0} \frac{1}{2}=\frac{1}{2}limx→021=21,是常数,不是无穷小。
- 当x→0x \to 0x→0时,limx→0x22x=limx→0x2=0\lim_{x \to 0} \frac{x^2}{2x}=\lim_{x \to 0} \frac{x}{2}=0limx→02xx2=limx→02x=0,是无穷小。
- 当x→0x \to 0x→0时,limx→02xx2=limx→02x=∞\lim_{x \to 0} \frac{2x}{x^2}=\lim_{x \to 0} \frac{2}{x}=\inftylimx→0x22x=limx→0x2=∞,不是无穷小。
- 由此可见,两个无穷小量相除,结果不确定,可能是常数、无穷小或无穷大等。
二、极限与无穷小的关系
(一)含义
- limx→x0f(x)=A\lim_{x \to x_0} f(x)=Alimx→x0f(x)=A的充要条件是f(x)=A+α(x)f(x)=A+\alpha(x)f(x)=A+α(x),其中α(x)\alpha(x)α(x)是x→x0x \to x_0x→x0时的无穷小。
- 当xxx趋近于x0x_0x0时,若函数f(x)f(x)f(x)极限是AAA,则可将f(x)f(x)f(x)拆分为常数AAA和当xxx趋近于x0x_0x0时极限为000的函数α(x)\alpha(x)α(x)。
- 反之,若f(x)f(x)f(x)可表示为A+α(x)A+\alpha(x)A+α(x),且α(x)\alpha(x)α(x)是x→x0x \to x_0x→x0时的无穷小,那么当xxx趋近于x0x_0x0时,f(x)f(x)f(x)极限是AAA。
(二)举例
- 假设函数f(x)=2x+3f(x)=2x + 3f(x)=2x+3,当x→1x \to 1x→1时,limx→1f(x)=limx→1(2x+3)=5\lim_{x \to 1} f(x)=\lim_{x \to 1} (2x + 3)=5limx→1f(x)=limx→1(2x+3)=5。
- 可将f(x)f(x)f(x)写成f(x)=5+(2x−2)f(x)=5 + (2x - 2)f(x)=5+(2x−2),这里555是常数AAA,(2x−2)(2x - 2)(2x−2)是α(x)\alpha(x)α(x)。
- 当x→1x \to 1x→1时,limx→1(2x−2)=2×1−2=0\lim_{x \to 1} (2x - 2)=2\times1 - 2 = 0limx→1(2x−2)=2×1−2=0,说明(2x−2)(2x - 2)(2x−2)是x→1x \to 1x→1时的无穷小。
- 由此可知,知道函数f(x)f(x)f(x)在某点极限值AAA后,可将f(x)f(x)f(x)表示成AAA加该点趋近于000的函数(无穷小);反之,若f(x)f(x)f(x)能表示成这种形式,也能知道其在该点极限是常数AAA。
三、无穷大的概念
(一)含义
- 无穷大不是一个具体的大数值,而是与函数变化过程相关的概念。
(二)符号表示
- 当xxx趋近于x0x_0x0时,若limx→x0f(x)=∞\lim_{x \to x_0} f(x) = \inftylimx→x0f(x)=∞或f(x)→∞(x→x0)f(x) \to \infty (x \to x_0)f(x)→∞(x→x0),表示在xxx趋近于x0x_0x0过程中,函数f(x)f(x)f(x)取值趋势是无穷大。
(三)举例
- 对于函数f(x)=1x−1f(x)=\frac{1}{x - 1}f(x)=x−11,当xxx趋近于111时,分母x−1x - 1x−1趋近于000,f(x)f(x)f(x)的值越来越大无上限,此时limx→1f(x)=∞\lim_{x \to 1} f(x) = \inftylimx→1f(x)=∞,即f(x)f(x)f(x)在x→1x \to 1x→1过程中是无穷大。
四、无穷小和无穷大的关系
(一)关系阐述
- 在自变量变换的同一过程中,若函数f(x)f(x)f(x)是无穷大,那么1f(x)\frac{1}{f(x)}f(x)1是无穷小。
(二)举例
- 对于函数f(x)=1x−1f(x)=\frac{1}{x - 1}f(x)=x−11,当x→1x \to 1x→1时,f(x)f(x)f(x)是无穷大,那么函数g(x)=1f(x)=x−1g(x)=\frac{1}{f(x)} = x - 1g(x)=f(x)1=x−1,当x→1x \to 1x→1时,limx→1g(x)=limx→1(x−1)=0\lim_{x \to 1} g(x) = \lim_{x \to 1} (x - 1) = 0limx→1g(x)=limx→1(x−1)=0,表明g(x)g(x)g(x)在x→1x \to 1x→1过程中是无穷小,验证了两者关系。
五、无穷小的比较
(一)前提条件
- 假设α=α(x)\alpha = \alpha(x)α=α(x),β=β(x)\beta = \beta(x)β=β(x)都是无穷小,即当x→x0x \to x_0x→x0时,limx→x0α(x)=0\lim_{x \to x_0} \alpha(x) = 0limx→x0α(x)=0,limx→x0β(x)=0\lim_{x \to x_0} \beta(x) = 0limx→x0β(x)=0。
(二)不同情况及含义
1. 高阶无穷小
- 定义:若limx→x0βα=0\lim_{x \to x_0} \frac{\beta}{\alpha} = 0limx→x0αβ=0,则称β\betaβ是比α\alphaα高阶无穷小。
- 举例理解:当x→0x \to 0x→0时,设α(x)=x\alpha(x) = xα(x)=x,β(x)=x2\beta(x) = x^2β(x)=x2,则limx→0β(x)α(x)=limx→0x2x=limx→0x=0\lim_{x \to 0} \frac{\beta(x)}{\alpha(x)} = \lim_{x \to 0} \frac{x^2}{x} = \lim_{x \to 0} x = 0limx→0α(x)β(x)=limx→0xx2=limx→0x=0,意味着xxx趋近于000时,x2x^2x2趋近于000速度比xxx快得多,所以x2x^2x2是比xxx高阶的无穷小,可想象x2x^2x2更快“奔向”000,xxx相对“慢”,故β(x)\beta(x)β(x)(x2x^2x2)是比α(x)\alpha(x)α(x)(xxx)高阶无穷小。
2. 低阶无穷小
- 定义:当limx→x0βα=∞\lim_{x \to x_0} \frac{\beta}{\alpha} = \inftylimx→x0αβ=∞时,称β\betaβ是比α\alphaα低阶无穷小。
- 举例:当x→0x \to 0x→0,令α(x)=x2\alpha(x) = x^2α(x)=x2,β(x)=x\beta(x) = xβ(x)=x,此时limx→0β(x)α(x)=limx→0xx2=limx→01x=∞\lim_{x \to 0} \frac{\beta(x)}{\alpha(x)} = \lim_{x \to 0} \frac{x}{x^2} = \lim_{x \to 0} \frac{1}{x} = \inftylimx→0α(x)β(x)=limx→0x2x=limx→0x1=∞,表明xxx趋近于000时,xxx趋近于000速度比x2x^2x2慢很多,所以xxx是比x2x^2x2低阶的无穷小,就像在趋近于000的“赛道”上,x2x^2x2已快速接近终点(000),xxx还在后面,故β(x)\beta(x)β(x)(xxx)是比α(x)\alpha(x)α(x)(x2x^2x2)低阶无穷小。
3. 同阶无穷小
- 定义:若limx→x0βα=C≠0\lim_{x \to x_0} \frac{\beta}{\alpha} = C \neq 0limx→x0αβ=C=0,则称β\betaβ与α\alphaα是同阶无穷小。
- 举例:当x→0x \to 0x→0,α(x)=2x\alpha(x) = 2xα(x)=2x,β(x)=3x\beta(x) = 3xβ(x)=3x,那么limx→0β(x)α(x)=limx→03x2x=32\lim_{x \to 0} \frac{\beta(x)}{\alpha(x)} = \lim_{x \to 0} \frac{3x}{2x} = \frac{3}{2}limx→0α(x)β(x)=limx→02x3x=23(不为000的常数),说明xxx趋近于000时,2x2x2x和3x3x3x趋近于000速度差不多,“齐头并进”,所以2x2x2x和3x3x3x是同阶无穷小。
更多推荐


所有评论(0)