相信大家肯定在机器学习中,会遇到“权重”和“偏置”这两个看起来很专业的词,ok,那他们到底是什么意思?并且起到了什么作用?我们一起来看看。

         这是我们老师的PPT,我学人工智能的,所以知道权重是什么意思,但是“偏置”我还真不了解。

         别急,伙伴们,我们先讲“权重”。

一.权重的‘形象比喻’以及作用

        我们经常在老师上课的时候,听到说“这门课在你们大学课程里权重占比很大”。想必大家都能听出言外之意,说人话。就是这节课很重要

        对头了,就是形容一个东西的重要性。在机器学习中,就是形容一个参数的重要程度。

        举个例子:

                小学的时候,有这几个科目“语文,数学,德育体美劳”。好,那你觉得哪个德权重更大,那当属于语文和数学这两门。而比较之下,那个所谓的“德育体美劳”权重不是很大。基本上,家长只认这两门。小时候,我语文和数学考80,我都不敢回去,真的是要被打的,可见,权重是真的指一个东西的重要程度。

        当然,我们不能单纯的从生活中去举例子,我们要进入到“机器学习”中,看看这个“权重”到底能有什么作用?

 我们非常熟悉的线性回归模型 y=wx+b 中(就是一个简单的一元一次函数)

官方的回答)​​“w”被称为权重(Weight)​,它是模型的核心参数之一,用于量化输入特征(x)对预测结果(y)的影响程度。

个人理解)w不就是数学中的斜率呗,那么斜率越大,对y(预测结果)的影响程度越大,你仔细想想对不对???你现在先抛开那个b不谈,等一下我会讲。

        y=x+b 和 y=20x+b ,你一看,那肯定是y=20x+b的变化程度比较大。是不是?

还不懂?回家吧,回家吧。。。。。。

二.偏置的“形象比喻”以及作用 

        欧克欧克,我们先举例子“卖柠檬水”。(蜜雪冰城的柠檬水还是挺不错的,我没收广告费)

场景设定

假设你开了一个柠檬水摊位,每卖出一杯柠檬水需要花费:

  1. 材料成本:每杯柠檬水需要2元(比如柠檬、糖、水的费用)。
  2. 摊位租金:无论卖出多少杯,每天必须支付10元的摊位租金。

现在,你想建立一个模型来预测每天的总成本。用数学公式表示就是:

总成本=(每杯成本×杯数)+摊位租金

对应到线性回归模型中:

y=w⋅x+b

  • y:总成本(要预测的值)
  • x:卖出的杯数(输入特征)
  • w:每杯成本(权重,这里是2元)
  • b:摊位租金(偏置项,这里是10元)

        看完是不是觉得有点懵,我先解释一下那个“权重”,就是每杯的柠檬水的重要程度是一样的的,因为它们的成本是一样的啊,所以权重一样啊。这你应该知道的。 

关键解释

1. 偏置项的作用:即使不卖出任何柠檬水,成本也不为零

假设某天你一杯柠檬水都没卖出(x=0):

                                                        y=2×0+10=10元

这时总成本是10元(摊位租金),这就是偏置项 b 的物理意义:

当输入特征为零时的基准值

2. 如果没有偏置项,模型会犯什么错?

如果模型没有偏置项(即 b=0),公式变为:

                                                        y=2×x

当卖出0杯时,模型预测总成本为0元,但实际成本是10元(租金)。这会导致预测结果永远比真实值低10元,模型无法准确拟合数据!

3. 偏置项让模型更灵活

假设你的摊位租金涨到了15元,或者换了一个免费摊位(租金为0元),只需要调整 b 的值即可:

  • 租金涨到15元:b=15,模型变为 y=2x+15
  • 免费摊位:b=0,模型变为 y=2x

偏置项让模型能灵活适应不同的“基准场景”,而不是强制所有情况必须从原点(x=0,y=0)开始。

        (个人理解):偏置就是抛开权重不谈,你的基准值是多少。字面意思就是:偏置像是一个变量偏离了多少。 就刚刚的柠檬水的例子,一杯没卖出,但是你要交租金,这就很蛋疼。所以这时,偏置为-10(白瞎了10块钱。)

        (在数学中呢)y=w⋅x+b,b就是截距

        (在机器学习中呢)y=w⋅x+b,b就是偏置,w就是权重

ok,你们现在应该是胸有成竹了,都知道“权重”和偏置是什么意思了,那么晚安各位,因为我现在的时间是凌晨12:10.祝大家都越来越好,拜拜。 

        

Logo

脑启社区是一个专注类脑智能领域的开发者社区。欢迎加入社区,共建类脑智能生态。社区为开发者提供了丰富的开源类脑工具软件、类脑算法模型及数据集、类脑知识库、类脑技术培训课程以及类脑应用案例等资源。

更多推荐