每日看点!大语言模型中的涌现现象是不是伪科学?
2023-05-06 10:41:18来源:程序员客栈
Datawhale干货
(资料图片仅供参考)
作者:平凡@知乎,诺桑比亚大学,在读博士
今天晚上,花了一点儿时间看了两篇文章:
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior,即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。
我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:
作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。
从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf本网推荐
- 每日看点!大语言模型中的涌现现象是不是伪科学?
- 众多投资机构看好中国经济发展-天天新消息
- 环球新资讯:银行网点撤销,无端断卡,银行还需要存款和储户吗?
- 当前播报:名牌中学“掐尖”招生是与非:湖南省教育厅辟谣“四大名校恢复全省招生”
- 银行年利息怎么算_年利息怎么算 观热点
- 上汽集团:5月5日融资买入2502.16万元,融资融券余额17.74亿元
- 热门中概股多数上涨 好未来涨超12%
- 热点在线丨不会卖股票?换手率捕捉主力“逃跑”信号
- 兴业证券(601377):5月5日北向资金增持311.07万股|当前资讯
- 每日报道:那拉提是什么意思呢_什么是那拉提
- 干爆鸡胗锅怎么做?
- 焦点讯息:申花意大利队?吴金贵:有点不好意思,每场都是1-0
- 高龄能不能转行做程序员?
- 青藏高原浅覆盖区石墨找矿获重大突破-天天微头条
- 【五四特别致敬·我还是从前那个少年】五四青年节 听他们说......_焦点热议
- 天天消息!陕西省气象台发布暴雨蓝色预警
- 别让我伤心张信哲_别让我伤心 每日热点
- 视点!前车正准备倒车入库 宏光MINI EV见缝插针抢车位 路人纷纷指责
- 聚光科技:企业快速发展过程中,随着业绩基数逐年提高,一般来说增长速度易下降
- 今年首次天狗食月将登场 看能否捕捉月亮“变脸” 天天微头条
- 每日信息:兴业银行成功发行2023年第一期绿色金融债券
- 多家知名企业产品抽检不合格,涉康佳、美的等-天天热文
- 每日焦点!百利天恒首季仍亏损 年初上市募9.9亿安信证券保荐
- 小牛电动屡曝质量抽检问题还被罚款 供应链总裁何卫华怎么看?
- 一年2840个中国品牌在淘宝天猫成交额破亿 占比超7成|世界最新
- 吉电股份董秘回复:大安风光制绿氢合成氨一体化示范项目已经开工;目前全球氨消费量达1.7亿吨/年-微资讯
- 世界今日报丨时隔多年后的换代,这次再无对手 全新梅赛德斯-奔驰E级前瞻分析
- 海口汽车指标摇号需要什么条件?-当前信息
- 哈姆:必须要让浓眉更好地拿到球 相信失利后我们会做出回应
- 【天天新要闻】美商海盗船正式发布MP700:其首款PCIe 5.0 SSD,读取速度达10GB/s