Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
(资料图片仅供参考)
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf关键词：
焦点热门:大语言模型中的涌现现象是不是伪科学？
电信运营商三巨头变相降薪？取消车补、通信补贴，有员工抱怨收入减半
当前聚焦：传奇变态版哪个最火 十大热门传奇变态版手游合集
环球速读：三亚打造艺体特色教育 促进学生全面发展
快手涨超4% 上市后首次集团整体盈利
每日速读!花草简笔画简单又漂亮_花草简笔画
五洲新春：5月22日融资买入214.7万元，融资融券余额7834.76万元
"兰马""兰洽会"两大重头戏要开演 兰州倡守护黄河风情_焦点信息
环球消息！“巅峰使命”珠峰科考登顶科考队出发开始冲顶
太平鸟（603877）5月22日主力资金净卖出10.63万元
智云健康(09955)获高级管理层团队增持合共72.15万股 信息
索爱u20i刷机包_索爱u5i刷机_即时
初中化学方程式配平题100道_化学方程式配平技巧
喝茶可以去口臭吗_怎样可以去口臭_滚动
五开头的成语美好祝福_五开头的成语
环球观焦点：旗袍先生_关于旗袍先生介绍
鞋底什么材质好啊_鞋底什么材质好|全球视点
能源技术赋能工程教育，利用通信技术开启全球教育革新_世界新动态
上海动物园门票多少钱？附购买入口 聚看点
俄罗斯女士兵退伍后有多尴尬？有一部分嫁不出去！_世界观天下
焦点速讯：促进文化和旅游消费！河南明确八项措施→
海南周刊 | 针灸博士秦庆广：一把银针祛疼痛-滚动
百人对战FPS《BattleBit Remastered》6月steam抢测
天天播报:《燃冬》戛纳首映，是枝裕和现身捧场
101网校全国有多少家分校_101网校是免费的吗
魔兽世界中法师的寒冰箭攻击范围是多少米?_关于WOW里法师寒冰箭宏的问题
最新：海南自贸港完成国内首单A350机型飞机整机喷涂业务
对华钰矿业持续督导不到位 中信证券及两保代再收上交所监管警示 天天最新
失而复得的意思起个名字 失而复得的意思|焦点讯息
寂寞的寞组词（寂寞的寞组词淹没的没组词）
旗帜鲜明_关于旗帜鲜明介绍
舞钢农商银行开展2023年科技活动周宣传活动_当前动态
环球焦点！【链动2+1模式】共生共赢生态，让企业做大做强
本溪志愿者陪伴智障孩子一日游 天天新资讯
农业农村部部署“三夏”小麦跨区机收和机械化生产
时讯：永安期货：期指交割主力大幅减仓
相关新闻