大语言模型中的涌现现象是不是伪科学?
Datawhale干货
(资料图)
作者:平凡@知乎,诺桑比亚大学,在读博士
今天晚上,花了一点儿时间看了两篇文章:
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior,即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。
我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:
作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。
从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf标签:
推荐文章
- 大语言模型中的涌现现象是不是伪科学?
- 【独家】新华全媒+|夜幕下,一个群体带动城市消费新热潮
- 环球热推荐:极目时评丨环卫母亲与高考儿子相拥而泣刷屏,普通人改变命运的努力打动人心
- 天天亮点!部分交友软件仍对未成年人“不设防” 未实名认证也可“畅通无阻”业内建议默认开启青少年模式
- 知名港星自曝曾弃演!被《一舞倾城》剧本吸引,戏外单身十多年 世界今日讯
- RK3588-UART
- 全球资讯:支付宝的钱怎么转到微信零钱(支付宝的钱怎么转到微信)
- 美女脚丫照片_美女的脚丫怎样吃好吃
- 全球观天下!【短讯】避而不谈开工率 宁波韵升:下游市场需求相对低迷|直击业绩会
- 今日最新!300英雄战绩查询网(300英雄战绩查询)
- 印象庆阳网门户网站 印象庆阳网-天天简讯
- 龙虾养殖经济效益(如何选择合适的龙虾品种进行养殖) 世界球精选
- 环球速看:误食毒蘑菇的特效药是什么,误食毒蘑菇有什么症状
- 和袭美木兰后池三咏浮萍赏析_和袭美木兰后池三咏白莲译文 全球新要闻
- 2023年第三期和第四期储蓄国债(电子式)今日发行 五年期票面利率3.07%
- 每日头条!大众CC保养一次多少钱?费用范围及实例分析!
- 饭圈又出事了!张艺兴被粉丝要挟解散团队,成毅郑业成两人也受粉丝牵连_世界热头条
- 【短讯】扎克伯格评苹果MR新品:价格是自家产品的7倍 但没看到什么突破
- 开发三味下载百度贴吧 开发三味在线播放无修版|今日讯
- 消息!荣盛发展拟收购荣盛盟固利76%股权 股价一字涨停
- 腾讯控股:本公司董事会欣然宣布,本公司的股份已获香港联合交易所有限公司指定为港币|环球百事通
- 楚雄州市场监管局:召开创建国家食品安全示范城市暨落实食品安全“两个责任”工作现场推进会
- 北京朝阳区与天津市滨海新区签署战略合作框架协议
- 陕西能源(001286.SZ):商洛电厂二期2×660MW项目获得核准 热点聚焦
- 金十期货数据中心今日路透商品指数CRB、ICE碳排放期货价格已更新!点击查看最新数据>>
- 通行宝:6月8日融资买入271.59万元,融资融券余额3482.93万元-环球快报
- 世界看热讯:俄外交官:日本应与国际社会协商核污染水排海计划
- 水晶粉丝包菜的家常做法(水晶粉)
- 兴业证券拟向兴证资本增资18亿元
- 意大利现场直击,沃尔沃EX30这回端出了多少牛肉
- 雅视光学(01120):吴逸珊获委任为执行董事-天天热门
- 鬼火角财富幸运是什么式神哪里多(鬼火角财富幸运)-环球看热讯
- 94262是什么意思(9426是什么意思)_环球通讯
- 67平简约风餐厅设计很有文艺范,打通次卧和阳台更显宽敞 环球微动态
- 拟定调研课题34个 力解企业发展之忧 湖北联投推动主题教育落实落细
- 奥迪a4l车钥匙怎么打开换电池(奥迪a4l车架号在哪里?)|最新
- 环球新资讯:前LPL明星选手复出!Sofm离开WBG后转型永劫无间,参加单排比赛
- 环球滚动:什么是爱情观深度解析_什么是爱情观
- 2023中考是几月几号
- 世界观热点:iOS 17升级方法来了 一分钟搞定!完全免费
- 湖南开展世界海洋日暨全国海洋宣传日活动
- 清越科技:公司未向苹果供货 目前8英寸硅基OLED微显示器生产线的良率、产能尚处于量产初期 天天微动态
- 天天热门:定存正式告别“3时代” 永赢稳健增利基金经理陶毅对家庭资产配置的两点提醒
- 扔实心球技巧口诀(扔实心球技巧)
- 【崩坏三/布洛妮娅/病娇】布洛妮娅:舰长难道不想永远和布洛妮娅在一起吗……
- 世界看热讯:上交所邱勇:截至5月底科创板IPO融资达8200亿
- 急性肠胃炎能吃什么粥(急性肠胃炎能吃什么) 时快讯
- 峨汉高速大峡谷隧道双洞顺利贯通 世界快看点
- 电脑微软输入法打字不显示选字框怎么办 win10微软输入法打字不显示选字框 天天快看
- 速讯:广东2023年夏季高考首场考试顺利进行,70万考生奔赴考场
- 当前信息:河北省气象台更新大风蓝色预警【Ⅳ级/一般】【2023-06-08】
- 国网元宝山区供电公司:全力以赴答好高考保电“考卷”
- Lunaz展示其电动阿斯顿马丁DB6EV
- 每日关注!GaussDB(DWS)查询过滤器原理与应用
X 关闭
最新资讯
- 中电兴发:公司目前暂时没有液冷技术数据中心 |每日快报
- 每体:巴萨计划向梅西送上正式报价,但球队无法保证球员能被注册_新要闻
- 世界新消息丨商务预报:5月29日-6月4日36个大中城市食用农产品零售价格情况
- 心理专家到校讲座,科华中路小学教师感受“赞美的力量”
- 镇江句容:废弃地变身“好农田”矿地融合催生“好钱景”-世界滚动
- 关于原点对称的点的坐标规律_关于原点对称的点的坐标
- 【收评】硅铁日内下跌1.59% 机构称硅铁反弹做空为主-速递
- 世界热消息:股票带r是什么意思
- 最新资讯:龙舟赛催生旅游热 多彩活动喜迎八方客
- 世界要闻:突发,闪崩跌停
- 公司在数据管理方面有何优势?优博讯回应 天天热讯
- “开源”有道 “撬动”给力 监管有方 天津财政助力乡村振兴全面推进
- 收评:两市震荡分化沪指小涨 通信服务板块走强
- 微软发掘AI“新用途”:搜索Chrome时BingChat打出推广-天天要闻
- 6月7日江苏森森炭业活性炭价格动态
- 俄罗斯联邦委员会同意废除与乌克兰签署的亚速海和刻赤海峡合作使用条约|世界焦点
- 调查显示:我国消费者对食品添加剂仍存在四大误解_全球微头条
- 天天新消息丨大连市气象局发布海上大风蓝色预警【IV级/一般】【2023-06-07】
- 国内卖了近20年的合资SUV,本田CR-V的混动新车表现如何_环球热讯
- 镇江市公共数据平台案例荣膺数字政府管理创新成果|全球简讯
- 中牟县滨河社区:减少噪音筑梦未来 共同助力考生圆梦 世界关注
- 论述题和简答题的区别_简答题和论述题区别-今日快看
- 环球资讯:文安荆楚 ⑬丨你知道汉江有多特别吗?
- 2023内蒙古高考总分多少分 各科满分是多少
- 广东队重大决定!上海男篮太失望,下赛季希望不大
- 开启执法协作新篇章,太仓举办长三角一体(沪苏)综合执法融合共建暨队列会操“大比武”活动
- 新巨丰拟收购纷美包装股权,深交所下发重组问询函
- 关键IT计划重塑CIO议程
- NixOS 与 Nix Flakes 新手入门
- 高通骁龙8 Gen3曝光:X4超大核主频达3.7GHz 史无前例|天天即时
- 视点!粤港澳大湾区每日地产资讯(2023-6-5)
- 天天通讯!【地评线】河声:全力护航高考 为奋斗的青春喝彩
- 6月7日中油西北顺丁橡胶价格稳定
- 美国女子宣布嫁给AI机器人 称其是完美男人
- 主力合约资金流向金十期货6月6日讯,截至23:00,资金流入方面,铁矿石2309流入4.38亿元,玻璃2309流入2.29亿元,豆油2309流入1.26亿元;资金流出方面,甲醇2309流出4.70亿元,螺纹2310流出1.46亿元,焦煤2309流出1.31亿元
- 安德烈·博雷佐夫楚克
- 前倾45度不倒所用道具_前倾45度
- 【环球快播报】存款利率即将再降?银行:在等通知,3年期定存仍有3%以上产品
- 归暮古诗有哪些 落日归鸟的诗句
- 今日热门!古代带兵打仗的游戏叫啥_古代带兵打仗的游戏
- 快看点丨黄山市首个社区运动健康中心正式启用
- 北京10086人工服务怎么打-10086人工服务怎么打
- 豆丁网首页登录_豆丁网首页登陆 焦点消息
- 当前热门:i5 4590相当于现在什么cpu(i5 2500 cpu参数)
- 《最终幻想16》新实机截图:更黑暗的召唤兽形象! 世界播报
- 快e贷网贷逾期5000延迟还款影响征信吗
- 腊狗肉怎么做好吃视频_腊狗肉怎么做好吃
- 我国生态环境保护制度得到系统性完善 老百姓幸福感和获得感满满
- 当前快讯:中消协:共同推动预付式消费监管在国家层面立法
- 起居注_起居
X 关闭