512颗GPU!阿里达摩院发布全球最大AI预训练模型
来源:快科技 发布时间:2021-11-09 13:53:31

11月8日,阿里巴巴达摩院公布了多模态大模型“M6”的最新进展,其参数已从万亿跃迁至10万亿,成为全球最大的AI预训练模型。

作为通用性AI大模型,M6拥有多模态、多任务能力,尤其擅长设计、写作、问答,在电商、制造业、文学艺术、科学研究等领域有广泛应用前景。

10月,M6再次突破业界极限, 使用512颗GPU,在10天内就训练出了具有可用水平的10万亿模型,相比去年发布的大模型GPT-3,M6实现了同等参数规模,能耗却只有1%。

另一方面,AI大模型扩展到千亿及以上参数的超大规模时,很难放在一台机器上,为此达摩院 在阿里云PAI自研Whale框架上搭建了MoE模型,并通过更细粒度的CPU offload技术,最终实现将10万亿参数放进512张GPU:


M6设计的飞行汽车

目前,达摩院联合阿里云已推出 M6服务化平台 ,为大模型训练及应用提供完备工具,首次让大模型实现“开箱即用”,算法人员及普通用户均可方便地使用平台。

【来源:快科技】【作者:上方文Q】

关键词: 阿里巴巴 人工智能 达摩院 512颗GPU、10万亿参数!阿里达摩院

猜你喜欢

安卓板皇三星Galaxy Tab S8 Ultra曝光:14.6寸

1月14日消息,WinFuture曝光了三星GalaxyTabS8Ultra的渲染图和详细参数。更多

2022-01-15 22:44:36

体积瞬间缩小4倍!三星全新折叠屏笔记本专利曝光

近日,WIPO(世界知识产权局)公布了三星的一项技术专利,该专利展示了一种可多次折叠的电子设备。更多

2022-01-15 22:44:24

RTX 3060 Ti新版首曝:GA103核心、几个月没到货了

RTX206012GB、RTX308012GB、RTX3070Ti16GB……NVIDIA近期接连的打造了多款显卡的新版本,看起来只是...更多

2022-01-15 22:43:55

比亚迪宋PLUS DM-i斩获12月全国混动车型上险冠军

前不久,比亚迪公布了2021年年度销量数据,数据显示,比亚迪全年销售汽车730093辆,同比增长75 4%...更多

2022-01-15 22:43:19

可拆电池的安卓新机发布:TF卡槽/耳机孔都配齐了

回忆一下,你有多久没有见过或者用过电池可拆卸设计的智能手机了?更多

2022-01-15 19:46:21

LG新能源同一矿商签订70万干吨锂精矿采购协议

据国外媒体报道,随着电动汽车需求的大幅提升,对动力电池的需求也逐年增加,各大电池制造商也在尽...更多

2022-01-15 19:46:13

国产“电动牦牛”亮相 负重160公斤健步如飞

1月14日消息,据“央视军事”报道,我国自主研制的“电动牦牛”,是世界上体形最大、载重和越野能力...更多

2022-01-15 19:46:04

红魔7入网照片公布:全球首款骁龙8游戏旗舰

今天,红魔游戏手机7“证件照”正式对外公布,在外观上沿用了此前红魔系列的设计语言。更多

2022-01-15 19:45:53

PCIe 4.0硬盘份额仅10% PCIe 5.0/6.0技术普及有得等了

AMD在2019年的锐龙3000系列处理器上就首发了PCIe4 0技术,现在已经两年半时间了,各大SSD厂商也都...更多

2022-01-15 19:45:40

荣耀X30大内存版上新:12+256GB仅售2299元

上个月,荣耀在“2021荣耀周年庆暨荣耀X30新品发布会”上,正式推出了八年诚意之作——荣耀X30。更多

2022-01-15 16:44:44


© 2012-2020 财经快报网 版权所有

网站联系邮箱:98 28 36 7@qq.com