实验表明,在解码64k上下文时,基于softmax架构的注意力计算占到总延迟的70%-80%。而在不影响性能的前提下,NSA在64k上下文的解码、前向传播和反向传播中均实现了显著加速。
2025年「诺奖风向标」斯隆研究奖公布了!一共126位来自七大科学领域科学家获奖,计算机领域共有22位学者。其中,华人学者占8席。值得一提的是,迄今已有58位斯隆研究员拿下诺贝尔奖。 其中一些分别来自国内高校的校友,有清华姚班校友Zhihao Jia ...
对此,上海人工智能实验室、卡耐基梅隆大学、新加坡国立大学和新加坡南洋理工大学团队提出DynamicCity,给出了突破性的解答。这项创新性工作以4D 到 2D 的特征降维为核心突破点,首次实现了高质量、高效的 4D ...
OpenAI 的评估结果显示,包括自家 GPT-4o、o1 和 Anthropic Claude 3.5 Sonnet 在内的前沿模型仍然无法解决大多数任务。从下图中可以看到,Claude 3.5 Sonnet 完成的任务最多,并且挣到了最高的 ...
英伟达CEO黄仁勋近日在接受采访时放出重磅预言——「每个人都应该立刻拥有一个AI导师!」这位执掌万亿级芯片帝国的科技巨擘,为何对AI教育如此推崇?AI导师如何重塑我们的学习方式?未来工作格局又将如何演变?让我们一起揭开AI导师时代的面纱!
现在,惠普已经和Humane达成协议,将收购公司的核心AI技术,包括AI驱动平台Cosmos,全公司的高素质技术人才,以及超过300项专利和专利申请的知识产权。
在一片质疑声之下,宇树科技CEO王兴兴在小红书上发了段自家机器人的最新视频。 “这机器人绝对是AI或CG合成的!” “这也太假了。” 在一片质疑声之下,宇树科技CEO王兴兴在小红书上发了段自家机器人的最新视频: ...
尽管在2021年至2022年间,网络安全预算有所增长,但近几年的增长势头已明显放缓。这意味着,网络安全领导者在采购决策时,必须更加审慎地考虑如何改善当前的安全和合规状况,以确保每一分投入都能带来实实在在的效益。
此外,尤其值得关注是该公司背后的豪华团队阵容,其中包括多位前 OpenAI 重要成员,如担任首席科学家的 John Schulman、著名 AI 研究科学家和博客作家翁荔。 上述推文中也写到:「我们是一些最广泛使用的 AI ...
当时间周一,埃隆·马斯克旗下的xAI公司正式发布了最新大模型Grok-3。这次,马斯克不仅带来了性能更强的AI,还秀了一把“肌肉”——20万块GPU组成的超级计算集群。这背后,到底是真正的技术突破,还是一场“大力出奇迹”的豪赌呢?
以广告领域为例,去年可口可乐曾尝试使用生成式AI工具Sora制作广告。尽管广告时长较短且场景略显不连贯,AI技术目前还无法完全替代真人拍摄,但其在成本节约方面的优势已得到广泛认可。为进一步挖掘Sora的潜力,OpenAI向“Sora Selects”项目投资300万美元,邀请10个艺术家团队(包括个人)制作短视频,充分展现Sora工具在创意表达中的可能性。
据介绍,DeepSeek 的这篇新论文提出了一种新的注意力机制 ——NSA。这是一个用于超快长上下文训练和推断的本地可训练的稀疏注意力机制,并且还具有与硬件对齐的特点。 论文标题:Native Sparse Attention: ...