拿破仑

注册日期:2024-10-16
访问总量:522037次

menu网络日志正文menu

全网第一个从专业角度肯定DeepSeek和梁文锋


发表时间:+-


按: 年初 DeepSeek 横空出世时,海内外众议纷纭,什么“偷窃”,“蒸馏”啊 等等。 尽是嘲讽、猜疑。沙河的博文,在国际业界大v和CEO们表态之前,第一时间从专业角度肯定DeepSeek 的原创性。今天,在梁文锋入选英国“自然”杂志年度人物之际,回头看这几篇博文,深为作者的真知灼见所折服。


332.png



320.png

几句话谈DeepSeek


沙河


科技研发就像走迷宫,一路过去有许多分岔。每个分叉口有多个选择: 左拐,右拐,后退或其它。


大概可以这么说,在AI 大模型研发迷宫路径的一个分叉口上,目前所有AI公司都跟它们的先行者,openAI一样往左拐。只有DeepSeek 选择了 右拐。结果发现,向右拐才是捷径(至少目前看来是)。


左拐,在这里是指在大模型后训练中使用监督学习微调;  右拐,采用纯强化学习。


Deep Seek另辟蹊径,右拐,可能因为强化学习是它们的强项。而多年前,openAI 没有右拐,可能因为当时强化学习才出来不久,他们还没有掌握这一技术。


强化学习源于优化算法中的动态规划(dynamic programming)。AI的 强化学习就是让大模型神经网络根据动态规划的算法不断更新参数。


通过强化学习可以培养AI 大模型的推理能力,掌握用数学方程表述的人类知识(在这之前AI 学会的都是用文字表述的人类知识), 比如广义相对论,量子力学等等。笔者过去一、二年里就多次建议中国AI ,特别是AGI, ASI 的研发者,关注强化学习。


但是强化学习/动态规划有点难。 它在计算机算法的教科书里是靠后的,许多未来的马工没学明白就翻过去了。在人工智能机器学习的教科书里,老的没有强化学习,新的也是靠后。


对强化学习/动态规划的技术掌握最好的包括从事计算金融/量化金融的研发人员,他们开发的量化交易模型几乎都是基于动态规划。(掌握强化学习动态规划技术的还包括从事军工研发,比如导弹火箭卫星的技术人员。前几年在车祸中去世的一个被称为军中顶尖人工智能专家的,就曾经在哈佛进修过强化学习)。


DeepSeek团队从量化金融算法的研发转过来,强化学习是他们的看家本领, 运用于AI 大模型更是轻车熟路。所以他们后来居上,一鸣惊人,是在意料之中。DeepSeek的成就是实质性的突破,说可比当年苏联的Sputnik卫星并不为过。说他们的模型是套壳的,是剽窃的,是外行话。


322.png



DeepSeek 窃取美国的技术了吗?




沙河




一大早起来看到,“白宫AI 顾问认为DeepSeek 可能窃取了美国的技术”。看了一下,注意到其指控是:DeepSeek疑似利用「蒸馏」技术盗用open AI模型输出成果。


这个可能是对的。Deepseek确实可能利用蒸馏技术获取数据用于自家模型的训练。 它们似乎也没有否定,还把几个蒸馏模型挂在网上。但这不是窃取技术。说盗取数据,就准确多了,微软和open AI就是怎么说的。


重点是,利用蒸馏数据训练并不是DeepSeek 取得成功的关键。DeepSeek 之所以能够后来居上,一鸣惊人,是因为两项原创技术/算法:


一,在大模型构架 上,开发出Multi-Head latent Attention(MLA)和 MOE架构,优化网络通讯路径,训练模型省时 省电省(算)力。


二, 在大模型“后训练”上采用直接强化学习, 使得模型展示出更高的智能,在 数学 、编程和推理的表现上尤为突出。


这里,第二项远比第一项重要。省时省电省算力,当然好,但这些都是钱可以解决的。而”用钱可以解决的事都不是事”,这句话在AI 界更成立。


用钱不能解决,至少不能很快解决的是,如何迅速提高智能?


人工智能模型的最终比拼是其产品的智能高低。超级智能 叫ASI, 最高的无所不知的是Digital God (数码神)。“得AI者得天下” 这个说法的终极意思应该是, “得数码神者得天下”。 什么意思?笔者两年前的文章对此有解释:


“Digital God (DG), 就是像上帝一样无所不知的人工智能。 人类知道的, DG知道;人类不知道的,DG也知道。DG 可望发现可科学,帮助人类解决重大问题。 


"比如说,如果问DG,怎样获得室温常压超导材料? 它可能会告诉你, 把什么什么材料按什么什么比例混合,在什么温度和什么压力下冶炼, 然后再怎么怎么淬火等等,可得室温常压超导材料。如此这般,世界上百多个凝聚态物理材料物理团队几十年来苦心孤诣而不得的材料,一举得来。 


"再比如说, 当地球人面临危机时, 如何迅速逃离地球?马斯克等人类想到的是坐飞船去火星。( 不可行, 太远, 也不宜居)。 DG可能会告诉你,可以如此这般造一个虫洞,从虫洞走, 达到另一宇宙上的一个可居行星。 从虫洞走, 逃离地球, 搞得好只有一步之遥,可以瞬间到达 。



普通人看了这几句话,一头雾水,没关系。如果中美政府高层和业界高层,没听说或者不明白这几句话,可能会有严重后果。但是,据笔者所知,至少有一个人明白,他就是openAI的CEO 。笔者看过他两年来访谈节目,知道他的目标是DG, AI 的星辰大海。 


324.png



向梁文锋同志学习


沙河


60多年前,毛泽东大笔一挥,写下“向雷锋同志学习”, 开启了一个人心向善的时代。今天,如果习近平能像当年的毛泽东一样,大笔一挥,改一个字,加一个字, 写下“向梁文锋同志学习”,则可开启一个人心向学的时代,有望在第四次工业革命中,国运长盛不衰。


梁文锋是第四次工业革命初期的英雄,也是中华民族几千年历史上真正的英雄之一。为什么加定语“真正”? 因为,中国近现代历史上不少家喻户晓的英雄 ,其实盛名难副。


袁隆平被称为“让中国人民吃饱饭”的英雄。但内行人说,袁隆平的杂交水稻主要的用途是牲口饲料,而不是为人民果腹。当代的传染病专家钟南山好像也有英雄或(无双)国士的称号。不过,许多人都此有非议。


梁文锋的同乡、跳水运动员全红婵也被许多人看成英雄, 她的老家跟梁的一样,门庭若市。实际上,全跟梁不好相提并论。且不说奥运冠军众多,他们的成就/表现/表演充其量有点观赏价值,对社会进步没有任何意义上推动,不论是直接的还是间接的。


比较接近梁文锋的有数学家陈景润。他是四、五十年前”向科学进军”时代的英雄,激励了一代莘莘学子。他的成果对数学研究有推动作用,虽然没有实际应用上的价值,但他的事迹推动了当时社会的人心向善、人心向学。


不同于马云等电商时代的财富英雄,他们主要靠捷足先登; 也不同李彦宏等早期的AI探索者,他们虽然率先起步,但囿于创新能力,未能脱颖而出。


横竖比较梁文锋和各路英雄,愈发显得他难能可贵。 饶毅称DeepSeek 是百多年来中国最重要的科技成果,没有之一。此话不虚。


梁文锋无疑是学霸。但在学霸一词被滥用的年代,仅仅说他是学霸显得含糊不清。一个更用力的比较是,梁的团队击败了阿里和百度的AI团队,而这两个团队富含包括斯坦福和伯克利教授在内的学霸。而且,梁文锋不仅仅是单纯的学霸,也很强的组织能力。就像欧本海默之于曼哈顿计划一样,梁文锋网罗各方英才,卓有成效地完成了人工智能的“曼哈顿计划”的第一阶段。


当我们倡导人心向善、人性向学的价值观时,推崇像梁文锋这样一己之力扭转国运的英雄时,也不要忘记那些迫害贤良志士、破坏和谐社会的罪人。过去二十多年来,参与造谣诽谤、海外追杀哈佛博士陈琳的团派打手、中国青年报匪徒就是这样的罪人。





浏览(120)
thumb_up(0)
评论(0)
  • 当前共有0条评论