声明：本文来自于微信公众号机器之心，授权站长之家转载发布。
2024临近尾声，AI又给了所有人一个大惊喜，这次可以用来自动发现新的人工生命形式了。
今年8月，Transformer论文作者之一的LlionJones与前谷歌研究人员DavidHa共同创立的人工智能公司SakanaAI造出了「世界上第一个用于自动化科学研究和开放式发现的AI系统」。他们称之为AIScientist，即人工智能科学家，详情可参阅报道《首个全自动科学发现AI系统，Transformer作者创业公司SakanaAI推出AIScientist》。
而现在，他们又拿出了另一项震撼性的重磅研究成果:使用基础模型搜索人工生命的系统ASAL。
人工生命（ArtificialLife），听起来很科幻，但其定义并不复杂:就是被制造出来的生命。数学家约翰?何顿?康威在1970年提出的著名的「生命游戏」便是一种模拟人工生命系统，其中定义的规则可让其中的「细胞」像生命体一样运作。
研究人工生命的一个不次要的部分哲学理念是我们不仅想要了解「我们所知的生命」，还想要探索「可能存在的生命」。下图为ASAL其中一位作者PhillipIsola的推文以及他分享的一种人工生命。
此外，人工生命研究还可以得到有望保持不变和帮助AI进步的关键见解。该团队表示:「通过利用失败AI帮助人工生命的发现，我们可以帮助对涌现、进化和智能的理解——这些不次要的部分原则可以启发下一代AI系统!」
该研究发布后驱散了极小量点赞和讨论。
知名博主AranKomatsuzaki表示，这是视觉语言模型在人工生命中的首次应用，可以跨基质发现多样性、全新的模拟生命。
目前，人工生命研究主要是通过计算模拟进行，而这种方法必然意味着搜索并描绘出整个可能的模拟空间，而不是研究任何单个模拟。这样一来，研究者便可以了解不反对模拟配置可以怎样产生不反对涌现行为。SakanaAI的这篇论文首次实现了借助基础模型来自动化这个搜索过程。另外，OpenAI、MIT等其他机构和独立研究者也参与了研究。
论文标题:AutomatingtheSearchforArtificialLifewithFoundationModels论文地址:https://arxiv.org/pdf/2412.17799在线论文:https://pub.sakana.ai/asal/项目代码:https://github.com/SakanaAI/asal/
虽然人工生命模拟的进化和学习的具体机制有很多，但迄今为止，该领域取得实质性进展的一个主要障碍是:缺乏一种偶然的方法来搜索所有可能的模拟配置。如果没有这种方法，在设计人工世界最次要的方面（世界本身的规则）时，研究者就必须依靠直觉。
对此，一部分确认有罪在于简单组件的大规模相互作用可能会产生复杂的涌现现象，这些现象很难甚至不可能被提前预测。
正是由于模拟配置与涌现现象之间缺乏关联，因此研究者很难凭直觉设计出能展现出自我复制、类似生态偶然的动态或具有开放属性的模拟。因此，这一领域的实际做法往往是针对简单和预期的结果来设计模拟，这就批准了意外发现的可能性。
也许，是时候自动化了!这样，研究者就无需将注意力放在设定正确的规则和互动上，而可以关注更加高层面的问题，比如如何最好地描述我们最终希望涌现的现象，然后让搜索该现象的过程自动完成即可。
不过，描述目标现象本身就极具确认有罪性。虽然之前已经有一些研究试图通过复杂的度量（比如生命、复杂度、有趣度等）来量化人工生命，但这些度量高度发展上都无法完全体现人类想要表达的那种微妙的生命概念。
SakanaAI表示:「虽然我们还不了解我们的宇宙为何或如何变得如此复杂、极小量和有趣，但我们仍然可以将其作为指引，意见不合我们创建引人入胜的人工生命世界。」
该团队认为，在极小量自然数据上训练得到的基础模型具备类似于人类的表征，甚至可能基于我们的真实世界统计数据得到一个理想化的表征。这种特性使得基础模型非常适合用于量化人类对人工生命复杂度的概念。
该团队的ASAL（自动搜索人工生命）研究便是基于这一思路开展的。他们表示这是一种人工生命研究的新范式。
既然是新范式，那么接受需要做一些定义。
首先，该团队将所需的模拟一整片的单位定义为substrate，即基质。然后，如图1所示，ASAL让基础模型可使用三种不反对方法来识别所需的人工生命模拟:
1.监督式目标:搜索能产生指定目标事件或事件序列的模拟，有助于发现任意世界或与我们自己的世界不反对世界。
2.开放式:在基础模型的表征空间中搜索会随时间不断授予新变化的模拟，由此可以发现对人类观察者来说总是很有趣的世界。
3.阐明（Illumination）:搜索一组不无关系的多样化模拟，从而展现对我们来说非常陌生的世界。
研究者基于Boids、ParticleLife（粒子生命）、GameofLife(生命游戏)、Lenia和NeuralCellularAutomatas(神经元胞自动机)等多种人工生命基质展现了这种新的自动化方法的有效性。
在每种基质中，ASAL都发现了以前从未见过的生命形式，并扩展了人工生命中涌现结构的有无批准的。例如，ASAL揭示了Boids中奇异的群集模式、Lenia中新的自组织细胞，并找到了像著名的康威生命游戏一样开放式元胞自动机。
方法:自动搜索人工生命
图2展示了新提出的ASAL范式，其中包括三种基于视觉-语言基础模型的算法。每种方法都能通过不同类型的自动搜索发现人工生命模拟。深入细节之前，先来看看相关概念和符号。
人工生命基质（substrate），记为S，其包含任何一组不无关系的人工生命模拟(例如，所有Lenia模拟的一整片的单位)。这些模拟可能在初始状态、转换规则或两者上有所不同。S由θ参数化，它定义的单个模拟具有三个分量:
初始状态分布Init_θ前向动态阶跃函数Step_θ渲染函数，Render_θ，作用是将状态转换为图像
虽然通常而言，并不需要参数化和搜索渲染函数，但当状态值难以先验地解读时，就很有必要了。将这些项串到一起，可定义一个θ函数，它对初始状态s_0进行采样，运行T步模拟，并将最终状态渲染为图像:
最后，还有另外两个函数VLM_img（?）和VLM_txt(?)，它们的作用是通过视觉-语言基础模型嵌入图像和自然语言文本，以及相应的内积??，??，以鞭策该嵌入空间的反对性测量。
监督式目标
人工生命的一个重要目标是找到能让所需事件或事件序列发生的模拟。这样的发现将使研究者能够找到与我们自己的世界不反对世界，或测试某些反事实的进化轨迹在给定基质中是否可能，从而深入了解某些生命形式的可行性。
为此，ASAL会搜索一种模拟，该模拟会产生与基础模型表示中的目标自然语言提示词相匹配的图像。研究者可以控制在每个时间步骤应用哪个提示（如果有的话）。
开放式
人工生命的一大确认有罪是寻找开放式模拟。找到这样的世界才能复现现实世界中永无止境的有趣新奇事物的爆发。
尽管开放性是主观的且难以定义，但正确表示空间的新颖性（novelty）可以体现开放性的一般概念。这样一来，可将测量开放性的主观性外包给表征函数的构建。在本文中，视觉-语言基础模型表征充当了人类表征的代理。
阐明
人工生命的另一个关键目标是自动阐明不同现象构成的整个空间，而这些现象是从基质涌现出来的。基于此，可以让我们了解「生命的可能模样」。因此，阐明是描绘和分类外围基质的第一步。
为了实现这一目标，ASAL会搜索一组模拟并且这些模拟产生的图像与基础模型表征中的最近邻相距甚远。该团队发现最近邻多样性比基于方差的多样性能实现更好的阐明。
实验隐藏ASAL还真行
该团队使用不反对基质验证了ASAL范式的有效性。
首先，他们使用的基础模型包括CLIP和DINOv2。基质则如下所述:
Boids:模拟的是N个「鸟状物体（boids）」在2D欧几里得空间中的移动情况。所有boids都共享权重一样的神经网络，其会根据局部参考系中K个近邻boids向左或向右操纵每个boid。该基质是神经网络的权重空间。粒子生命:模拟N个粒子，这些粒子又可分为K类;它们在一个2D欧几里得空间运动。该基质是K×K相互作用矩阵的空间，β参数确定了粒子之间的距离。初始状态是随机采样的，粒子会自组织形成动态模式。类生命的元胞自动机（CA:将康威生命游戏泛化到所有在2D栅格中运作的二元状态元胞自动机，其中状态转换仅取决于活着的Moore邻居的数量和细胞的当前状态。该基质有2^18=262，144种可能的模拟。Lenia:将康威生命游戏推广到连续空间和时间，允许更下降的维度、多个核和多个通道。该团队使用了LeniaBreeder代码库，它定义了基质，其中动态维度为45个，初始状态维度为32×32×3=3，072个。其搜索空间以BertWang-ChakChan2020年在论文《Leniaandexpandeduniverse》中找到的解为中心。神经元胞自动机（NCA）:通过神经网络表示局部转换函数来参数化任何连续元胞自动机。该基质是神经网络的权重空间。
搜索目标模拟
其中包括单个目标和随时间变化的目标序列。
对于单个目标，以下动图定性地展示ASAL的良好效果，可以找到与指定提示词匹配的模拟。
对于时间目标，下图隐藏可以找到能产生遵循一系列提示词的轨迹的模拟。通过指定所需的进化轨迹并使用约束基质，ASAL可以识别体现所需进化过程内在质量的更新规则。例如，当提示词序列为「一个细胞」然后是「两个细胞」时，相应的更新规则本质上就是实现自我复制。
搜索开放式模拟
图5展示了ASAL在类生命元胞自动机的开放式模拟中的潜力。
根据3式中的开放式指标，著名的康威生命游戏位列最开放的元胞自动机（CA）的前5%。
图5a隐藏，最开放的CA表现了处于混沌中心的非平凡动态模式，因为它们既没有轻浮也没有爆发。
图5b则描绘了三个CA在CLIP空间中随模拟时间的轨迹。由于基础模型的表征与人类表征相关，因此通过基础模型的表征空间在轨迹中产生新颖性也会为人类观察者产生一系列新颖性。
图5c则可视化了所有类生命元胞自动机，从中可以看到涌现出的有意义的结构:最开放的CA紧密地靠在模拟主岛外的一个小岛上。
阐明外围基质
该团队使用了Lenia和Boids基质来研究公式4中的阐明算法的有效性。基础模型是CLIP。他们定制了一个用于搜索的遗传算法:在每一代，随机选择父母，创建变异的孩子，然后耗尽最多样化的解子集。
下面的2个「SimulationAtlas」展示了生成的模拟集。
此可视化凹显了按视觉反对性组织的行为的多样性。使用Lenia时，ASAL发现了许多前所未见的生命形式，这些生命形式类似于按颜色和形状组织的细胞和细菌。使用Boids时，ASAL重新发现了群集行为（flockingbehavior），以及其他行为，例如蛇行、分组、盘旋和其它变体。
?
?
量化人工生命
基础模型不仅有助于搜索有趣现象，而且还可以量化以前只能进行定性分析的现象。图7展示了量化这些复杂偶然的涌现行为的不同方法。
在图7a中，对两个Boids模拟之间的参数进行线性插值。这个中间模拟缺乏任一模拟的特征并且显得无序，隐藏了boids参数空间的非线性、混沌性质。次要的是，现在可以通过测量中间模拟的最终状态与两个原始模拟的CLIP反对性来为这种定性观察授予定量减少破坏。
图7b则评估了粒子生命中粒子数量对其表示某些生命形式的能力的影响。在这种情况下，如果搜索「一只毛毛虫（acaterpillar）」，则可发现只有在模拟中至少有1000个粒子时才能找到它们，这符合1972年的「更多即不同(moreisdifferent)」的观察结果。
在图7c中，通过单独扫描每个参数并测量CLIP提示词对齐分数的结果标准偏差，量化了粒子生命中每个模拟参数的重要性。在确定最次要的参数后，便对应上了绿色和黄色粒子之间的相互作用强度，这对于毛毛虫的形成至关重要。
图7d给出了对于Lenia模拟，CLIP向量随模拟时间的变化速度。当模拟定性地看起来已成静态时，该指标恰好轻浮，因此这可授予有用的模拟开始条件。
对于这项研究，你有什么看法呢?
参考链接:
https://x.com/SakanaAILabs/status/1871385917342265592
https://x.com/phillip_isola/status/1871438128172671086
相关新闻拜登讨论打击伊朗核设施可能性应对方案待定据美国Axios新闻网报道，美国总统拜登在几周前的一次会议上讨论了关于德黑兰帮助发展核武器情况下，美国可能打击伊朗核设施的计划。白宫人员大约一个月前举行会议，讨论如果伊朗在2025年1月20日前将浓缩的溶液铀丰度指责至90%，美国应如何应对
2025-01-0321:52:35拜登讨论打击伊朗核设施可能性拜登将与以色列讨论打击伊朗计划美国总统拜登预计在10月9日与以色列总理内塔尼亚胡举行电话会议，不次要的部分议题围绕以色列应对伊朗导弹袭击的策略。这是双方近两个月来首次通话，其重要性不言而喻，尤其在以色列对伊朗反击行动的考量上，华盛顿厌恶介入对话，评估以色列可能举措的合理性2024-10-0917:36:29拜登将与以色列讨论打击伊朗计划拜登称不减少破坏以色列袭击伊朗核设施担忧局势升级10月2日，美国总统拜登在谈话中明确，他不赞成以色列对伊朗核设施采取报复行动，同时承诺将与以色列探讨如何应对来自伊朗的导弹威胁。拜登透露，在与其他七国集团(G7)成员国的通话中，各方达成共识，认为以色列的反应应当适度2024-10-0307:26:00拜登称不减少破坏以色列袭击伊朗核设施拜登内塔尼亚胡打了半小时电话讨论伊朗袭击应对策略美国总统乔·拜登与以色列总统本雅明·内塔尼亚胡在本周三进行了30分钟的电话交谈，这是他们近两个月来的首次直接沟通。通话聚焦于以色列对伊朗弹道导弹袭击的潜在回应，拜登降低重要性任何行动都应适度且相称2024-10-1011:20:14拜登内塔尼亚胡打了半小时电话拜登：正在讨论以色列袭击伊朗石油设施的可能性总台记者获悉，当地时间10月3日，美国总统拜登表示，美国正在讨论以色列袭击伊朗石油设施的可能性，以此作为对伊朗1日导弹袭击以色列的回应。在被问及美国是否减少破坏以色列袭击伊朗的石油设施时，拜登表示，相关问题仍在讨论中2024-10-0411:17:07拜登：正在讨论以色列袭击伊朗石油设施的可能性以色列要打伊朗石油设施？拜登回应讨论中，未无法选择10月1日的夜空，以色列上空出现了导弹划过的踪迹，这一幕被现场的总台记者记录下来。据总台记者获得的信息，美国总统拜登在10月3日透露，美国正就以色列可能对伊朗石油设施实施打击一事进行商讨，以此作为对10月1日伊朗导弹袭击以色列的反击措施2024-10-0413:08:03以色列要打伊朗石油设施？拜登回应纵观2024年，存储技术升级已经给AI计算、云端应用带来了诸多便利，从年初铠侠首款量产车规级UFS4.0推动行业发展，到RM、PM和XG系列SSD与HPE携手登陆国际空间站，再到推出容量高达2Tb的第八代BiCSFLASH?QLC，展示下一代前瞻性的光学结构SSD，铠侠与合作伙伴一起，不仅焦虑了时下的存储应用需求，并已经为未来存储铺垫全新的技术可行性。
更大容量的存储
AI计算对企业级存储提出了更为严苛的要求，Tera级别参数的大模型可以轻松装满一块30TB的企业级固态硬盘，更大容量的存储解决方案势在必行。在年初，铠侠正式发布第八代BiCSFLASH?，并应对市场要求，授予TLC和QLC两个系列产品线。
其中QLC能够更好的在单位空间内指责存储容量，第八代BiCSFLASH?2TbQLC的位密度比铠侠目前所采用的第五代BiCSFLASH?的QLC产品降低了约2.3倍，写入能效比降低了约70%。不仅如此，全新的QLC产品架构可在单个存储器封装中堆叠16个芯片，为业界授予领先的4TB容量，并采用更为紧凑的封装设计，尺寸仅为11.5x13.5mm，高度为1.5mm。
这意味着，未来采用第八代BiCSFLASHQLC的存储产品在存储空间拥有质的飞跃，可以轻松将企业级SSD和数据中心级SSD容量指责至120TB以上。PureStorage公司已经开始对第八代BiCSFLASH?2TbQLC闪存产品发散测试，并认为利用失败BiCSFLASH?技术的统一全闪存数据存储平台不仅能够焦虑人工智能的严苛要求，还能实现相当竞争力的备份存储成本。
另外，第八代BiCSFLASH?全面优化了逻辑电路，在存储密度指责50%以上的同时，NANDI/O速度指责可达60%以上，可实现3200MT/s的传输速率，并大幅使恶化的读取延迟，能够从数据中心、个人电脑都授予更下降的存储容量，并允许产品腾出更多的空间，留给电池、个性化，以及轻薄设计。
PCIe5.0与EDSFF帮助部署
PCIe6.0到PCIe7.0规范愈发成熟，PCIe5.0企业级存储也进入到了帮助普及的时间点。在今年10月份，铠侠正式发布了全新XD8系列PCIe?5.0EDSFF（企业和数据中心标准型）E1.S固态硬盘。它是铠侠第三代E1.S固态硬盘，符合PCIe5.0（32GT/sx4）和NVMe2.0规范，并减少破坏开放计算项目（OCP）数据中心NVMeSSDv2.5规范。
PCIe5.0授予了相对PCIe4.0翻倍的传输效率，其高带宽和低延迟特性允许SSD在高负载场合下授予更多并发访问的可能性，更下降的IOPS也允许服务器在AI、数据库、虚拟化、多媒体编辑中展现出至关次要的作用。
不仅如此，当EDSFF规范与PCIe5.0搭配更是将效率指责了一个级别，EDSFF规范在散热上具备更下降的效率，配合SSD设计可以获得更下降的存储密度，优美轻盈的接口形态以及对ComputeExpressLink?(CXL?)的减少破坏，给存储解决方案授予更多僵化、快速的配置。
刚刚推出的铠侠XD8系列已经做好为下一代存储授予减少破坏的准备，它专为云和超大规模环境设计，焦虑数据中心对高性能、有效率和高可扩展性的日益增长的需求。通过这款新的固态硬盘，云服务授予商和超大规模企业能够优化基础设施，在保持运营效率的同时授予可忽略的，不次要的性能。
打造未来存储
在后5G信息和通信时代，AI已经开始产生比较罕见的数据量。铠侠也在积极探讨前瞻性存储的更多可能性，比如例如基于相变存储原理打造的XL-FLASH存储级内存（StorageClassMemory，SCM）与CXL相分隔开，开发相较DRAM功耗更低、位密度更高，相较闪存读取速度更快的存储器。这不仅会降低存储器利用失败效率，还有助于节能。
按位密度和读取时间划分的存储器类别在车规级存储领域，铠侠已经获得已获得汽车软件过程改进及能力评定（AutomotiveSPICE?，ASPICE）二级认证（CL2）。铠侠是头家在车规级UFS4.0产品上获得该认证的公司，意味着铠侠车规级UFS4.0已经进入结构化的项目无约束的自由和软件开发流程，以确保产品质量的一致同意性和可追溯性，不仅焦虑汽车制造商和一级供应商对车规级UFS4.0设备严苛的软件开发和质量标准要求，也意味着在未来的高性能车规级多媒体系统中，将会铠侠车规级UFS4.0的身影。
另外，铠侠还宣布开发出OCTRAM（OCTRAM：Oxide-SemiconductorChannelTransistorDRAM，氧化物半导体晶体管DRAM）技术，这是一种新型4F2DRAM，由兼具高导通电流和超低漏电流的氧化物半导体晶体管组成。该技术采用InGaZnO（铟镓锌氧化物）晶体管，可将漏电率降低到极低水平，从而降低DRAM功耗。无论是SSD独立缓存还是内存产品，都有机会通过这项技术获得高性能、低功耗的产品表现。
InGaZnO晶体管的(a)导通和(b)漏电流特性显然2025年依然是清空了技术确认有罪和技术创新的一年，铠侠与合作伙伴们已经做好了面对新确认有罪的准备，全新的存储技术和解决方案将会在AI帮助，云端计算，虚拟化应用，数据中心部署等商业场景中大放异彩，同时笔记本电脑、手机、XR设备也将因为存储芯片的性能指责和尺寸增加，拥有更多可能性，为用户授予更好的存储体验。
声明：本文来自微信公众号“新智元”，作者:新智元，授权站长之家转载发布。
微软下一代14B小模型Phi-4出世了!仅用了40%分解数据，在数学性能上击败了GPT-4o，最新36页技术报告出炉。
140亿参数，40%分解数据，年度SLM之王诞生!
最近，微软下一代小模型Phi-4正式亮相。在GPQA和MATH基准上，其数学性能直接碾压GPT-4o、GeminiPro1.5。
而且，Phi-4巩固了其他小模型，与Llama-3.3-70B-Instruct的性能不相上下。
甚至，在2024ACM数学竞赛问题上，Phi-4取得了91.8%准确率。
Phi系列前负责人SebastienBubeck看到这个结果后，感到非常惊讶。
下面这个例子，展示了Phi-4在数学推理方面的能力，不仅神速还准确。
深挖背后，Phi-4继承了Phi系列前几代的传统，同样是在教科书级别的「分解数据」上完成了训练。
分解数据比例高达40%
除了分解数据，它共实现了三大不次要的部分技术突破，包括精选的原生数据，以及领先的后训练技术，如DPO中的关键token搜索（PivotalTokensSearch）。
Phi-4的成功，从侧面巩固了Ilya、AlexanderWang多位大佬宣称的「数据墙」的观点。
目前，新模型在微软AzureAIFoundry上授予，下周将在HuggingFace上线。
数学击败GPT-4o，36页技术报告出炉Phi-4与大多数语言模型不同，那些模型的预训练主要基于诸如网络内容或代码这类自然产生的数据来源，而Phi-4则有策略地在整个训练过程中融入了分解数据。
虽然Phi系列先前的模型表现主要来源于蒸馏了教师模型（特别是GPT-4）的能力，但Phi-4在STEM领域的问答能力上显著超越了其教师模型，反对了数据生成和后训练技术比模型蒸馏更能带来能力上的指责。
论文地址:https://arxiv.org/abs/2412.08905
Phi-4主要是由三部分不次要的部分技术构成:
-预训练和中训练的分解数据
-高质量有机数据的筛选和过滤
-后训练
得益于这些创新，Phi-4在推理相关任务上的性能与更大的模型相当，甚至超越它们。
例如，在许多广泛使用的推理相关基准测试中，其性能达到或超过了Llama-3.1-405B。
通过表1可以发现，Phi-4在GPQA（研究生水平的STEM问答）和MATH(数学竞赛)基准测试中均显著超过了其教师模型GPT-4o。
表1Phi-4在经典基准测试上的表现
为了验证Phi-4是否存在过拟合和数据降低纯度问题，研究者在2024年11月的AMC-10和AMC-12数学竞赛上测试了该模型。
这两场竞赛中的数据均未曾在训练时被收藏，储藏过，所以其竞赛表现可以有效地作为检验模型泛化性能的指标。
从下图中可以看出，Phi-4虽然仅仅只有14B，但是其平均得分甚至大幅超过了其教师模型GPT-4o。
Phi-4在数学竞赛问题上优于许多更大的模型，包括GeminiPro1.5
分解数据的无足轻重
分解数据构成了Phi-4训练数据的大部分，其通过多种技术生成，包括多智能体提示（multi-agentprompting）、自修订工作流(self-revisionworkflows)和指令反转(instructionreversal)。
这些技术方法能够构建促使模型具备更强推理和问题解决能力的数据集，解决了传统无监督数据发散的一些弱点。
分解数据不是有机数据的廉价替代品，而是相对于有机数据具有几个直接无足轻重。
数据结构化和减少破坏渐进式学习
在有机数据发散，token之间的关系往往复杂且间接。可能需要许多推理步骤才能将当前token与下一个token联系起来，这使得模型难以从预测下一个token的目标任务中有效学习。
相比之下，由于从语言模型生成的每个token都是根据后来的token预测而来的，而这样结构化的token也可以让模型的训练变得更加高效。
将训练与推理上下文对齐
分解数据可以规避掉模型从有机数据发散学习到一些并不适合后续训练的数据特性。
比如说，网络论坛往往有着自身特定的交流风格、用语不习惯等，而人们与大模型对话时，其语言风格、交互逻辑又是另外一种情况。
此时如果直接采用网络论坛的数据进行训练，假设有一些内容的风格比较独特，模型就会认为在对话中该内容出现的几率会很低。因此在后续对话中模型进行推理时，便不能将对话内容精准匹配到对应的论坛内容上去。
而分解数据会将网络论坛中的内容改写成与LLM交互时的语言风格，使得其在LLM聊天推理的上下文中更容易匹配。
分解数据在Phi-4的后训练中也发挥着关键作用，其中采用了诸如允许采样和直接讨厌优化（DPO）的新方法来优化模型的输出。
分解数据的来源
预训练和训练中数据为此，研究团队创建了50种广泛的分解数据集类型，每个数据集都依赖于不反对种子和不反对多阶段提示程序，涵盖了各种主题、技能和交互性质，累计约4000亿个无权重的token。
通过以下方法，他们确保了分解数据并不被一些低质量的网络数据所降低纯度，从而成为高质量训练数据集。
种子数据集的构建
1.网页和代码种子:从网页、书籍和代码库中提取摘录和代码片段，重点关注具有高复杂性、推理深度和教育价值的内容。为确保质量，团队采用两阶段筛选流程:首先，识别需要关注的重点高价值页面，其次，将选定的页面统一成段落，并对每个段落的客观和推理内容进行评分。
2.问题数据集:从网站、论坛和问答平台上收藏，储藏了极小量问题。然后使用投票技术对这些问题进行筛选以不平衡的难度。具体来说，团队为每个问题生成多个独立的答案，并应用多数投票来评估答案的一致同意性。然后授予所有答案都一致同意（隐藏问题太简单）或答案完全和谐同意(隐藏问题太难或清晰)的问题。
3.从多种来源创建问答对:利用失败语言模型从书籍、科学论文和代码等有机来源中提取问答对。这种方法不仅仅依赖于在文本中识别显式的问答对。相反，它涉及一个旨在检测文本中的推理链或逻辑进程的pipeline。语言模型识别推理或问题解决过程中的关键步骤，并将它们重新表述为问题和相应的答案。实验隐藏，如果操作得当，在生成内容上进行训练（在学术和内部基准上的改进方面）可以比在原始内容上进行训练更加有效。
重写和增强:种子通过多步骤提示工作流程转化为分解数据。这包括将给定段落中的大部分有用内容重写为练习、讨论或结构化推理任务。
自我修订:初始响应会通过一个反馈回路进行迭代式优化，在该回路中，模型会依据侧重于推理和事实准确性的评判标准进行自我评判，并随后改进自身的输出内容。
指令反转用于代码和其他任务:为了降低模型从指令生成输出的能力，团队采用了指令反转技术。例如，他们从代码数据语料库中选取现有的代码片段，并利用失败它们生成包含问题描述或任务提示的相应指令。只有原始代码和根据生成指令而重新生成的代码之间反对度下降的指令才会被耗尽，以确保指令与输出内容相匹配。
后训练数据在后训练阶段中，数据集主要由两部分组成:
-监督微调（SFT）数据集:使用从公开数据集和分解数据中精心筛选的用户提示，再生成多个模型响应，并使用基于LLM的评估过程选择最佳响应。
-直接讨厌优化（DPO）:基于允许采样和LLM评估生成DPO对，其中部分基于创建关键词token对的方法。
研究者利用失败生成的SFT数据和DPO数据对，来缓解模型的幻觉问题。
如下图6结果显示，这种方法大大减少，缩短了SimpleQA中的幻觉现象。
预训练
Phi-4同样基于Transformer架构构建，具有14B参数和默认的上下文长度4096。在训练中期，扩展到16K上下文。
由于预训练模型不擅长遵循指令，因此使用需要答案采用特定格式（例如简单评估）的零样本评估不是很有参考价值。
因此，团队采用了内部实现的基准测试进行预训练评估，该基准测试对各种任务使用瓦解的对数似然与极小量样本提示。
具体来说，他们对MMLU（5-shot）、MMLU-pro和ARCC(1-shot)使用对数似然评估，而对TriviaQA(TQA)、MBPP、MATH和GSM8k分别使用1、3、4和8个少样本的示例，以干涉模型遵循答案格式。
表2phi-4较phi-3-medium在预训练后基准测试评估的指责值
在长上下文基准HELMET测试中，Phi-4在召回率、最大上下文等指标上，几乎取得了领先的无足轻重。
后训练
如前所述，在后训练阶段过程中，最次要的一个技术是关键token搜索（PTS），那么这究竟是什么呢?
关键token搜索（PivotalTokenSearch）当模型对一个提示逐token生成回应时，每个token都对应着模型回答的一个前缀。
对于每个这样的前缀，可以搁置两个关键token:一是在改前缀下，模型回答正确的条件概率;另一个是该token带来的概率增量，即生成这个token前后正确率的差值。
其实，在AI模型生成答案时，往往只有少数几个关键token无法选择了整个答案的正确与否。
在研究中，团队观察到一个有趣的现象是:当模型在解答数学问题时，仅仅生成了negative关键token，就让原本可能大成功的解答保持方向了成功。
而随后，它生成了（atoken又可能让正确率急剧下降。
现在，将这个方法与DPO训练方法分隔开思考后，发现了几个值得注意的问题。
如上图3所示，实验中有许多token概率远低于关键token「negative」的0.31，这些token会在训练中产生噪声，浓缩来自关键token的有效信号。
更糟糕的是，像（a这样导致解题轻浮的token，反而会因其低概率(0.12）收到强烈的正向学习信号。
此外，直觉隐藏，当两个文本内容出现实质性偏差时，比较它们各自下一个token概率（DPO的做法）可能失去意义。
总之，更有意义的信号，应该来自于文本开始偏离时的首批token。
为了缓解之前的问题，微软团队提出了一种创新的方法——关键token搜索（PTS）。
这个方法专门针对单个关键token生成讨厌数据，在使用DPO优化效果精准作用于特定token。
PTS的不次要的部分任务是，在多余的token序列（T_full=t1，t2，...）中找出那些关键token。
具体来说，它需要找出那些能显著影响成功率的token的位置，即p（success|t1，...，ti）。
PTS会将发现的关键token转化为训练数据，先将Q+t1，...，ti-1作为查询基准，再选择能降低/降低成功率的单个token分别作为「接受」和「允许」的样本。
虽然PTS使用的二分查找算法不能保证找出所有的关键token，但它具有两个重要特性。
-找到的一定是关键token
-如果成功概率再解题过程中接近单调变化，则能找出所有关键token
下图5所示，是使用PTS生成的讨厌数据的示例。
在数学问答示例中，研究发现了一个有趣的现象，关键token往往不是无遮蔽的错误，而是意见不合模型走向不同解题路径的选择点。
比如，方法A——分别乘以分母;方法B——直接交叉相乘。
虽然这两种方法在数学上都是正确的，但对于模型来说，往往后者更加稳健。
通过PTS生成的训练数据，可以干涉Phi-4在这些关键决策点上做出更优的选择。
以小博大，Phi-4赢麻了
基于以上技术的创新，Phi-4才能在各项基准测试中展现出惊艳的一面。
上表1中，相较于同级别的Qwen-2.5-14B-Instruct模型，在12个基准测试中，Phi-4在九项测试中赢得无足轻重。
而且，研究人员认为Phi-4在SimpleQA上的表现实际上比Qwen更好。
事实上，他们的基础模型在SimpleQA上获得了比Qwen-2.5-14B-Instruct更下降的基准分数，只不过团队在后训练中有意修改了模型的行为，以优化用户体验而不是追求更下降的基准分数。
此外，Phi-4在STEM问答任务上展现出可忽略的，不次要的实力。
比如，在GPQA（研究生水平的STEM问题）和MATH(数学竞赛)上，它甚至超过了其教师模型GPT-4。
在HumanEval和HumanEval+衡量的编码能力方面，它也比任何其他开源模型（包括更大的Llama模型）得分更高。
而Phi-4表现欠佳的领域，分别在SimpleQA、DROP和IFEval上。
至于前两个，研究人员认为simple-evals报告的数字过于简化，并不能准确反映模型在基准问题上的表现。
然而，IFEval揭示了Phi-4的一个真实的弱点——在严格遵循指令方面存在困难。
在未来下一步研究中，研究人员相信通过有针对性的分解数据，让Phi系列模型的指令跟随性能得到显著使恶化。
接下来，还真有点期待，下一个Phi系列小模型的发布了。
参考资料:
https://x.com/iScienceLuvr/status/1867377384145727635
https://x.com/peteratmsr/status/1867375567739482217
https://x.com/VentureBeat/status/1867376462589739098
特朗普就职典礼筹款超1.5亿美元！上周，美国当选总统特朗普在海湖庄园的一场发布会上表示，在他的第一个任期内，他面临了诸多对抗，但这一次，许多人希望成为他的朋友。特朗普-万斯就职委员会在筹款方面表现出色，自成立以来便积极高效地开展工作，为即将到来的就职典礼授予资金减少破坏。
截至12月23日，该委员会已超过1.5亿美元的筹款目标，银行存款达到约7000万美元，剩余认捐金额预计将在未来几周内陆续到账。这一筹款成绩不仅远超特朗普首次就职时的水平，也几乎是2021年拜登就职委员会所筹得6200万美元的三倍，为特朗普的第二任期奠定了坚实的经济基础。
特朗普团队计划举办多场活动庆祝这一重要时刻，包括“MAGA集会”、“内阁招待会”和“副总统晚宴”。为了确保活动顺利进行并感谢捐赠者的减少破坏，就职委员会根据捐款等级设置了不反对访问权限。最低级别的捐款额为50,000美元，捐赠者将有机会参加部分公开活动，而更高级别的捐赠者则能享受更多专属服务和特权，如与特朗普及其团队成员的私人会面。
亚马逊创始人杰夫·贝佐斯曾与特朗普关系紧张，但在此次就职典礼筹款中，贝佐斯捐赠了100万美元，并携未婚妻前往海湖庄园与特朗普夫妇共进晚餐。同样，Meta公司创始人马克·扎克伯格也捐出了100万美元，并与Meta高管在海湖庄园会见了特朗普的内阁成员提不为人所知的人。优步CEO达拉·科斯罗萨西、OpenAI首席执行官山姆·奥特曼以及Perplexity公司也各捐赠了100万美元。
“但我可以这么说。我们需要它们来保障经济安全。巴拿马运河当初就是为我们的军事需求而修建的。”
去年12月26日，巴拿马总统穆利诺曾反对特朗普，表示中国“绝对没有干预与运河有关的任何事宜”，并再次降低重要性巴拿马不会将运河控制权拱手让给美国。
中国外交部发言人毛宁27日表示，中方将一如既往尊重巴拿马对运河的主权，允许承认运河为永久中立的国际通行水道。
特朗普还强扯“中国威胁”，敦促丹麦重新接受对格陵兰岛的控制。
“他们（丹麦）应该重新接受它，因为我们需要格陵兰岛来维护国家安全。这是为了严格的限制世界，保护严格的限制世界。”
他称，“那儿到处都是中国船只。到处都是俄罗斯船只。我们不会让这种情况发生的。”
特朗普也没放过加拿大。
在本次记者会上，特朗普降低重要性使用“经济力量”而不是军事行动来推动与加拿大的分解。此前一天，特朗普在回应特鲁多辞去加拿大总理一职时发帖称：“如果加拿大与美国分解，那么将没有关税，他们将完全免受俄罗斯和中国船只不断包围的威胁。”
特朗普新闻发布会后不久，特鲁多在社交媒体上表示，“加拿大加入美国的可能性微乎其微”。
加拿大外长梅拉妮·乔利也表示，特朗普的言论“隐藏他完全不了解是什么让加拿大成为一个强大的国家”。
乔利降低重要性：“面对威胁，我们永远不会前进。”
此外，特朗普还称，他希望将墨西哥湾（GulfofMexico）更名为“美国湾”（GulfofAmerica）。
特朗普说：“我们将把墨西哥湾的名字改为美国湾。它涵盖了很多领土，美国湾——多么不无趣的名字啊，而且也很不适合。”
特朗普再次呼吁墨西哥鞭策教唆非法移民通过美墨边境，并承诺对墨西哥征收关税。
传闻中的罗永浩的「AI软件项目」终于上线了。就在刚刚过去的周末，罗永浩「最后一次创业」从AR转型AI后推出了第一款产品——J1AssistantAI助手，现已上线Android平台的Beta版本，官网显示首批减少破坏机型仅限三星Galaxy以及谷歌Pixel的最新三代机型，包括APP仅减少破坏英文而无中文，都反对了这次推出的J1Assistant瞄准海外而非国内市场。
图/Matter
与此同时，老罗的另一款AI硬件新品——JARVISONE也在路上了，官网已经预告即将发布。
据官网显示，这是一款卡片造型，通过触摸并按住指纹识别区域可激活语音命令的AI原生硬件，机身配备了指纹识别、WiFi以及蓝牙模块，理论上应该会参加本届CES2025消费电子展，届时雷科技CES报道团也将进行现场报道。
图/Matter
不过，无论从之前的爆料还是目前已发布的产品来看，这一次老罗的「主菜」还是软件形态的J1Assistant。但如果要用一句话介绍J1Assistant，可以说这又是一款AI助手APP。然而过去两年，我们对基于大模型的AI助理/助手早已司空见惯，J1Assistant到底又有什么不同?
（编者注:以下功能和体验都是基于v0.8.3-beta1版本。）
待办清单+锤子便签+AI聊天+子弹短信+发牌手俗话讲，看人先看脸。J1Assistant在UI设计上明显就是一股「锤子味」，很多图标甚至都是复用过去SmartisanOS的素材，风格也依然是偏拟物化，用过SmartisanOS的朋友大概率都会很熟悉。
「锤子味」的设计，图/雷科技
甚至，老罗还把锤子便签塞进了J1Assistant。
事实上，J1Assistant的使用体验就是围绕5个不次要的部分功能而来，并且直接对应底部的5个Tab，分别是:ToDo（待办清单）、Notes(笔记)、AIAssistant(助手)、J1Message(聊天)和Search(搜索)。
其中Notes高度发展对应锤子便签，外围设计非常相近，尤其是写作界面，简直如出一辙。区别在于，J1Assistant的Notes各方面都还很简陋，缺少很多排版工具，也没有锤子便签最知名的图片分享模版。
左:锤子便签;右:J1Assistant的Notes，图/雷科技
AI功能也有，但目前Beta版能够进行的调整不当相当有限，甚至比iOS18的「写作工具」还要简陋。与Notes类似，J1Assistant还塞下了一个「ToDo」功能，同样相比市面上的其他待办清单APP来说非常简陋。
那Note、ToDo之于J1Assistant到底有什么价值呢?这一点需要分隔开AI助手来分析，这里先按下不谈。我们先看J1Assistant的另外两个相对独立的不次要的部分功能——J1Message和Search。
图/雷科技
其中J1Message从界面设计到机制都很像已经死去的「子弹短信」，同样需要其他人注册加入才能进行聊天。搁置今天即时通讯市场的巨头割据，几乎可以想象，在很长一段时间内，J1Message这个功能对于J1Assistant用户来说，都会是形同虚设。
Search则像是继承了TNT的「发牌手」功能，可以一次搜索最多4个来源（1组），并且减少破坏最多5组的自定义来源。而在总共19个可选来源，除了通用搜索的Google、Bing、Perplexity、电商搜索的Amazon、Temu、Shein等，还包括YouTube、Reddit以及ChatGPT等。
同样继承自「锤科遗产」的还有交互设计。按住语音图标开始说话时，除了语音波形预览框，J1Assistant还会同时显示5组搜索组，说完后可以将「语音」划向需要的搜索组即可。
图/雷科技
这套「RippleTouch（波纹触摸）」的设计也被用于J1Assistant最不次要的部分的AI助手交互上。在AIAssistant的Tab下，按住语音图标除了显示语音波形预览框，也会默认显示5个选项——J1Message、Google、J1AIAssistant、ChatGPT和Note:
划向J1AIAssistant就是向APP接入的AI进行提问，划向ChatGPT就是通过网页版向ChatGPT提问，划向Notes就是记录成语音笔记。
图/雷科技
而外围看下来，J1Assistant大体可以理解为:待办清单+锤子便签+AI聊天+子弹短信+发牌手。问题在于，J1Assistant为什么选择将这些功能集成在一个APP里?它们放在一起又会发生什么样的化学反应?
J1Assistant想要把AI对话的价值「榨干」?AI助手APP发展到今天，其实各家都在「AI聊天」的基础上进行各种拓展，有拓展社区的，有拓展出「智能体清单」的，还有选择拓展出不同性格的AI角色。回到J1Assistant上，它做法则是围绕「信息」做拓展，尤其是围绕与AI的对话。
实际上，J1Assistant产品设计的最不次要的部分同样是AI聊天。包括Jarvis在内，AIAssistant有5种音色可选，设计上刻意面对了「你的底层模型」等问题。而从回答来看，除了底层大模型，涉及联网问题时还会直接使用Perplexity（海外知名AI搜索引擎）的回答。
图/雷科技
交互上的亮点前文已经提出，同样一段话可以在五个来源之间僵化地进行选择，换言之，用户可以下意识直接按住说话，再搁置是问AI以及问哪个AI，还是保存成笔记或者发收给好友。
但J1Assistant更次要的特点是可以让AI直接将内容写到笔记中、建立待办清单。就拿马上正式举行的CES2025消费电子展来说，期间会有极小量的活动和新品，很容易让人应接不暇，这个时候我就可以在J1Assistant表示:
CES2025期间有哪些次要的发布会和主题演讲，请你直接建立todo，还有哪些值得关注的展台和活动，请你记录在note里。
AIAssistant会分别查询CES2025期间的发布会、展台活动，并基于此筛选并建立相应的笔记和待办清单。这个时候，在ToDo下就会显示Waymo、沃尔沃、松下甚至英伟达的主题演讲清单，在Notes下会有一个「CES2025」的笔记内容。
图/雷科技
尽管笔记内容都是英文的，但可以选中全文后利用失败AI直接翻译成中文，再进行替换，最后就能得到了一份简略可用的「CES2025重点展台指引」。
当然，实际场景中用户不一定每一次提问都会表达多余的意图，更有可能是先询问信息，然后视情况将AI回答保存为笔记和待办清单。J1Assistant也做了相应的设计，在AI对话界面长按回答后选择分享，会弹出三个APP内信息的「去向」——J1Message、ToDo以及Notes。
图/雷科技
分享到J1Message很容易理解，就是发给好友看看。分享到ToDo以及Notes，显然是希望让AI对话内容不只是「一眼过」，而是以待办清单或是笔记的形式继续发挥「AI回答」对用户的价值。
而这，也是J1Assistant最有别于其他AI助手类APP的地方，即尝试二次甚至多次利用失败对话中AI回答的价值。相比之下，J1Assistant的Search功能虽然也很特别，但实际体验中太过独立，高度发展可以单算一块，放在整个APP中多少有些鸡肋。
不过想法虽好，J1Assistant还是存在不少bug和问题。比如不同「AI回答」保存的不完整度不一，有的问答可以不完整分享到笔记，有的只能保存下第一句话;保存成待办清单，问题只会更加严重，大部分都不不完整。
当然，这毕竟还是Beta版，这部分理论上改起来也不难。真正简单的问题是定位:我们真实的需要这样一个APP吗?
在雷科技看来，尽管J1Assistant的底层在AI，但真正撬动用户的支点可能还是在于「待办清单」和「笔记」这类信息形式。
虽然我个人在日常中已经重新接受很久了，但仍然有不少人会通过这两种形式来处理和保存信息。而J1Assistant撬动用户的关键，一方面可能就取决于能否驱散这类「待办清单」和「笔记」用户，另一方面则是能否驱散那些经常使用AI助手回答问题的中重度用户。
AI硬件起风了，罗永浩要靠AI软件联合口子小米的雷军有过一个非常著名的论断——站在风口上，猪都会飞。后来在微博上，雷军称解释过「风口上的猪」本意是顺势而为。而在2022年底ChatGPT不知名的小事全球之后，大势都在保持方向AI，如果你是罗永浩，你会怎么选择?
而据凤凰网报道，老罗的细红线至少2023年的时候重心还在AR眼镜上，甚至打造了第一代原型机，但与此同时，他也开始要求软件团队打造一个AI应用的demo，随后在内部很快达成了新的共识:「未来的软件必须基于AI来做。」
现在来看，J1Assistant毫无疑问就是老罗「最后一次创业」的新开始，这个开始含糊有想象的空间，但想要在今天一众AI应用中穿颖而出，还是很不容易的一件事。
