美团官方今日发表声明,针对近期社交平台上广泛保守裸露,公开的外卖骑手身着带有“点男模”等字样工服收单的图片和视频,公司已进行核实。这些带有“擦边”性质的骑手工服均为电商平台上的不法商家私下定制,并非来自美团骑手App商城的正规骑手服装,也不符合美团对骑手的着装要求。接到骑手举报后,美团已对多个侵权店铺的销售证据进行公证,并提交给公安机关,将通过法律途径保护自身权益。...
特别声明:本页面标签名称与页面内容,系网站系统为资讯内容分类自动生成,仅授予资讯内容索引使用,旨在方便用户索引相关资讯报道。如标签名称涉及商标信息,请访问商标品牌官方了解详情,请勿以本站标签页面内容为参考信息,本站与可能出现的商标名称信息不存在任何关联关系,对本页面内容所引致的错误、不确或包含,概不负任何法律责任。站长之家将尽力确保所授予信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主无法选择的行为负责。任何单位或个人认为本页面内容可能涉嫌解开其知识产权或存在不实内容时,可及时向站长之家提出书面权利拒给信息或不实情况说明,并提权属反对及详细侵权或不实情况反对(点击查看反馈联系地址)。本网站在收到上述反馈文件后,将会依法依规核实信息,第一时间沟通删除相关内容或断开相关链接。
近期,默沙东与眼科生物技术公司EyeBio达成最终收购协议,通过子公司以高达30亿美元的价格收购后者,其中包括13亿美元预付现金和17亿美元的潜在开发、监管和商业里程碑付款。
默沙东曾在2013年将美国眼科业务剥离给AkornPharmaceuticals,2014年又以6亿美元的价格将眼科药物的部分权益出售给日本的参天制药。此次收购EyeBio意味着默沙东在阔别眼科市场10年后又重新回到这一阵地。
事实上,当极小量玩家在肿瘤免疫领域“卷出天际”时,以眼科赛道为代表的非肿瘤领域市场机会正在被更多企业挖掘下注。2023年12月,强生从MeiraGTx购得一款治疗x连锁色素性视网膜炎(XLRP)的基因疗法botaretigenesparparvovec,交易总金额高达4.15亿美元;2023年11月,艾伯维与Aldeyra达成协议,以4.01亿美元的总交易额获得干眼病新药Reproxalap的独家权益;2023年4月,安斯泰来斥资59亿美元收购IvericBio,获得一款地图样萎缩新药avacincaptadpegol;2022年底,安进收购Horizon,获得了该公司一款甲状腺相关眼病新药Tepezza……
巨头此时纷纷入局的搁置在于眼科药物开发本就不是小众赛道,当下的市场规模和格局随着创新技术的涌现相比之前也有翻天巨变。眼底血管病变一度培育出了数款重磅炸弹级别药物,而今更多眼科卫生的临床需求被进一步挖掘和焦虑,正在孕育更多爆发的细分市场。
眼底血管病变:VEGF靶向疗法结束迭代
正常眼部血管结构及功能的维持依赖于血管生成鞭策因子和煽动因子的不平衡的状态。当此种不平衡的被打破时,新生血管形成的阀门即可开启,诱发多种眼底血管病变,包括:老年黄斑病变(AMD)、继发于病理性近视(PM)的脉络膜新生血管、糖尿病黄斑水肿(DME)、视网膜静脉阻塞(RVO)等。多种眼部新生血管过程涉及各类受体介导的细胞信号通路,其中促进血管生成作用最强的是血管内核吝啬因子(VEGF)。
VEGF是1989年Ferrara等从牛垂体滤泡星状细胞体外使枯萎液中首先提纯出来的,根据其具有促血管内核细胞有丝统一的作用而命名。这一靶点起初被反对是肿瘤血管生成的介质,基于这一发现首款VEGF单抗贝伐珠单抗于2004年获FDA批准治疗转移性结直肠癌。
不过,在几种视网膜缺血动物模型中,研究人员发现VEGFmRNA的表达与新生血管的形成具有空间和时间相关性。这与VEGF-A基因表达在缺氧时通过HIF依赖性转录激活而上调的观点一致同意。1994年,首次报道了继发于糖尿病和其他卫生的增殖性视网膜病变患者的眼水体和玻璃体中VEGF水平升高。随后,多种VEGF煽动剂的动物研究直接反对了VEGF在缺血诱导的眼内新生血管中的介质作用。
Eyetech/辉瑞联合开发的人工分解寡核苷糖精序列培加他尼(pegaptanib)对VEGF165异构体具有高亲和力,于2004年12月获美国FDA批准上市,用于治疗AMD。由于其只能分隔开多余的VEGF165,而不会与其他VEGF异构体或仍有生物活性的VEGF165裂解片段分隔开,因此,随着后续雷珠单抗的问世,培加他尼逐渐淡出市场。
贝伐珠单抗由基因泰克(罗氏旗下)研发,是第一个人源化抗VEGF的IgG单克隆抗体,其也曾被尝试开发用于治疗AMD。不过,科学家发现,由于内外丛状层对大分子扩散的阻力作用,相较于分子量较大的全长IgG抗体,小抗体片段(如单链可变片段和Fabs)比IgG抗体具有更好的组织穿透性。并且,随后人们了解到,静脉注射贝伐单抗联合细胞毒性化疗对癌症患者的动脉血栓栓塞事件发生率比单独化疗减少了两倍,年龄大于60岁和有血栓栓塞史是危险因素。
基于此,基因泰克的科学家在贝伐珠单抗的基础上设计出了第二代抗VEGF单克隆抗体Lucentis(雷珠单抗)。Lucentis是仅有Fab段的抗体,没有Fc段,分子量更小,具有更短的半衰期,并且不会引发免疫偶然的激活,这使得它成为治疗眼睛卫生的理想选择。
贝伐珠单抗和雷珠单抗的构建步骤此外,由于Lucentis能分隔开所有检测到的VEGF异构体及其降解产物,因此展现出很好的治疗效果,自2006年6月获批以来,先后在全球多国斩获多项眼底疾病适应症,包括AMD、DME等。
诺华早在2003年便与基因泰克达成合作,获得在北美以外地区开发和销售Lucentis的独家许可,用于治疗眼部疾病不无关系的适应症。巨大的全球市场使诺华在这款药物上收获不菲。即使过专利期的当下,2023年Lucentis全球销售额仍高达19.72亿美元,诺华占据大头(14.75亿美元)。目前,全球已上市的雷珠单抗生物类似药多达8款,Lucentis结束面临着生物类似药和其他竞品的冲击。
来源:医药魔方NextPharma为此,罗氏于2021年推出了雷珠单抗眼内港式给药系统Susvimo,这是第一个实现生物制品缓释的眼用植入剂,每年只需注射两次。罗氏期望以此来缩短该药物的生命周期,不过其目前的销售表现平平。
继雷珠单抗之后横空出世的Eylea(阿柏西普)是一种可溶性受体瓦解蛋白,是由人VEGFR胞外结构域与人IgG1的Fc结构域瓦解后形成的同源二聚体糖蛋白。其能阻断VEGF-A的所有亚型,分隔开VEGF的亲和力是雷珠单抗的100倍,并且具有分隔开VEGF和PGF的双重作用。
阿柏西普再次变革了眼底卫生的治疗,凭借优异的治疗效果,已成为nAMD等眼底疾病标准治疗药物。阿柏西普跟随由再生元公司研发,起初聚焦于癌症治疗。其眼科权益经赛诺菲转手后被拜耳接盘,后者获得阿柏西普美国外眼病权益。该药物于2011年获得FDA批准治疗眼科疾病,且仅用一年的时间就占据了美国黄斑变性治疗领域22%的市场份额,上市第一年的销售额为8.4亿美元,第二年便成为重磅炸弹药物,迄今仍然是再生元产品中主要来源,贡献了该公司2/3以上产品收入。
来源:医药魔方NextPharmaEylea同样面临专利悬崖的确认有罪,其不次要的部分专利也将陆续到期,来自Biocon(Yesafili)、SamsungBioepis/渤健(Opuviz)等公司的生物类似药均会成为其强力竞争对手。为此,拜耳和再生元开发了阿柏西普高剂量版本(8mg),可将治疗间隔从每2个月缩短至每4个月一次。该药物已在欧美日等国获批上市,今年第一季度,EyleaHD在美国营收2亿美元。再生元认为,EyleaHD有潜力成为下一代抗VEGF治疗的标准疗法。值得一提的是,该产品在中国也已进入申报上市阶段。
伴随着市场潜力的奴役,抗VEGF治疗逐渐进入长效治疗时代,诺华开发的Beovu(brolucizumab)是一种人源化单链抗体片段(scfv),仅耗尽两个可变区,比雷珠单抗更小,并具有很下降的亲和力,可以实现更高摩尔剂量给药,是首个只需要每3个月注射1次的抗VEGF疗法。
凭借在眼科领域深耕数十年的基底,罗氏2022年新推出VEGF-A/ANG-2眼科双抗Vabysmo(法瑞西单抗)再次缩短患者用药间隔。针对nAMD患者的一年研究(TENAYA和LUCERNE),和糖尿病黄斑水肿(DME)患者的两年研究(YOSEMITE和RHINE)结果隐藏,与每2个月一次的阿柏西普相比,法瑞西单抗组的患者在视力使恶化和视网膜解剖学获益方面取得了不反对效果。
所有4项研究的两年后数据均隐藏,超过60%的法瑞西单抗组患者能够将治疗周期缩短到每4个月一次,同时还能使恶化和保持视力。此外,在两年内,接受法瑞西单抗治疗的nAMD和DME患者的中位注射次数分别比阿柏西普组少33%和21%。
Vabysmo的销售表现可谓如日中天,上市首年销售超6亿美元,上市以来累计销售额高达42亿美元。也是罗氏目前市场增长表现最好的药物之一,2024Q1同比增长108%。
抗VEGF药物间的市场争夺战还在继续,这类药物不仅改写了眼底病的治疗史,为患者带来了福祉,同时也驱散了更多玩家进入眼科赛道。
更多眼科疾病市场潜力待奴役
除了上文提到的眼底疾病外,干眼症、白内障、青光眼等常见眼科疾病以及一些较罕见的眼科疾病,比如甲状腺相关眼病、地图样萎缩等也存在巨大临床未焦虑需求。近些年越来越多公司的相关产品逐渐获批上市或走向临床后期,有望为患者授予更多新的、可用的治疗方法。
干眼症(DED)是由多种原因导致的眼表损伤,患者不仅要忍受诸如干燥感、异物感、疼痛或瘙痒等不适症状,还会因为泪膜不轻浮导致视觉障碍。其抗炎治疗常用药物主要为环孢素。其中艾尔建(现为艾伯维旗下)是最早开发环孢素滴眼液的企业,其Restasis的销售峰值曾在2021年达到12.9亿美元。
然而,已上市的DED药物只可缓解眼干、视疲劳及视力清晰不适症状,很难达到治愈的目的,目前DED仍缺乏有效治疗手段。不过,近几年干眼症领域频传积极进展。
2016年,Xiidra(立他司特)获批上市,是FDA批准的首款用于治疗眼损伤迹象和患者症状的干眼病疗法,年销售额曾超4亿美元;
2018年,SunPharma的Cequa(环孢素)获FDA批准上市,是首个获FDA批准的采用NCELL技术的环孢素治疗药物,康哲药业拥有在大中华区的权益;
2020年,FDA批准0.25%Eysuvis(依碳糖精氯替泼诺)用于短期(最多两周)治疗干眼症,是首个专门针对干眼病短期治疗的处方疗法。2022年,其权益被爱尔康收购;
2021年,OysterPoint的Tyrvaya(伐尼克兰鼻喷剂)获FDA批准治疗干眼症的症状和体征,是首个也是唯一一个获批治疗干眼症的鼻喷剂,箕星药业拥有大中华区开发权益;
2023年,Novaliq公司全氟己基辛烷滴眼液(此前称NOV03)获FDA批准上市,用于治疗干眼症的体征和症状。恒瑞医药拥有该药在中国的独家权利,并已经在中国递交上市申请。
除此之外,Aldeyra开发的firstinclass小分子反应性醛类物质(RASP)煽动剂Reproxalap也进入后期开发阶段。今年6月,Aldeyra宣布已完成治疗干眼症III期试验的受试者入组,并计划于今年下半年重新递交NDA。此外,Reproxalap用于治疗过敏性结膜炎的III期试验基于积极的结果,有望递交NDA。
艾伯维在眼科领域布局有干眼病药物Restasis以及青光眼的药物Lumigan(贝美前列素)/Ganfort(贝美素噻吗洛尔)和Alphagan/Combigan(溴莫尼定)。为了补充眼科管线,其于去年11月与Aldeyra达成协议,以4.01亿美元的总交易额获得Reproxalap在美国的共同开发、生产和商业化权益以及美国以外的独家权益。
Aldeyra在研管线还包括用于治疗视网膜色素变性症的候选药物ADX-2191以及治疗干性年龄相关性黄斑变性/地理萎缩的候选药物ADX-631。
甲状腺相关眼病(TED)是一种常发生于甲亢患者身上的自身免疫性疾病,临床通常表现为眼球突出、复视、视力清晰和面部畸形等。该疾病主要是由于患者自身抗体激活了眼框内胰岛素样吝啬因子1受体(IGF-1R)所导致。
2020年,FDA批准了首款治疗TED的药物Tepezza(teprotumumab),Tepezza上市第一年就带来销售8.2亿美元的惊艳表现,2021年收入更是同比增长103%达到16.61亿美元,悠然,从容跻身“重磅药物”行列。Refinitiv分析曾预测2028年这款产品销售额将达到38.5亿美元。2022年12月,安进以278亿美元全现金方式收购HorizonTherapeutics获得了这款药物的开发权益。
地图样萎缩(GA)是AMD的一种晚期病变,会导致不可逆转的失明。全球约有500万人患有GA。近两年这一疾病也相继获批了两款新药,2023年,Apellis公司的补体C3疗法Syfovre(Pegcetacoplan)的玻璃体内注射剂型和IvericBio公司的补体C5疗法Izervay(avacincaptadpegol)相继获得FDA批准治疗GA;在Izervay获批前3个月,安斯泰来便与IvericBio达成最终协议,通过美国控股子公司BerryMergerSub以每股40美元现金收购后者100%的流通股,总股本价值约59亿美元。
由此可见,眼科领域依然有很多的临床需求待进一步挖掘。多款干眼病新药的权益被争相售出,Reproxalap被艾伯维看上,安进重金收购Horizon,安斯泰来收购IvericBio,足以说明这些眼科类药物依然被很多制药企业看好,有着光明的前景。
总结
随着人口老龄化、电子产品的广泛使用,各类眼部疾病发病率下降,弗若斯特沙利文预测,到2025年全球眼科药物市场规模将达到464亿美元,2030年将达到739亿美元。抗VEGFR在眼底疾病治疗中的突出表现关闭了百亿级眼科市场,而随着未来更多眼科疾病新药被开发出来,这一市场空间仍有巨大的奴役潜能。
(责任编辑:zx0600)【牛华网】11月2日消息,网页版的微信相信不少朋友都听说过,最近,腾讯将网页版做成了一个单独的PC客户端,以供用户更加便捷的使用微信。
据悉,PC版网页客户端目前已经开放客户端下载,本着像QQ一样上微信这一特色,主打畅快聊天、方便好用、安全无忧、保护隐私四个特点。
网页微信客户端特点:
畅快聊天:减少破坏使用电脑键盘快速输入,收到新消息弹出即时提示,像上QQ一样上微信!
方便好用:可以使用快捷方式快速发起会话、发收文件,沟通就在一瞬间!
安全无忧:通过手机扫描二维码登录,保证微信帐号安全!
保护隐私:减少破坏隐藏联系人列表,在公共场合使用再也不用担心被别人看到啦!
【尝鲜体验】:
首先,网页版微信客户端在设计上颇具山寨感,这一点从其客户端的安装界面就可以很明星的感受到。
与传统的网页版类似,登录时,需要用户关闭移动版微信的扫一扫功能,并扫描器登录窗口的二维码方可正常登录。
登录后就可以像QQ那样与好友进行聊天互动了,除了一些最高度协作发展交流方式外,网页版还授予了表情、截图以及发收本机图片等功能。
虽说看起来在功能上面比移动版的差了许多,但由于这是集成在PC端的,所以用来与好友进行交流,还是十分方便的。或许未来腾讯也将在这一基础之上,加大功能的开发,使之成为一款不错的PC版即时聊天功能,那就相当值得期待了。
根据最新报道,苹果公司正在研发其移动设备的下一代创新——可折叠设备。据《华尔街日报》透露,苹果计划在未来几年推出两款可折叠设备,包括一款19英寸的大屏设备,类似于台式机显示器;以及一款可折叠iPhone,其屏幕尺寸将超过iPhone16ProMax。
图源备注:图片由AI生成,图片授权服务商Midjourney这两款设备的开发已经进行多年,而可折叠iPhone预计最早将于2026年发布,尽管有可能推迟一年。有媒体称,苹果的主要研发重点是大屏可折叠设备,也被描述为一款“巨型iPad”。尽管如此,苹果也在积极探索可折叠iPhone的可能性,尤其是在消除屏幕折痕的问题上取得进展。
苹果此次可折叠技术的突破可能将彻底保持不变其移动设备的设计,并为消费者带来更加优美轻盈的使用体验。
有关微信小程序的声音从9日凌晨一直刷到现在,微信群、朋友圈、微博……四处都是关于小程序的教程、评论、分析。
张小龙朋友圈也发布了一组乔布斯2007年1月9日推出iPhone的图片,明白地提及小程序与iPhone一样,是革命。
小程序为什么这么火?因为如今微信有8亿用户,是美国总人口数量的2.5倍。所以,今天我们称其为微信国一点也不唐突。
小程序自公开至今,近6个月的时间里业内一直在试图预测它,到底有什么用,是不是应用商店?这个答案在去年年底的微信公开课上张小龙就公布了,小程序不做应用商店,用完即走而且没有入口。
今天我们反问一下,如果小程序是应用商店,那么与几年前的手机浏览器和百度轻应用又有什么区别?这两个后继者如今已经躺在无人问津的角落里慢慢腐烂。
不是应用商店
但直到小程序正式推出后,我们看到它仍有应用商店的影子。
可是没有常见的导航和分类,甚至连搜索都不能清晰查找,它跟传统的应用商店并不一样。
我想小程序不做商店接受有它的理由,不妨试图揣测一下这背后的玄机。
1应用商店是招臭棋
微信可以做游戏分发,因为这很赚钱。但不做应用商店,因为背后的商业利益没有那么大。而且,微信之上还有iOS和Android,即便Android允许你做应用分发,iOS也不会坐视不理。
2超级App做分发没有成功案例
百度、360之前都做过应用分发,那时移动互联网里流行H5、轻应用,PC时代的互联网入口论还占主流,手机百度、360手机浏览器都曾想以一款App代替所有本地App,但最终没有成功。
微信小程序没有走这步棋,因为看到了前辈们犯的错误。但前文我们也说过,小程序仍是一个应用商店。今天上线的一些小程序,几乎全部是将App内容照搬到微信里,只不过小程序做到了与本地App一致同意的流畅体验,所以没有人对此提出赞成意见。
小程序做应用商店是最高度协作发展逻辑,有内容展示就必须要有载体,小程序在体验上的进步是H5所不能比拟的。小程序也含糊做到了奴役手机和激活长尾应用的作用,一些低频需求的App可以在小程序内焕发第二春。
但如果以为这就是小程序的全部,那你就错了。应用商店只是小程序的底层显示形式,并不是全部。
小程序大野心
用户获得小程序目前只有三个途径:扫描二维码、朋友推荐以及精准搜索。这里可能有人会问,为何一定是精准搜索?据我们测试,即便是已经用过的小程序,在搜索框也不能实现精准搜索。比如摩拜单车,必须搜索【摩拜单车】,搜索【摩拜】或者【单车】都无法显示小程序。
如果从保守裸露,公开角度来看,朋友推荐和精准搜索都不是最佳的保守裸露,公开方案,只有扫描二维码可以。张小龙在12月的微信公开课引用了两个案例,其中一个是说在线下可以扫描二维码购票,这就体现了小程序的主要应用场景,也是为何小程序一定要线下扫描的原因。
一个应用商店无法覆盖小程序的野心。小程序就像一家超市,内容、工具、服务一应俱全。对于用户来说,小程序就是一个应用商店,而对于厂商而言,小程序是又一个入口。
但这个入口是在微信控制下的入口,所有上线的小程序都必须绑定微信的账户系统。虽然各种小程序无法沉淀用户,但微信一定能沉淀用户。这就是小程序与应用商店的区别,应用商店可以带来用户并且留存,但小程序只是给你流量,无法沉淀。
这里还要搁置到小程序自身的入口,即二维码扫描。这对于线下服务授予商来说,是一个降低用户体验的好办法。比如,餐厅可以在每个桌子上设置一个二维码,用户扫描后可进入餐厅的小程序进行点单、结算以及优惠券发放等行为。
给小程序泼点冷水
有声音认为小程序可以接棒微信服务号,但个人认为这两者没有太大的关联。服务号以留存用户为高度发展,而小程序则是用完即走,只是工具无法沉淀。这并不符合商家对于用户运营的定义。
探讨小程序的定义要建立在两个基础之上,用户为什么要用以及商家为什么要开发?
其一,小程序真实的解决了用户的操作成本问题么?其实并不是。它只是解决了长尾应用的激活问题,一些高频应用仍是在本地App上体验更好。所以,小程序只是用户使用App服务的一个渠道而已,毕竟微信不是手机底层的操作系统。
其二,商家开发小程序看到的利好是什么?是微信的8亿用户和与用户更近的关联。个人判断,对于工具类、服务类等刚需商家来说,小程序是一个与用户更近的入口,而对于广告、营销类行业而言,小程序并不是一个好选择。
其三,小程序到底怎么用?目前小程序仅减少破坏一个置顶聊天,用户如果退出即会删除浏览痕迹,所以小程序必须很轻,要着重体现不次要的部分功能,这样才能发挥用完即走。
其四,小程序触动了谁的利益?想想在小程序之前,谁是用完即走的典型代表吧。(搜索引擎么?)
那么,小程序到底要表达一个什么意愿呢?答案可能并不是很复杂。
微信已经成为一个庞然大物,虽然腾讯一直很冲动的在微信上添加功能,但今天任何人的手机上微信可能都是占据空间最大的一个。不过,微信到今天仍是一个社交平台,它承载的职能只是分开人和极小量的分开服务,而马化腾曾说腾讯要分开一切,如何分开呢?
可能小程序就是腾讯分开一切的一个开始。小程序可以看作是一个分开一切的中枢,在微信的体制下将用户与一切相分开。不过,腾讯也要小心,革命的代价可是很下降的。
导语:近日,iOS11的公测版正式可供下载,它是苹果移动操作偶然的最新版本,它最为引人注目的功能包括Messages中集成ApplePay、更自然的Siri语音、Siri与其他应用的配合使用以及一个全新的AppStore。
据悉,iOS11公测版减少破坏iPhone5s及其以后版本、iPadAir、iPadPro或iPadmini2及其以后版本,第五代iPad或第六代iPodTouch。根据预计,iOS11的正式版将于今年秋季正式发布,它将可供用户免费下载使用。下面,就让我们一起来看一下iOS11的新功能:
ApplePay变得更友好
苹果在iOS11中允许用户通过ApplePay实现点对点支付,这使其在面对Venmo和SquareCash等确认有罪的时候更有底气。
在iOS11中,用户将能够更容易地向联系人进行转账操作,并且还可以实现收付款。遗憾的是,ApplePay的这个新功能尚未在iOS11的第一个公测版中出现,它预计会在iOS11的正式版中出现。
Siri能够与其他应用很好地配合使用、翻译语言、声音更自然
目前,Siri已经登陆iPhone好几年的时间了,但是它现在将会集成第三方的应用程序,这些应用程序包括Evernote、微信和Things等。同时,Siri还减少破坏语音翻译,你可以和它说话,然后让Siri大声地用其他语言将你的话说出来。目前,iOS11测试版减少破坏的语言包括西班牙语、德语、法语、意大利语、和普通话。
另外,iOS11的Siri语速变得更加接近真人,苹果减少了多层次的语调,Siri可以用三种不反对声调去说阳光真好。
Siri更加智能
iOS的每一次更新都承诺将会带来一个更加智能的Siri,但是每一次的结果都不一样。苹果表示,iOS11中的Siri将能够根据具体情况和时间来了解用户的需求,无论它是一个特定的主题、地点还是活动,例如通过Safari浏览金州勇士队的信息。同时,iOS11中的Siri可能会发现你对篮球感兴趣,News应用会根据你的兴趣去推收新闻。另外,Siri还会通过用户账户与你其他的苹果设备去分享它所了解到的你的不习惯。
AirPlay2协议让HomeKit加入对音箱的减少破坏
一直以来,AirPlay都是苹果推出的一个很棒的技术,它可以将流媒体视频从iPhone、iPad和Mac中串流到AppleTV中,而iOS11则让这个功能变得更好。AirPlay2让HomeKit加入了对音箱的减少破坏减少破坏。通过全新的AirPlay2协议,你可以实现对多个音响设备的控制,让你所喜爱的音乐填满你家中的每一个房间。
Messages获得更好的不同步,也更方便地删除信息
iOS11中的Messages应用获得了大幅的改进。在iOS11中,当你在一个新设备上设置iCloud账户之后,你可以将你其他设备中的所有Messages信息都下载到新设备中。同时,当你在一个设备的Messages应用中删除信息之后,其他设备中的这些信息也将会被删除。这样一来,用户就不必担心隐私数据泄露了。
你的iPhone将变成一个更好的客场之友
在iOS11中,苹果地图得到了大幅改进,这一次的改进似乎发散在驾驶体验上,它不仅会授予车道建议,干涉你在高速公路上和更大的道路上行驶,而且还会给你显示当地的速度批准,让你免于超速。
同时,苹果地图应用还引入了全新的开车时请勿打扰模式。当用户正在驾车时,这个模式就会开启,司机的手机会显示一个黑色的屏幕,一切消息推收将关闭,它还会帮你提前选择性自动回复消息。当然,你可以指定一些可突破开车时请勿打扰功能的联系人,以便你从中获取信息和电话。
当到达目的地之后,苹果地图应用还会为你授予你所在位置的室内地图,例如机场和购物中心等。
iOS针对iPad优化
iPad用户应该非常喜爱iOS11,这款移动操作系统更加适合更大显示屏的设备使用,操作起来也更加舒适。
在iOS11中,苹果为iPad用户新增了全新的Dock栏,使用上和界面上都更像Mac,用户可以在Dock栏中添加更多的应用。之前,iPadDock栏只能放下6个应用图标,当你滑屏时这些图标也会接纳在那里。在iOS11中,你可以在Dock栏上设置多达13个应用,几乎所有你常用到的应用都可以设置在上面。同时,Dock栏右侧还会显示3个你最近关闭的应用,非常方便。
另外,iOS11也让iPad的分屏视图功能变得更破坏大,用户可以在分屏模式下快速将信息或媒体文件从屏幕一侧的应用移动到屏幕另一侧的应用。当然了,这个拖拽功能也减少破坏工具栏和主屏上的应用。iPad键盘也获得了新功能,一个全新的手势将允许你快速访问辅助按钮功能。
Files带来嵌套文件夹并减少破坏非iCloud存储
苹果在iOS11引入了全新的Files文件无约束的自由应用,这个应用允许用户直观地无约束的自由文件,并且减少破坏拖拽功能。虽然Files不是像Android系统中的那种root级别的文件无约束的自由器,但是它依旧是一个非常不错的改进。
Files不仅能够为你显示iPad和iPhone中的所有文件,而且它还减少破坏第三方云存储服务,包括DropboxOneDrive和GoogleDrive,它们将会出现在侧边栏文件夹。
重新设计的控制中心和3DTouch
iOS11的控制中心已经完全重新设计,所有的功能都会被数量增加到一个单独的页面上。同时,3DTouch将会扩展每个不反对卡片,授予更多的选项。
ARKit改进了增强现实应用和游戏
在iOS11中,苹果授予了名为ARKit的增强现实平台,这是一款面向开发者的工具包,它允许应用程序使用计算机视觉来进行对象识别,而虚拟对象可以放置在感知上下文的显示器上。ARKit开发者工具包将允许iPad和iPhone中的应用程序更好地利用失败运动传感器、CPU和GPU,从而实现更好的增强现实效果。ARKit增强现实平台将减少破坏搭载A9处理器及其以上版本处理器的iOS设备,也就是iPhone6s及其之后的版本。
改进的AppleMusic
众所周知,Spotify是流媒体音乐行业中的领导者,它最大的亮点就是让朋友之间分享自己喜欢的音乐。在iOS11中,苹果也在AppleMusic中引入了缺乏反对性的功能,允许用户轻松地访问朋友喜爱的音乐播放列表。
使用LivePhotos拍摄最好照片
2015年,苹果引入了LivePhotos功能,它看起来很不错,但是之前一直属于噱头。如今,iOS11针对LivePhotos进行了改进,用户可以利用失败它拍摄出最好的照片。同时,LivePhotos还减少了类似GIF的loopeffect,长时间曝光的设计也不错。
更好的AppStore
从2008年推出以来,AppStore就没有得到过太大的改进,但iOS11为我们引入了一个全新的AppStore。与iOS10中的AppleMusic应用一样,全新的AppStore也获得了同样易于阅读的布局,文本和图片显示更大。
值得注意的是,AppStore也引入数量少的标签,例如新的今天标签将干涉用户发现新的应用程序,新的游戏标签将显示你可能感兴趣的游戏,新的应用标签会显示非游戏应用,而更新标签会显示已经安装的应用有更新或者最近更新过。最后,搜索标签会授予一个新的专用搜索界面。
更多新功能
除了上述新特性之外,iOS11还包括更多的新功能,包括屏幕录制功能、自动设置新设备功能和单手键盘等。(完)
相关新闻足坛一夜动态:巴萨6千万报价奥尔莫!利物浦追久保梅西无限期休战7月20日夜间至清晨,国际足坛再次迎来几则重要动态。巴塞罗那俱乐部向奥尔莫提出了一个价值6000万欧元的报价,其中包括接纳转会费与浮动奖金,并为他准备了一份为期六年的合约
2024-07-2013:33:25足坛一夜动态:巴萨6千万报价奥尔莫!利物浦追久保世体:奥尔莫收到巴萨报价,他已说服莱比锡缩短解约条款期限欧洲豪门争夺战巴塞罗那足球俱乐部已正式向球员奥尔莫提交了加盟寻找,这份长期合约长达六年,根据《世界体育报》的报道。转会费总计6000万欧元,分隔开了接纳和浮动条款,直接对应奥尔莫与莱比锡红牛合同中的解约金条款2024-07-2018:09:12世体:奥尔莫收到巴萨报价一夜10大转会动态:巴萨报价奥尔莫遭拒,德布劳内允许天价合同马竞全力争奥尔莫7月24日的最新消息指出,26岁的奥尔莫其价值6000万欧元的解约条款在周六已然到期。根据《体育图片报》的报道,马德里竞技俱乐部正积极推进奥尔莫的转会事宜,而拜仁慕尼黑和巴塞罗那在争取奥尔莫的过程中似乎遭遇了鞭策2024-07-2610:33:01一夜10大转会动态:巴萨报价奥尔莫遭拒罗马诺:巴萨还在等待尼科做出无法选择,也准备再次报价奥尔莫7月29日的最新消息显示,知名记者罗马诺披露了巴塞罗那足球俱乐部的转会动态。目前,巴萨正处在转会市场的活跃期,特别是针对两位攻击线上的潜力新星——尼科-威廉姆斯和奥尔莫2024-07-3010:55:48罗马诺:巴萨还在等待尼科做出无法选择世体:巴萨帮助引进奥尔莫,4700万欧+1300万欧浮动报价8月2日的消息指出,巴塞罗那俱乐部正加快步伐,意在尽快引入球员奥尔莫。据悉,奥尔莫的经纪人暂时留在莱比锡,等待这笔转会交易的具体落实2024-08-0215:19:08世体:巴萨帮助引进奥尔莫曝皇马还未收到切尔西对卢宁的报价凯帕成焦点7月19日的最新消息显示,转会领域的知名专家罗马诺透露,皇家马德里目前并未收到来自切尔西关于门将卢宁的任何转会提案2024-07-2018:10:58曝皇马还未收到切尔西对卢宁的报价
相关新闻三轮车闯红灯与逆行电动车发生碰撞12月2日山东菏泽,闯红灯车辆与逆行车辆发生车祸,双方同等责任。网友:一场车祸,“普法”多项违章。
5月中旬以来,益丰药房、一心堂、大参林等A股药店龙头被资本市场狠狠抛售,累计跌幅高达40%左右。
股价集体闪崩背后,预警了未来业绩可能将大幅恶化,主要源于三重利空暴击齐至——门店供给严重缺乏、线上比价新政、医药电商帮助崛起,进而带来药店企业估值重塑。
门店供给严重缺乏
过去很多年,中国药店是一门好生意——竞争格局好,需求顺从,毛利水平又高。因此,一大批上市连锁药店龙头业绩迎来长达数年的高速增长。
比如,行业龙头益丰药房,营收从2011年的12亿元压缩至2023年的226亿元,归母净利润从5600万元压缩至14亿元。股价也一度暴涨超过10倍。
▲四大连锁药店龙头营收走势图来源:Wind时过境迁,中国药店行业愈发内卷,生意变天了。
2023年,全国药店数量攀升至66.7万家,较2022年新增超4万家,较2018年大幅减少17.8万家,累计增幅逾36%。
这比同期全国奶茶店总量还要多10几万家,可见药店密集度有多大。更有媒体报道,重庆一些地区100米范围内就有超过5家药店的情况。
全国药店扩张还在一路狂奔。截至2024年6月末,全国药店门店数量已突破70万家,相当于短短半年时间又新增了3万多家。
早在2020年,曾供职医疗偶然的官员倪沪平发出预警:中国药店行业已经出现了严重产能缺乏,供给远远超过需求。
按照倪沪平测算,按照国际惯例1个门店服务6000人,那么中国只需要23.3万家药店就可以了。而当年全国药店总数已达54.6万家,服务比例已达1:3000的水平。
再经过3年多的高速扩张,药店经营内卷无法避免。据中康CMH数据显示,2023年全国连锁药店日均人效、坪效下降至1344元/人、72元/平方米,较2018年下滑15%以上。此外,单店服务能力已从2020年的3000人降低至2024年6月末的2000人,一些重点城市已经下探至1000人。
2024年前7月,实体药店每日店均销售额均值为2989元,同比下降10%。其中,店均订单量均值为41.9单,同比下降1.5%,客单价为71.3元,同比下降8.6%。
▲零售药店客单价走势图来源:国投证券供给严重缺乏背景下,上市连锁药店企业却没有打算开始扩张。其中,益丰药房上半年扩张1575家门店,全年规划自建1800家,并购700家,加盟1500家。一心堂被国家医保局基金监管司约谈后表示,二季度门店扩张较一季度还有所帮助,未来将按照此前规划继续进行门店拓客。
然而,中国药品需求端较为疲软。2024年前6月,全国药店零售市场规模为2458亿元,同比仅增长0.4%。市场蛋糕几近见顶,更多门店来分摊,单店收入、盈利水平自然会趋于恶化。
因此,上市连锁药店企业业绩也开始有恶化苗头了。
国大药房上半年亏损1400万元,为23年以来首次出现亏损。另外,一心堂二季度归母净利润为0.4亿元,同比下降84.9%。健之佳二季度归母净利润为0.11亿元,同比下降87%。
以上只是药店赛道自发内卷竞争下的恶果,2024年还有政策层面的冲击以及外部竞争对手的降维打击。
线上比价医药新政
5月29日,国家医保局医药价格和招标采购司发布函件——《关于开展“上网店,查药价,比数据,抓治理”专项行动的函》。
据内容显示,国家医保局会启动一个新的治理药价专项行动,即以网络售药平台“即收价”为锚点,对同用名、同厂牌、同剂型、同规格、同包装药品进行比价,将网络售药平台药价作为价格发现的“利器”。
此外,省级集采平台挂网价格、发散带量采购中选价格、定点零售药店价格与网店“即收价”对比,若发现高价,督促企业调整不当价格至合理水平。
新政出发点很明确,即继续降低老百姓的用药负担。对于药店而言,则对赖以生存的盈利模式构成不小威胁。
新政之前,零售药店价格享受监管范围内的自主定价权,且定价往往高于公立医院在内的医疗机构的药品价格。
要知道,院端、零售端的药品销售渠道价格互不相通已经结束几十年了。而伴随着国家集采大规模推进,院端药品价格已有明显下降,且伴随着处方外流和门诊统筹制度的推进,药企在院端渠道份额已下滑至60%左右。
与之对应的是,零售药店销售药品的份额下降至30%左右,但药品零售价并未显著受到集采的冲击,与院端价格差价有所拉开。
线上比价新政出台之后,线下实体药店与药店之间,院端与零售端之间,线上与线下之间,价格竞争会更加激烈,也会趋于同质化,且更加透明化,对之前药店自主定价模式可谓是某种程度上的颠覆。
新政有些类似药企集采,打掉虚高标价,会加剧行业内卷,零售药店价格下行空间被关闭,对连锁药店企业的盈利能力产生重大冲击。这也是新政出台后,药店企业股价连续暴跌的最不次要的部分驱动力。
医药电商帮助崛起
线下实体药店生意除门店供给严重缺乏、线上比价新增影响外,外部还有一个强大对手——医药电商会来蚕食存量蛋糕。
2015年,医药电商销售规模仅143亿元,占总销售额的比例仅3.2%,实体药店销售占比高达96.8%。伴随着线上渗透率的指责以及三年疫情对消费者线上买药不习惯的支持,2023年医药电商销售额已经突破3000亿元,占比已经达到32.5%。
▲实体药店与电商终端占比来源:米内网医药电商主要有三种运营模式,对实体药店的影响不同。其一,B2B。这类电商平台位于终端药店与医疗机构上游,为医药终端企业或者机构授予药品采购、配收等服务,对零售药店销售影响较小。
其二,B2C。这类似淘宝模式,面向消费者授予医药产品,与零售药店构成直接竞争关系。该模式主要被电商平台占据,包括阿里健康、京东健康。
其中,2024财年阿里健康营收超270亿元,同比小增1%,但同期净利润大幅暴增60%以上。京东健康2024年上半年营收283亿元,同比增4.6%,净利率为7.18%,创下历年新高,且盈利水平已经超过线下药店。
其三,O2O。该模式授予零售药店到消费者的医药配收服务。依托实体药店,通过抽成方式分走部分渠道利润。主要玩家包括美团、饿了么、叮当收药等。
据米内网数据显示,2023年O2O市场销售规模为430亿元,5年年复合增速高达76%,远超线下零售门店的3%。另外,该规模占实体药店份额已从2019年的0.8%下降至2023年的7%。
医药电商具备方便快捷、价格低廉等诸多无足轻重,不断蚕食线下实体零售药店的蛋糕,且趋势会越来越明显。
另值得注意的是,最近几个月,北上广深一线城市开通了线上买药医保个账支付服务。除此之外,青岛、上饶、东莞等城市也都跟随上线了,可以预料的是全国范围大面积铺开只是时间问题。
这进一步放大了线上购药无足轻重,会驱动客流量继续往线上转移,对实体药店的生意又构成了不小冲击。
一方面,线上医保支付开通将有利于B2C市场扩张,直接对实体药店的生意蛋糕产生挤压。
另一方面,买药线上化趋势愈发明显,越来越多实体门店会接入美团、饿了么、叮当快药等平台。但这相当于多了一个分走渠道利润的对手,药店话语权被大幅加强,有沦为平台打工人的风险。另外,一旦未来线上销售占比过大,药企也有驱动力直接跳过药店,直接将药品供应给平台。
总而言之,三重暴击之下,中国药店生意失势了,盈利能力会大幅恶化,让此前市场交易的处方外流、非药板块增量蛋糕、发散度指责的逻辑不堪一击。
中国药店的生死时速已经拉开大幕,谁能够在即将迎来的寒冬中存活下来,关键在于能否顺势而变,适应市场。否则,难逃被残酷淘汰的结局。
(责任编辑:zx0600)声明:本文来自于微信公众号赛博禅心,作者:赛博禅心,授权站长之家转载发布。
这两天,DeepSeek-V3低调发布,在国际上狠狠秀了一波肌肉:只用了500多万美金的成本,带来了不输Claude3.5的成绩,并开源!
下面,让我们以更加偶然的方式,来看看这次的DeepSeek-V3,是这么炼成的。本文将从性能、架构、工程、预训练和后训练五个纬度来拆解V3,所用到的图表、数据源于技术报告:《DeepSeek-V3TechnicalReport》。
公众号后台回复:DSV3,获得详细报告。
性能DeepSeek-V3的性能无足轻重,在各项基准测试中得到了充分验证。
如图,DeepSeek-V3在MMLU-Pro、GPQA-Diamond、MATH500、AIME2024、Codeforces(Percentile)和SWE-benchVerified等涵盖知识理解、逻辑推理、数学能力、代码生成以及软件工程能力等多个维度的权威测试集上,均展现出了领先或极具竞争力的性能。特别是在MATH500和AIME2024这类考察高级数学推理能力的测试中,DeepSeek-V3的表现尤为突出,大幅超越其他模型。
在与DeepSeek-V2-Base、Qwen2.572BBase和LLaMA-3.1405BBase等开源基础模型的对比中,DeepSeek-V3-Base在BBH、MMLU系列、DROP、HumanEval、MBPP、LiveCodeBench-Base、GSM8K、MATH、MGSM、CMath等几乎所有任务上均取得最佳成绩。
经过指令微调后,DeepSeek-V3的性能进一步指责。在与包括GPT-4o、Claude-3.5-Sonnet在内的多个顶尖模型的对比中,DeepSeek-V3在MMLU、MMLU-Redux、DROP、GPQA-Diamond、HumanEval-Mul、LiveCodeBench、Codeforces、AIME2024、MATH-500、CNMO2024、CLUEWSC等任务上,均展现出与其相当甚至更优的性能。
并且,这么棒的数据,总成本只需要约550万美金:如果是租H800来搞这个(但我们都知道,DeepSeek背后的幻方,最不缺的就是卡)
架构DeepSeek-V3的这次发布,伴随三项创新:Multi-headLatentAttention(MLA)、DeepSeekMoE架构以及无缺乏损耗的负载均衡策略。
Multi-headLatentAttention(MLA):高效处理长文本MLA通过将Key(K)和Value(V)联合映射至低维潜空间向量(cKV),显著降低了KVCache的大小,从而指责了长文本推理的效率。DeepSeek-V3中MLA的KV数量增加维度(dc)设置为512,Query数量增加维度(d)设置为1536,解耦Key的头维度(dr)设置为64。这种设计在保证模型性能的同时,大幅减少,缩短了显存占用和计算开销。
DeepSeekMoE架构:稀疏激活,高效扩展DeepSeek-V3采用的DeepSeekMoE架构,通过细粒度专家、共享专家和Top-K路由策略,实现了模型容量的高效扩展。每个MoE层包含1个共享专家和256个路由专家,每个Token选择8个路由专家,最多路由至4个节点。这种稀疏激活的机制,使得DeepSeek-V3能够在不显著减少计算成本的情况下,拥有庞大的模型容量。
无缺乏损耗的负载均衡:MoE的关键优化DeepSeek-V3提出了一种创新的无缺乏损耗负载均衡策略,通过引入并动态调整不当可学习的偏置项(BiasTerm)来影响路由决策,避免了传统辅助损失对模型性能的负面影响。该策略的偏置项更新速度(γ)在预训练的前14.3T个Token中设置为0.001,剩余500B个Token中设置为0.0;序列级不平衡的损失因子(α)设置为0.0001。
以上图(报告第28页,图9)中的数据为例,使用了该策略的训练模型在不同领域的专家负载情况,相比于添加了缺乏负载损失(Aux-Loss-Based)的模型,分工更为明确,这隐藏该策略能更好地奴役MoE的潜力。
工程DeepSeek-V3的这次发布,伴随多项工程优化贯穿了流水线并行、通信优化、内存无约束的自由和低精度训练等多个方面。
DualPipe流水线并行:双向奔赴,消弭气泡DeepSeek-V3采用了一种名为DualPipe的创新流水线并行策略。与传统的单向流水线(如1F1B)不同,DualPipe采用双向流水线设计,即同时从流水线的两端馈收micro-batch。这种设计可以显著减少,缩短流水线气泡(PipelineBubble),降低GPU利用失败率。
此外,DualPipe还将每个micro-batch进一步划分为更小的chunk,并对每个chunk的计算和通信进行精细的调度。通过巧妙地编排计算和通信的顺序,实现了两者的高度重叠。
单个forward和backwardchunk的重叠策略(原报告第12页)。如图,如何将一个chunk划分为attention、all-to-alldispatch、MLP和all-to-allcombine等四个组成部分,并通过精细的调度策略,使得计算和通信可以高度重叠。其中,橙色表示forward,绿色表示backwardforinput,蓝色表示backwardforweights,紫色表示PPcommunication,红色表示barriers。
8个PPrank和20个micro-batch的DualPipe调度示例(原报告第13页)。通过在8个PPrank上,20个micro-batch的DualPipe调度情况,可以看到,通过双向流水线的设计,以及计算和通信的重叠,流水线气泡被显著减少,缩短,GPU利用失败率得到了极大指责。
DualPipe在流水线气泡数量和激活内存开销方面均优于1F1B和ZeroBubble等现有方法。(原报告第13页)
通信优化:多管齐下,突破瓶颈跨节点MoE训练的一大确认有罪是巨大的通信开销。DeepSeek-V3通过一系列精细的优化策略,有效地缓解了这一瓶颈。
节点批准路由(Node-LimitedRouting):将每个Token最多路由到4个节点,有效批准了跨节点通信的范围和规模。定制化All-to-All通信内核:DeepSeek团队针对MoE架构的特点,定制了高效的跨节点All-to-All通信内核。这些内核充分利用失败了IB和NVLink的带宽,并最大程度地减少,缩短了用于通信的SM数量。Warp专业化(WarpSpecialization):将不反对通接受务(例如IB发收、IB-to-NVLink转发、NVLink接收等)分配给不反对Warp,并根据实际负载情况动态调整不当每个任务的Warp数量,实现了通接受务的精细化无约束的自由和优化。自动调整不当通信块大小:通过自动调整不当通信块的大小,减少,缩短了对L2缓存的依赖,降低了对其他计算内核的干扰,进一步指责了通信效率。
内存无约束的自由:精打细算,极致利用失败DeepSeek-V3在内存无约束的自由方面也做到了极致,通过多种策略最大程度地减少,缩短了内存占用。
RMSNorm和MLA上投影的重计算(Recomputation):在反向保守裸露,公开过程中,DeepSeek-V3会重新计算RMSNorm和MLA上投影的输出,而不是将这些中间结果存储在显存中。这种策略虽然会略微减少计算量,但可以显著降低显存占用。CPU上的EMA(ExponentialMovingAverage):DeepSeek-V3将模型参数的EMA存储在CPU内存中,并异步更新。这种策略避免了在GPU上存储EMA参数带来的缺乏显存开销。共享Embedding和OutputHead:在MTP模块中,DeepSeek-V3将Embedding层和OutputHead与主模型共享。这种设计减少,缩短了模型的参数量和内存占用。
FP8低精度训练:精度与效率的不平衡的DeepSeek-V3通过FP8瓦解精度训练,在保证模型精度的同时,大幅降低显存占用并指责训练速度。
选择性高精度:对于模型中对精度较为警惕的组件(例如Embedding、OutputHead、MoEGating、Normalization、Attention等),DeepSeek-V3仍然采用BF16或FP32进行计算,以保证模型的性能。(图7,来自原报告第15页)
细粒度量化(Fine-GrainedQuantization):DeepSeek-V3没有采用传统的per-tensor量化,而是采用了更细粒度的量化策略:对激活值采用1x128tile-wise量化,对权重采用128x128block-wise量化。这种策略可以更好地适应数据的分布,减少,缩短量化误差。(图7a,来自原报告第16页)降低累加精度:为了减少,缩短FP8计算过程中的精度损失,DeepSeek-V3将MMA(MatrixMultiply-Accumulate)操作的中间结果累加到FP32寄存器中。(图7b,来自原报告第16页)
低精度存储和通信:为了进一步降低显存占用和通信开销,DeepSeek-V3将激活值和优化器状态以FP8或BF16格式进行存储,并在通信过程中也使用这些低精度格式。(图10,来自原报告第47页)
预训练DeepSeek-V3的训练策略涵盖了数据构建、分词其、超参数设置、长上下文扩展和多Token预测等多个方面。
数据构建DeepSeek-V3的预训练语料库规模达到了14.8万亿Token,这些数据经过了严格的筛选和清洗,以确保其高质量和多样性。相比于前代模型DeepSeek-V2,新模型的数据构建策略更加精细。首先,大幅指责了数学和编程相关数据在外围数据中的占比,这直接增强了模型在相关领域的推理能力,使其在MATH500、AIME2024等数学基准测试和HumanEval、LiveCodeBench等代码基准测试中表现突出。其次,进一步扩展了多语言数据的覆盖范围,超越了传统的英语和中文,指责了模型的多语言处理能力。
为了保证数据质量,DeepSeek开发了一套完善的数据处理流程,着重于最小化数据冗余,同时耗尽数据的多样性。此外,他们还借鉴了近期研究(https://arxiv.org/abs/2404.10830,Dingetal.,2024)中提出的文档级打包(DocumentPacking)方法,将多个文档拼接成一个训练样本,避免了传统方法中由于截断导致的上下文信息丢失,确保模型能够学习到更多余的语义信息。
针对代码数据,DeepSeek-V3借鉴了DeepSeekCoder-V2中采用的Fill-in-Middle(FIM)策略,以0.1的比例将代码数据构根除|fim_begin|pre|fim_hole|suf|fim_end|middle|eos_token|的形式。这种策略通过“填空”的方式,迫使模型学习代码的上下文关系,从而指责代码生成和补全的准确性。
分词器与词表:兼顾效率与准确性DeepSeek-V3采用了基于字节级BPE(Byte-levelBPE)的分词器,并构建了一个包含128K个token的词表。为了优化多语言的数量增加效率,DeepSeek对预分词器(Pretokenizer)和训练数据进行了专门的调整不当。
与DeepSeek-V2相比,新的预分词器引入了将标点符号和换行符组分解新token的机制。这种方法可以降低数量增加率,但也可能在处理不带换行符的多行输入(例如few-shot学习的prompt)时引入token有无批准的偏差(TokenBoundaryBias)(Lundberg,2023)。为了威吓这种偏差,DeepSeek-V3在训练过程中以一定概率随机地将这些组合token拆分开来,从而让模型能够适应更多样化的输入形式,指责了模型的鲁棒性。(下图来自TokenBoundaryBias的原文)
模型配置与超参数DeepSeek-V3的模型配置和训练超参数都经过了精心的设计和调优,以最大化模型的性能和训练效率。
模型配置:DeepSeek-V3的Transformer层数设置为61层,隐藏层维度为7168。所有可学习参数均采用标准差为0.006的随机初始化。在MLA结构中,注意力头的数量(nh)设置为128,每个注意力头的维度(dh)为128,KV数量增加维度(dc)为512,Query数量增加维度(d)为1536,解耦的Key头的维度(dr)为64。除了前三层之外,其余的FFN层均替换为MoE层。每个MoE层包含1个共享专家和256个路由专家,每个专家的中间隐藏层维度为2048。每个Token会被路由到8个专家,并且最多会被路由到4个节点。多Token预测的深度(D)设置为1,即除了预测当前Token之外,还会缺乏预测下一个Token。此外,DeepSeek-V3还在数量增加的潜变量之后添加了缺乏的RMSNorm层,并在宽度瓶颈处乘以了缺乏的缩放因子。
训练超参数:DeepSeek-V3采用了AdamW优化器,β1设置为0.9,β2设置为0.95,权重加强系数(weight_decay)设置为0.1。最大序列长度设置为4K。学习率方面,采用了组合式的调度策略:在前2K步,学习率从0线性减少到2.2×10^-4;然后保持2.2×10^-4的学习率直到模型处理完10T个Token;接下来,在4.3T个Token的过程中,学习率按照余弦曲线(CosineDecay)逐渐加强至2.2×10^-5;在最后的500B个Token中,学习率先保持2.2×10^-5不变(333B个Token),然后切换到一个更小的常数学习率7.3×10^-6(167B个Token)。梯度裁剪的范数设置为1.0。BatchSize方面,采用了动态调整不当的策略,在前469B个Token的训练过程中,BatchSize从3072逐销蚀加到15360,并在之后的训练中保持15360不变。
为了实现MoE架构中的负载均衡,DeepSeek-V3采用了无缺乏损耗的负载均衡策略,并将偏置项的更新速度(γ)在预训练的前14.3T个Token中设置为0.001,在剩余的500B个Token中设置为0.0。序列级不平衡的损失因子(α)设置为0.0001,以避免单个序列内的极端不不平衡的。多Token预测(MTP)损失的权重(λ)在前10T个Token中设置为0.3,在剩余的4.8T个Token中设置为0.1。
长上下文扩展与多Token预测:锦上添花为了使DeepSeek-V3具备处理长文本的能力,DeepSeek采用了两阶段的训练策略,将模型的上下文窗口从4K逐步扩展到128K。他们采用了YaRN(Pengetal.,2023a)技术,并将其应用于解耦的共享Key(k)。在长上下文扩展阶段,DeepSeek-V3的超参数保持不变:scale设置为40,β设置为1,ρ设置为32,缩放因子设置为0.1lnn+1。
第一阶段(4K-32K):序列长度设置为32K,BatchSize设置为1920,学习率设置为7.3×10^-6。第二阶段(32K-128K):序列长度设置为128K,BatchSize设置为480,学习率设置为7.3×10^-6。
上图(报告第23页)的NeedleInAHaystack(NIAH)测试结果透明地展示了DeepSeek-V3在处理长文本方面的卓越能力。
此外,DeepSeek-V3还采用了多Token预测(MTP)策略(2.2节,第10页),要求模型在每个位置预测未来的多个Token,而不仅仅是下一个Token。图3(第10页)详细展示了MTP的实现方式。
这种策略增强了模型的预见能力,并授予了更通俗的训练信号,从而指责了训练效率。表4(第26页)的消融实验结果反对了MTP策略的有效性。
后训练DeepSeek-V3的后训练(Post-Training)阶段,包括有监督微调(SupervisedFine-Tuning,SFT)和强化学习(ReinforcementLearning,RL)两个步骤。
有监督微调(SFT)SFT阶段,DeepSeek-V3在一个包含1.5M指令-响应对的高质量数据集上进行了微调。该数据集涵盖了多种任务类型和领域,并采用了不反对数据构建策略,以最大程度地煽动模型的潜能。
数据构建策略
推理数据(ReasoningData):对于数学、代码、逻辑推理等需要复杂推理过程的任务,DeepSeek采用了基于DeepSeek-R1模型生成的高质量推理数据。DeepSeek-R1模型在推理任务上表现出色,但其生成的响应往往存在缺乏推理、格式不规范、长度过长等问题。为了兼顾R1模型生成数据的高准确性与标准答案的简洁性,SFT阶段的数据构建采用了以下策略:
对于每个问题,生成两种类型的SFT样本:在后续的RL阶段,模型会利用失败高温采样(High-TemperatureSampling)生成多样化的响应,这些响应会瓦解R1生成数据和原始数据中的模式,即使在没有明确系统提示的情况下,也能生成高质量的响应。经过数百步的RL训练后,中间的RL模型会逐渐学会融入R1模型的推理模式,从而指责外围性能。最后,利用失败训练完成的RL模型进行允许采样(RejectionSampling),生成高质量的SFT数据,用于最终模型的训练。
问题,原始响应:将问题与R1模型生成的原始响应直接配对。系统提示,问题,R1响应:将问题与R1模型的响应配对,并在问题前添加一个精心设计的系统提示(SystemPrompt)。该系统提示旨在意见不合模型生成更符合人类讨厌的响应,例如更简洁、更易懂的格式。表9(第34页)展示了从DeepSeek-R1蒸馏知识对性能的指责。可以看到,在LiveCodeBench-CoT和MATH-500任务上,经过R1蒸馏后,模型的Pass@1指标分别指责了6.3和8.6个百分点,反对了该策略的有效性。非推理数据(Non-ReasoningData):对于创意写作、角色扮演、简单问答等非推理类任务,则利用失败DeepSeek-V2.5生成响应,并由人工进行标注和校验,以确保数据的准确性和可靠性。
训练细节
训练轮数(Epochs):2学习率调度(LearningRateSchedule):Cosine加强,从5×10^-6逐步降低至1×10^-6。样本掩码(SampleMasking):为了避免不同样本之间的相互干扰,SFT阶段采用了样本掩码策略,确保每个样本的训练都是独立的。
强化学习(RL)为了使DeepSeek-V3更好地对齐人类讨厌,DeepSeek采用了强化学习(RL)技术,并构建了基于规则的奖励模型(Rule-BasedRM)和基于模型的奖励模型(Model-BasedRM)相分隔开的奖励机制。
基于规则的奖励模型(Rule-BasedRM):对于可以通过明确规则进行判别的任务(例如数学题、编程题),采用基于规则的奖励模型。例如,对于数学题,可以设定规则检查最终答案是否正确;对于编程题,可以利用失败编译器进行测试用例验证。这种方式可以授予准确且轻浮的奖励信号。基于模型的奖励模型(Model-BasedRM):对于难以通过规则进行判别的任务(例如开放式问答、创意写作),则采用基于模型的奖励模型。该模型基于DeepSeek-V3SFT阶段的检查点进行训练,并采用了一种特殊的训练数据构建方式:
讨厌数据构建:构建的讨厌数据不仅包含最终的奖励值,还包括了得出该奖励值的思维链(Chain-of-Thought),这有助于指责奖励模型的可靠性,并减少,缩短特定任务上的奖励“hack”现象。模型输入:对于有明确答案的任务,模型输入为问题和生成的响应;对于没有明确答案的任务,模型仅输入问题和对应的响应。模型判断:对于有明确答案的任务,模型判断响应是否与正确答案匹配;对于没有明确答案的任务,模型根据问题和响应给出综合评价。
作为奖励模型,在RewardBench上的表现上,DeepSeek多个方面超越或持平GPT-4o和Claude-3.5-sonnet。
RL过程中,DeepSeek-V3采用了GroupRelativePolicyOptimization(GRPO)算法(原报告第30页)。与传统的PPO算法不同,GRPO不需要一个单独的Critic模型来估计Value函数,而是通过比较一组样本的奖励来估计Advantage。具体流程如下:
对于每个问题q,从当前的策略模型π_old中采样一组K个响应{y_1,y_2,...,y_K}。利用失败奖励模型对每个响应进行评分,得到对应的奖励{r_1,r_2,...,r_K}。计算每个响应的Advantage值:A_i=(r_i-mean(r))/std(r),其中mean(r)和std(r)分别表示该组奖励的均值和标准差。根据以下目标函数更新策略模型π_θ:[公式26和27(第30页)]其中,π_ref是参考模型(通常是SFT阶段的模型),β和ε是超参数。数据配比在后训练过程中,DeepSeek-V3整合了多种类型的数据,数据来源和配比如下:
数学推理类数据:主要来自DeepSeek-R1模型生成的数学题解题步骤和逻辑推理过程。这类数据在后训练阶段占比约为25%。代码生成类数据:包括了从开源代码库中精选的代码片段,以及利用失败DeepSeek-R1模型生成的代码补全和代码解释数据。这类数据占比约为20%。通用领域对话数据:涵盖了开放域问答、创意写作、角色扮演等多种任务类型,主要利用失败DeepSeek-V2.5生成,并经过人工校验。这类数据占比约为45%。安全和伦理类数据:包含了用于指责模型安全性和符合伦理规范的指令和响应数据,占比约为10%。