擁抱Al重塑研發(fā)多模態(tài)、多端手機智能體徐海洋阿里巴巴通義實驗室大模型智能體是人工智能應用的未來NDD6th不同的訓練方法，我們內(nèi)部的Slack上會嗤之以鼻，認為都是我們玩剩下的。但是當新的AIAgents論文出來的時候，我們會認真興奮的討論”"AlAgent不僅會改變每個人與"AlAgent不僅會改變每個人與還將顛覆軟件行業(yè)，帶來自我們從鍵入命令到點擊圖標以來最大的計算變革”-比爾蓋茨20252025Al+研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)2025Al+研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)大模型智能體的優(yōu)勢Chainofth20252025Al+-研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)大模型廣泛使用后，各類大模型大模型廣泛使用后，各類大模型智能體模型、框架、應用呈現(xiàn)井噴趨勢TALM20225AgemceTArerMordozn20227AtoCPT2023-3Tootomer2023-2您t□一r二二夏Xewc一一n●圓tDAD圖020252025Al+-研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)2025Al+-研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)TTMEmbodiedAIAutoDroduto-imetAnowledLyOpenagentsRoleofCOTJan124Nov27多模態(tài)大模型智能體多模態(tài)大模型智能體◎r一-nogton,Iliprowiceyouwthtedetabegn.樂--·---Rome:Colosseum,RomanFor/s/JVxbbkR587_2025Al+-研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)includerecommendationsonadoptionrates,thepercentageofpoinlearninganotherpenetrationoverthepastdechallengingduetodatalimitations.newiOStranslationappfromChat整合Google的搜索索引能力和OpenAl的生成式AI技術(shù)，實現(xiàn)從簡單查詢到復雜推理的跨越，優(yōu)化多模態(tài)搜索(如文本、圖像、視頻的綜合檢索)和實時知識更新能力，持續(xù)進行多次搜索-分析-優(yōu)化的循環(huán)，完成專業(yè)級報告生成2025Al+-研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)(1)規(guī)劃-執(zhí)行(1)規(guī)劃-執(zhí)行Tool-反思；(2)操作上云；(3)快操作+慢思考在線商店運營分析上傳您的亞烏遜商店銷告數(shù)據(jù)。在線商店運營分析上傳您的亞烏遜商店銷告數(shù)據(jù)。Manus提供可原作的同察、詳細B9可視化結(jié)果以及專愿提開銷售表現(xiàn)的策骼。四月日本之旅Manus集成全面的旅浙估息，制定個性化的行程，并制作專為聊的日本旅行量身定福的腦行手冊。B?B供應商采購適的供應商。作為專的代理人，Manus始以您的品大利益為優(yōu)先動量定理互動課程動量定理互動課程互動游戲根據(jù)您的偏好定時小游難。體驗殘們招牌的澤連斯基白高辯論橙擬器.候選人面試時間表體驗Manus如何通過優(yōu)化時間警理為4位候選人高效安排面試從而最大化生產(chǎn)力，Ganwangbackgouadecanscnatar正在熱嶺ctttutansftGanaingtacigroundocsonatorhumecioninganunathomchedh.mweringcncreatingyourocan-thamadmditationaudio.Ilvewitanandredinedaperoultheceanbockgroundsound.libeusinganahernatheapl-itationsmthaudoprocessingtoos.IlkepyouGonrzinghaclgroundocnsounststhenaduionsdrgatalintigsano-5cd/hon/udunta猛pipsInstallnaryslyArqulnntatreadysatisfiednapytn./.1otaDonLeadlngscipy-1.15.2-cp19-tp31-ayllnax217_ylu2tstalliegcaL】ectetpec5ccessfallyfpstalletsc20252025Al+研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)4.無需訓練、即插即用20252025Al+研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)多模態(tài)智能體Mobile-Agent2025Al+-研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)多模態(tài)智能體Mobile-Agent2025Al+-研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)Albabscom2025Al+研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)92025Al+研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)用戶指令當前屏幕析2025Al+研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)3.打字20252025Al+研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)MobileOperationAssistantS20252025Al+-研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)思力、跨應用操作能力和多語y20252025Al+研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)2025Al+研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)2025Al+研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)采用多智能體框架，包括PlanningAgent、DecisionAgent、ReflectionAgentweatherhome#MemoryUnit--Table2:DynamicevaluationresultsTable1:Dynamicevaluationresultsonnon-Englishscenario,whMetrics.Wedesignth·SuccessRate(SR):Whenalltherequirementsofauserinstrucisconsideredtohavesucproportionofuserinstructionsthataresucexecuted,thecorrectoperaratereferstotheproportionofcorrectstepsoutofthegroundtru·DecisionAccuracy(DA):Thismetricreflectstheaccuracyofthedecisiagent.Itistheproportionofcorrectdec·ReflectionAccuracy(RA):Thismetricreflectstheaccuracyofreflectionbythereagent.Itistheproportionofcorrectreflectionsoutofa2025Al+研發(fā)數(shù)字峰會|擁抱Al重塑研發(fā)圖片，云上模型思考推理，避免隱20252025Al+-研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)邀請函邀請函分論壇2024年9月20日2024年9月20日云棲小鎮(zhèn)國際會展中心D館D3-5戶的最直接入口載體，擁有巨大的想象空間。過去的一年，從新形態(tài)硬件(AIPin、Rabbit)、智能玩具、智能穿戴、智能手機、智能電視到智能汽車，這些設備通過集成先進的大模型算法，不僅提升了用戶體驗，也為企業(yè)帶來了新的增長點和產(chǎn)品競爭優(yōu)勢。本次分論壇將聚焦于通義大模型在終端領域的技術(shù)探索和最新實踐，以及這些技術(shù)帶來的行業(yè)創(chuàng)新發(fā)展潮流。09:45-10:00O簽約&發(fā)布儀式蔡明20252025Al+-研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)TaskID:3ninendoswi1.OpenAmazonandseacrchforNintendoSwisch2.NostethepMobile-Agent-Eonalong-horizon,reasoning-intensive,multi-appt復雜指令：執(zhí)行復雜推理、多步規(guī)劃以及跨App操作自我進化：反思過往的任務記錄，從經(jīng)驗中學習，自動生成Tips和Shortcut20252025Al+-研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)自主進化手機智能體Mobile-Agent-Enewnote..Thetitlesofthethreebeensuccessfully..-Action:('name':'Open_App','arguments':-FindmeaB-Action:{name':Tap','arguments';{x':930,y;meanddoesbirthday2055}|Description:Thisactionwilltapthecakes"Add"button.-Action:('name':Type','arguments':{text':'I."AandcreaSurveyonLargeLanguageModel..Description:CreatePrecondition:TheNotesap{"name":"Tap","arguments_("name":"Type","arguments_map":("t5.Ifasearchactionfails,verifytheinputtextandentargetedbeforeretrying.Adjustthetaplocationifnecess7.Ifataskinvolvesmultiplestepsacrossdifferentapps,alwaysconfirmt20252025Al+研發(fā)數(shù)字峰會|擁抱Al重塑研發(fā)2025Al+研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)多模態(tài)智能體Agent6t更密集多樣的可交互元素，以及不同布局的文本PC常用于生產(chǎn)力場景，涉及更多復雜的App內(nèi)及跨App工作流，因此包含更復雜的任務序列Text..TheText..ThecoordinateoftheParagraphcenterbuttofsecondparagraph?20252025Al+-研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)NiDD多模態(tài)智能體AgentNiDD1.更密集多樣的可交互元素{,2.主動感知模塊(APM):引入select動作，來選中/操作不同布局的文本ActivePerceptionModule(APM)所capitalofright_bottom:[1908,14Drag([804,1252],[1908,142025Al+-研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)指令的執(zhí)行分解為3個層次：指令-子任務-動作timeandlocationofthemeetingwithJo章oupuasTI:TILy,LOC:LfTPreviousAction:d8個常用PC應用的25條復雜用戶指令。每條指令由若干具有依賴關(guān)系的子任務構(gòu)成，強調(diào)精細化操作及長程決策，并與現(xiàn)實場景工作流相對應。三82025Al+-研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)√√√√√√48.1%√√√20252025Al+研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)NopackagespuhfsdPulichyouarupachagX-PLUGX-PLUG/MobilehgentQtypeCtoseCodelsoes州2n20252025Al+研發(fā)數(shù)字峰會|擁抱Al重塑研發(fā)安裝依賴pipinstall-rrequirements.txt準備通過ADB連接你的移動設備在你的移動設備上安裝ADB鍵盤選擇適合的運行方式2025Al+研發(fā)數(shù)字峰會|擁抱Al重塑研發(fā)頁模型庫頁模型庫#yokoeHarject,BbsegBarnGthubborlneTemsofise1.npuryourinetrucioninnstuctian,tho2.oucaninubebtslopestonknawlecgeinKn3.Chkk"suami"ogetthebpealiut.fuuneesbosthenipostthescreenshata4.Thescnnin"teanpleareaconpleiefam.□ikkandunnthantoptobotamtoeoparanot.3.Duttolntednssuros,uchepunatatmaytukoeaifysuwertotapznicenfanap,usemneasoendei①①族力力/studios/wangjunyang/Mobil20252025Al+-研發(fā)數(shù)字峰會|擁抱AI重塑研發(fā)·PC-Agentisamulti-agentcollaborationsystem,whichcgitclone