研究團隊：關(guān)楠、孫景昊、金曦、呂鳴松、馮智偉、唐月、劉松冉、王樣dengqx@面向具身智能的多層級嵌入式系統(tǒng)實時調(diào)度問題的挑戰(zhàn)和模型、算法研究CCF嵌入式系統(tǒng)專委會副主任遼寧省嵌入式系統(tǒng)重點實驗室主任鄧慶緒教授面向具身智能的多層級嵌入式系統(tǒng)實時調(diào)度問題的挑戰(zhàn)和模型、算法研究1.

研究背景2.主要挑戰(zhàn)和研究內(nèi)容3.模型、算法研究進(jìn)展目錄CONTENTS具身智能作為前沿研究領(lǐng)域，正成為全球科技競爭的新焦點。2025年全國兩會中政府工作報告首次將“具身智能”明確列為未來產(chǎn)業(yè)培育方向。強調(diào)通過技術(shù)突破與場景應(yīng)用推動新質(zhì)生產(chǎn)力發(fā)展，并部署“建立未來產(chǎn)業(yè)投入增長機制”以加速產(chǎn)業(yè)鏈成熟。這一政策導(dǎo)向為具身智能的發(fā)展提供了強有力的政策支持，凸顯了具身智能在國家科技創(chuàng)新體系中的重要地位。研究背景研究背景

操作系統(tǒng)是最基本也是最為重要的基礎(chǔ)性系統(tǒng)軟件，它處于用戶應(yīng)用軟件和硬件資源之間，實現(xiàn)對硬件資源的優(yōu)化管理、協(xié)調(diào)各應(yīng)用程序之間的關(guān)系，簡化用戶軟件開發(fā)的難度，為系統(tǒng)的可靠性和標(biāo)準(zhǔn)化提供保障。

回顧操作系統(tǒng)的發(fā)展歷程（DOS→WINDOS→ANDROID/IOS），應(yīng)用驅(qū)動的發(fā)展過程清晰

在泛在AI趨勢下，微軟、華為等已經(jīng)開始研發(fā)AI+OS（AIforOS,OSforAI)，方便AI應(yīng)用的開發(fā)、部署和應(yīng)用/roboos/研究背景

開源鴻蒙機器人操作系統(tǒng)M-Robots

OS正式開源，由開放原子開源基金會孵化、深開鴻牽頭發(fā)起，旨在以開源共建的方式

打造基于開源鴻蒙的統(tǒng)一機器人操作系統(tǒng)M-Robots

OS，推動機器人行業(yè)生態(tài)融合、能力復(fù)用、智能協(xié)同。

指出機器人行業(yè)面臨兩大關(guān)鍵挑戰(zhàn)：

一方面，傳統(tǒng)通用操作系統(tǒng)難以滿足實時性要求，而實時系統(tǒng)又缺乏開放性和生態(tài)支

持；另一方面，不同廠商使用各自封閉的技術(shù)棧，

造成系統(tǒng)割裂，難以實現(xiàn)高效協(xié)同。

M-Robots

OS是全國首個基于開源鴻蒙構(gòu)建的分布式異構(gòu)多機協(xié)同機器人操作系統(tǒng)，具備多機實時協(xié)同、多硬件形態(tài)兼容、AI原生以及豐富API與開發(fā)工具鏈四大核心能力，

為行業(yè)提供“底層統(tǒng)一、場景多元”的全棧式系統(tǒng)平臺l

多機實時協(xié)同：依托分布式軟總線、分布式實時通信與調(diào)度能力、高并發(fā)低時延（中斷響應(yīng)時延≤1

微秒，任務(wù)切換時延≤1

微秒）、多內(nèi)核混合部署，支持多機高效協(xié)作。l

多硬件形態(tài)兼容：通過彈性部署、軟硬件解耦、機器人應(yīng)用開發(fā)

中間件模塊化及接口標(biāo)準(zhǔn)化機制，適配工業(yè)機械臂、AGV、人形機

器人和無人機等不同形態(tài)、不同大小的設(shè)備。l

AI原生：內(nèi)置

AI

框架與算法庫，配備智能體開發(fā)框架，支持原生

AI

能力構(gòu)建，推動機器人從“單體智能”邁向“群體智能”。l

豐富的API與開發(fā)工具鏈：支持仿真、調(diào)試、推理訓(xùn)練等多工具開

發(fā)模式，提升研發(fā)效率。這個機器人操作系統(tǒng)，強調(diào)分布式、內(nèi)置AI框架與算法庫、支持彈性部署，完善了ROS很多不具備的能力。面臨的挑戰(zhàn)：（1）連ROS也沒有成功應(yīng)用于工業(yè)和自動駕駛等具身智能系統(tǒng)（原因是ROS沒有通過ISO26262功能安全認(rèn)證）。（2）進(jìn)入工業(yè)界，要挑戰(zhàn)老牌國外公司。像西門子等公司的技術(shù)壁壘，自封閉的成熟技術(shù)生態(tài)（自成熟的基礎(chǔ)軟件：操作系統(tǒng)、中間件—CODESYS

、IDE、仿真環(huán)境）

，國產(chǎn)替代需要一定時間。?Deployed

on

an

embedded

System

(Limitation

of

resources)?React

to

open

environment

adaptively?Use

multiplesensorsto

capture

events,

and

then?Controllers

reacttothese

events

in

realtime?Most

of

them

arereal

time

system

(The

correctness

of

the

system

depends

not

only

on

the

logical

result

of

computation,

butalsoonthetimeat

which

the

results

are

generated)具身智能系統(tǒng)的重要特點Processinggraphofanautonomousdriving

system《

Industrial

Challenge

---

RTSS

2021》面向具身智能的多層級嵌入式系統(tǒng)實時調(diào)度問題的挑戰(zhàn)和模型、算法研究1.

研究背景2.

主要挑戰(zhàn)和研究內(nèi)容3.模型、算法研究進(jìn)展目錄CONTENTS隨著具身智能系統(tǒng)向全時域泛在感知、泛在智能演進(jìn)，傳統(tǒng)單層嵌入式架構(gòu)已經(jīng)難以滿足上述復(fù)雜的需求，硬件架構(gòu)趨向于多種異構(gòu)處理器集成（通用處理器、GPU/NPU/FPGA等），多操作系統(tǒng)協(xié)同調(diào)度以完成數(shù)據(jù)采集、硬件加速、AI算力支撐、實時控制等復(fù)雜任務(wù)。面臨的系統(tǒng)性瓶頸：在垂直資源協(xié)同維度，

硬件加速器、操作系統(tǒng)與應(yīng)用服務(wù)的割裂式調(diào)度機制難以滿足AI推理（百毫秒級）、控制決策（毫秒級）、信號處理（微秒級）等多時間域任務(wù)的協(xié)同需求；在時序保障維度，

深度耦合的AI推理-實時控制任務(wù)圖因其復(fù)雜依賴關(guān)系導(dǎo)致端到端時延建模、分析失效，

異構(gòu)計算單元（CPU/GPU/NPU）

與多級軟件棧（RTOS/中間件/應(yīng)用層）的跨層級資源競爭更引發(fā)時間行為失配，直接影響關(guān)鍵場景的可靠性，如自動駕駛毫秒級決策響應(yīng)等。挑戰(zhàn)二

多層級垂直維度

資源動態(tài)整合難?各層調(diào)度機制相互獨立?缺乏統(tǒng)一實時監(jiān)控和閉環(huán)反饋?資源分配不均與優(yōu)先級錯配?系統(tǒng)整體實時性受損挑戰(zhàn)三

任務(wù)圖時空耦合建模與調(diào)度優(yōu)化難?多時間域任務(wù)深度融合?執(zhí)行路徑動態(tài)分叉、嵌套反饋?端到端時延累積效應(yīng)非疊加性?異構(gòu)硬件多模態(tài)時間行為差異挑戰(zhàn)一

多操作系統(tǒng)信息孤島不易破除核心問題?跨系統(tǒng)任務(wù)狀態(tài)可見性缺失?資源使用數(shù)據(jù)異步性加劇?架構(gòu)設(shè)計理念差異?調(diào)度機制沖突技術(shù)根源?調(diào)度指令與資源數(shù)據(jù)語義鴻溝?安全機制對狀態(tài)采集剛性約束?實時性要求對通信帶寬壓制中間件層：任務(wù)參數(shù)配置

|任務(wù)-線程分派

|數(shù)據(jù)流消息過濾操作系統(tǒng)層主要挑戰(zhàn)異構(gòu)硬件層MCU異構(gòu)多操作系統(tǒng)架構(gòu)Linux應(yīng)用層專用系統(tǒng)GPU/NPU信

息

孤

島信

息

孤

島RTOSFPGA主要研究問題1：多層級嵌入式系統(tǒng)功能與時間行為建模在資源受限與邊緣環(huán)境動態(tài)不確定的雙重約束下，傳統(tǒng)靜態(tài)建模方法因缺乏對系統(tǒng)運行時復(fù)雜交互效應(yīng)的動態(tài)表征能力而面臨顯著局限性。其主要體現(xiàn)在兩個方面：（1）硬件資源的動態(tài)變化（如算力波動、內(nèi)存碎片化）與軟件任務(wù)的非線性行為（如并發(fā)競爭、事件觸發(fā)邏輯）之間形成的時空耦合效應(yīng)，導(dǎo)致系統(tǒng)功能模塊間的資源競爭關(guān)系呈現(xiàn)出非穩(wěn)態(tài)特征。（2）任務(wù)執(zhí)行路徑的隨機分叉、中斷嵌套與資源搶占行為，使得系統(tǒng)時間維度涌現(xiàn)出延遲累積現(xiàn)象，

傳統(tǒng)靜態(tài)模型難以刻畫此類復(fù)雜時序特征。這兩類問題不僅造成系統(tǒng)時間可預(yù)測性衰減，更使得基于靜態(tài)模型的優(yōu)化決策存在顯著偏差風(fēng)險。因此，如何基于運行時監(jiān)測數(shù)據(jù)驅(qū)動，構(gòu)建融合功能抽象與時間行為表征的多層級嵌入式系統(tǒng)模型，是該類系統(tǒng)需要解決的第一個問題。主要研究問題問題2：跨層級耦合干擾下實時性分析理論問題實時性分析理論面臨的核心挑戰(zhàn)來源于跨層級交互機制的深度耦合特性，其耦合效應(yīng)嚴(yán)重限制了系統(tǒng)實時性的精準(zhǔn)分析。其復(fù)雜性在架構(gòu)維度和時序維度呈現(xiàn)雙重特征：（1）在縱向架構(gòu)層面，中間件服務(wù)與底層操作系統(tǒng)調(diào)度策略形成非線性交互依賴，難以通過傳統(tǒng)線

性疊加方法進(jìn)行顯式表達(dá)；（2）在橫向時序?qū)用?，硬件資源競爭、中斷搶占等動態(tài)隨機事件會引發(fā)干擾強度的時變性波動，并

與系統(tǒng)層級間的耦合效應(yīng)相互疊加，導(dǎo)致傳統(tǒng)孤立層級分析方法會引入顯著誤差。現(xiàn)有研究多基于單層抽象或平均負(fù)載假設(shè)，難以支撐高精度實時性理論分析。因此，如何突破層級邊界約束，構(gòu)建能夠精準(zhǔn)表征跨層級耦合干擾的實時性分析理論體系，是該類系統(tǒng)需解決的第二個問題。主要研究問題3：異構(gòu)資源約束下多操作系統(tǒng)實時協(xié)同調(diào)度問題在多操作系統(tǒng)協(xié)同調(diào)度研究中，如何構(gòu)建跨系統(tǒng)協(xié)同實時調(diào)度架構(gòu)，成為解決異構(gòu)平臺間實時任務(wù)沖突與全局資源優(yōu)化的核心挑戰(zhàn)。（1）一方面，多系統(tǒng)共享異構(gòu)硬件時，原生調(diào)度策略的差異性會引發(fā)策略級沖突，導(dǎo)致跨系統(tǒng)任務(wù)

執(zhí)行鏈出現(xiàn)非確定性延遲；（2）另一方面，異構(gòu)計算單元在指令集、存儲層次及接口協(xié)議等方面的本質(zhì)差異，使得基于單系統(tǒng)

優(yōu)化的資源分配模型難以直接映射到多系統(tǒng)協(xié)同場景，加劇了任務(wù)同步與數(shù)據(jù)通信的時序失序風(fēng)險?，F(xiàn)有方法多局限于單操作系統(tǒng)內(nèi)的調(diào)度優(yōu)化，或依賴粗粒度資源虛擬化實現(xiàn)跨系統(tǒng)協(xié)同，難以同時滿足低延遲、高可靠性及資源高效利用的需求。因此，如何設(shè)計跨系統(tǒng)協(xié)同調(diào)度算法，深度融合時間同步、通信優(yōu)化、狀態(tài)感知與決策機制以及多層級協(xié)同機制，在異構(gòu)資源約束下實現(xiàn)多操作系統(tǒng)的實時性保障與資源效率最大化，是該類系統(tǒng)需解決的第三個問題。主要研究內(nèi)容 基于監(jiān)測驅(qū)動的異構(gòu)嵌入式系統(tǒng)建模及架構(gòu)研究（1）嵌入式邊緣端多層級系統(tǒng)架構(gòu)研究（2）面向多層級嵌入式系統(tǒng)的輕量化監(jiān)測方法研究（3）基于監(jiān)測的嵌入式系統(tǒng)軟/硬件建模研究 面向多層級嵌入式系統(tǒng)架構(gòu)的實時性分析理論研究(1)跨層級干擾耦合量化模型構(gòu)建方法(2)混合關(guān)鍵性任務(wù)可調(diào)度性分析方法(3)異構(gòu)嵌入式系統(tǒng)端到端延遲分析方法 多操作系統(tǒng)實時保障與協(xié)同調(diào)度研究（1）面向混合關(guān)鍵性任務(wù)的最優(yōu)實時調(diào)度算法研究（2）多操作系統(tǒng)時間同步與通信機制研究（3）多操作系統(tǒng)間的協(xié)同調(diào)度框架研究 面向中間件的隔離、任務(wù)分配及協(xié)同優(yōu)化研究（1）硬件透明映射的輕量化資源隔離中間件構(gòu)建（2）保障端到端時延最優(yōu)的任務(wù)分配方法研究（3）多層級協(xié)同閉環(huán)優(yōu)化調(diào)度框架研究面向具身智能的多層級嵌入式系統(tǒng)實時調(diào)度問題的挑戰(zhàn)和模型、算法研究1.

研究背景2.主要挑戰(zhàn)和研究內(nèi)容3.

模型、算法研究進(jìn)展目錄CONTENTS研究團隊——實時嵌入式系統(tǒng)團隊研究方向：實時調(diào)度算法、最差執(zhí)行時間分析、實時操作系統(tǒng)、功耗相關(guān)調(diào)度算法等，團隊負(fù)責(zé)人鄧慶緒教授團隊現(xiàn)成員包括：呂鳴松、唐月、王樣、何青強、劉松冉、馮智偉早期成員：關(guān)楠、呂鳴松、孫景昊、姜徐、孔繁鑫、陳剛、張?zhí)煊?/p>

聚是一團火，散是滿天星

已畢業(yè)并保持緊密合作：關(guān)楠、孔繁鑫、金曦、孫景昊、張?zhí)煊?、孔繁?/p>

……該研究團隊是目前國際上實時嵌入式系統(tǒng)研究領(lǐng)域非?；钴S的一個研究隊伍，團隊做出了一批國際領(lǐng)先的重要理論成果，培養(yǎng)的博士曾獲得CCF優(yōu)秀博士論文，團隊所發(fā)表的論文多次獲得實時系統(tǒng)排名第一的國際頂級會

議RTSS最佳論文獎、最佳論文提名，以及RTAS

、ECRTS

、

DATE

、EMSOFT等國際知名會議的最佳論文和最佳論文提名?！陣@具身智能實時嵌入式系統(tǒng)建模、時間分析和調(diào)度部分研究成果lJointly

EnsuringTiming

Disparityand

End-to-End

LatencyConstraints

in

Hybrid

DAGs.

RTAS

2025lPriorityOptimizationforAutonomous

Driving

Systems

to

Meet

End-to-End

Latency

Constraints.

RTSS

2024lReal-TimeScheduling

of

Conditional

DAGTasks

with

Intra-Task

PriorityAssignment.

TCAD(2023)lReal-TimeScheduling

ofAutonomous

Driving

System

with

Guaranteed

Timing

Correctness.

RTAS

(2023)lROSGM:A

Real-Time

GPU

Management

Frameworkwith

Plug-In

Policiesfor

ROS

2.

RTAS

(2023)lOnthe

Degree

of

Parallelism

in

Real-TimeScheduling

of

DAGTasks.

DATE(2023)lSEAM:AnOptimal

Message

Synchronizer

in

ROSwithWell-BoundedTime

Disparity.

RTSS(2023)l

Optimizing

End-to-End

Latency

of

Sporadic

Cause-Effect

Chains

Using

Priority

Inheritance.

RTSS(2023)

（因果關(guān)系任務(wù)鏈）l

Reaction

Time

Analysis

of

Event-Triggered

Processing

Chains

with

Data

Refreshing.

DAC(2023)

（因果關(guān)系任務(wù)鏈）l

Comparing

Communication

Paradigms

in

Cause-Effect

Chains,

IEEE

Transactions

on

Computers

TC(2023）（因果關(guān)系任務(wù)鏈）lMixed-CriticalityScheduling

of

Energy-HarvestingSystems.

RTSS(

2022)l

ResponseTimeAnalysisfor

Energy-Harvesting

Mixed-CriticalitySystems.

DATE(

2022)lOnline

Re-routingfor

Fault-ResilientSchedulingof

Time-Sensitive

Networking.

EMSOFT-TCAD

（2022）lTowards

Minimum

WCRT

Bound

for

DAG

Tasks

Under

Prioritized

List

SchedulingAlgorithms.

TCAD（2022）l

Responsetimeanalysisof

paralleltasksonaccelerator-based

heterogeneous

platforms.J.

Syst.

Archit,

2022l

Computing

exact

WCRT

for

typed

DAG

tasks

on

heterogeneous

multi-core

processors.J.

Syst.Archit.

2022

（響應(yīng)時間分析）l

Boundingthe

ResponseTimeof

DAGTasks

Using

Long

Paths.

RTSS(2022)特別是針對ROS2的多個研究成果連續(xù)發(fā)表在本領(lǐng)域頂級國際會議RTSS上針對多層級嵌入式系統(tǒng)功能與時間行為建模研究基于監(jiān)測驅(qū)動的異構(gòu)嵌入式系統(tǒng)建模及架構(gòu)方面的主要難點在于當(dāng)前工業(yè)互聯(lián)網(wǎng)場景嵌入式系統(tǒng)任務(wù)圖時空依賴高度復(fù)雜、異構(gòu)資源難協(xié)調(diào)。圖式任務(wù)

任務(wù)調(diào)度安全關(guān)鍵系統(tǒng)中,基于圖的AI應(yīng)用存在非常復(fù)雜的數(shù)據(jù)依賴?，F(xiàn)有響應(yīng)時間分析技術(shù)在新型的異構(gòu)硬件(異構(gòu)多核+加速器)上處理圖式任務(wù)存在限制,整合這些單獨開發(fā)的組件十分困難，如ARINC653要求不同組件在時間上的完全隔離任務(wù)分析

實時核

普通多核加速器(GPUs,

FPGAs)

整合獨立開發(fā)的組件2025/8/2716定位路徑規(guī)劃執(zhí)行任務(wù)檢測2.將DAG轉(zhuǎn)換為普通任務(wù)把經(jīng)典圖理論引入實時分析領(lǐng)域，提出的基于長路徑的方法，成果發(fā)表在頂級國際會議RTSS2020、RTSS2022并獲得最佳論文獎。存在問題：問題1：HAC（硬件加速器）訪問通常是不可

搶占的，可能會超出時間片邊界。問題2：當(dāng)硬件資源因時間分區(qū)而部分可用時，現(xiàn)有的響應(yīng)時間分析不適用。問題3：在AI用例中，某些HAC（特別是GPU）可能高度爭用，導(dǎo)致阻塞界限（被分析轉(zhuǎn)化

為CPU執(zhí)行時間）過大。問題4：響應(yīng)時間界限隨著釋放偏移的增加而增加，當(dāng)依賴關(guān)系形成長路徑時，會被時間

分片進(jìn)一步加劇，導(dǎo)致響應(yīng)時間界限過大針對多層級嵌入式系統(tǒng)功能與時間行為建模研究2025/8/27171.將圖式任務(wù)轉(zhuǎn)換為DAG任務(wù)采用的方法：針對多操作系統(tǒng)實時保障與協(xié)同調(diào)度的研究?團隊研究了ROS2執(zhí)行器上任務(wù)鏈的實時調(diào)度問題，并提出了新的響應(yīng)時間

分析技術(shù)，成果發(fā)表在：

RTSS?

提出基于虛擬處理器的實時任務(wù)調(diào)度方法，

這對于解決多核平臺上并行調(diào)度實時任務(wù)的問題具有重要意義，成果發(fā)表在：TPDS?

提出統(tǒng)一阻塞分析框架，為分析使用自旋鎖保護資源的并行實時任務(wù)提供了理論支持，這對于構(gòu)建高可靠的多操作系統(tǒng)協(xié)同運行體系至關(guān)重要，成果發(fā)表在：TC?團隊解決了ROS2中針對任務(wù)鏈延遲更新調(diào)度規(guī)則顯著不同于現(xiàn)有實時調(diào)度

理論問題帶來的實時性無法保證問題，成果發(fā)表在：RTSS2020

、TC、DATE2021?

解決了ROS2中針對任務(wù)結(jié)構(gòu)復(fù)雜、多條任務(wù)鏈交叉實時性無法保證問題，

成果發(fā)表在：

RTAS2023?

針對ROS2中任務(wù)間通信模式對端到端實時性能有重要影響，我們給出了端

到端通信的最優(yōu)方案，成果發(fā)表在RTSS2023?

針對ROS2中消息同步機制每次迭代追求局部最優(yōu)，造成效率低、成功率低

問題，我們提出了SEAM機制，成果發(fā)表在：

RTSS2023并獲得最佳論文獎針對多層級嵌入式系統(tǒng)架構(gòu)中實現(xiàn)有效的資源隔離、任務(wù)分配和協(xié)同調(diào)度的研究?團隊提出了新的調(diào)度策略和任務(wù)劃分方法，

提高了能效并保障了

系統(tǒng)故障容忍能力，成果發(fā)表在：

TECS?

提出了基于優(yōu)先級列表調(diào)度（PLS）的新方法，適用于多核處理器

上的并行任務(wù)調(diào)度，成果發(fā)表在：

TCAD?

提出用于在異構(gòu)多核平臺上調(diào)度帶有類型約束的DAG任務(wù)的聯(lián)邦

調(diào)度方法，提出了新的核心分配方法，成果發(fā)表在：JSA?

提出了層次化調(diào)度框架，結(jié)合全局調(diào)度和聯(lián)邦調(diào)度的優(yōu)勢，這對

于多層級協(xié)同閉環(huán)優(yōu)化調(diào)度框架的研究具有重要參考價值，成果發(fā)表在：

JSA基于監(jiān)測驅(qū)動的異構(gòu)嵌入式系統(tǒng)建模及架構(gòu)方面的主要難點在于當(dāng)前具身智能場景嵌入式系統(tǒng)任務(wù)圖時空依賴高度復(fù)雜、異構(gòu)資源難協(xié)調(diào)。?團隊較早開展針對多核處理器可調(diào)度性分析和調(diào)度策略進(jìn)行研究，成果發(fā)表在：計算機學(xué)報?提出新的時間需求界限分析方法，以分析系統(tǒng)可調(diào)度性，

成果發(fā)表在：

RTSS?研究了不同通信范式對因果效應(yīng)鏈的影響，

并分析端到端時延，

成果發(fā)表在：

TC?

提出了基于任務(wù)的關(guān)鍵路徑進(jìn)行任務(wù)可調(diào)度性分析，成果發(fā)表在：TCAD?

提出基于

CAF

的線性時間可調(diào)度性測試方法，靈活評估系統(tǒng)可調(diào)度性，成果發(fā)表在：TCAD?

考慮多重因素的影響并結(jié)合最新的單DAG任務(wù)分析方法對多個

DAG

任務(wù)的可調(diào)度性進(jìn)行研究，成果發(fā)表在：計算機研究與發(fā)展?分析了任務(wù)的可調(diào)度性和任務(wù)鏈的端到端延遲約束，成果發(fā)表在：RTAS?

研究了解決實時系統(tǒng)中支持動態(tài)緩存分配的搶占式全局

EDF

調(diào)度算法的可調(diào)度性分析問題，成果發(fā)表在：

JSA?

基于全局固定優(yōu)先級（G-FP）調(diào)度策略提出輕任務(wù)的可調(diào)度性分析方法，成果發(fā)表在：JSA面向?qū)崟r系統(tǒng)可調(diào)度性和端到端時延分析方面的研究SEAM:AnOptimal

MessageSynchronizerinROSwithWell-BoundedTime

DisparityJinghaoSun1,TianyiWang1,Yang

Li1,

NanGuan2,Zhishan

Guo3,DengQingxu4

，Tan

Guozhen1《Industrial

Challenge---

RTSS

2021》?Acommonfeatureofautonomous

machine

is?The

ability

to

sense

the

surroundings

and

make

decisions

based

onthatdata

without

human

interventionCommon

FeaturesofAutonomous

MachineProcessinggraphofanautonomous

driving

systemTimingConstraints

inAutonomous

Machines?End-to-End

LatencyGuarantees?

Timing

Consistency

in

Data

FusionEnd-to-End

Latency

Guarantees?Datapropagationfrom

sensors

to

controllers

must

satisfy

the

end-to-end

latencyconstraint?Datapropagationfrom

sensors

to

controllers

must

satisfy

the

end-to-end

latencyconstraint?Large

latency

Slow

response

to

environmental

changesEnd-to-End

Latency

GuaranteesLow

latency,andquickly

responsetoLarge

latency,slow

response,

leadingchanges

inthesurroundingstoanaccidentTimingConstraints

inAutonomous

Machines?End-to-End

LatencyGuarantees?

Timing

Consistency

in

Data

FusionTimingConsistency

in

Data

Fusion?Sensordata

fromdisparatesourcescanbesafelyfusedonlyif

theirtimestampscloselyalignwith

each

otherTimingConsistency

in

Data

Fusion?Sensordata

fromdisparatesourcescanbesafelyfusedonlyif

theirtimestampscloselyalignwith

each

otherDatafrom

different

sensors

are

sampled

at

the

same

timeFused

data

from

different

sensorshave

different

timestampsSensor

1Sensor

2Sensor

3Sensor

1Sensor

2Sensor

3Ideal

SituationReal-World

SituationFusionFusion?Sensordata

fromdisparatesourcescanbesafelyfusedonlyif

theirtimestampscloselyalignwith

each

other?Time

disparity:difference

of

their

sampling

timeTimingConsistency

in

Data

FusionSensor

1Sensor

2Sensor

3time

disparity

Fusionsampling

timeFusion?Moredeeply

rooted

in

practicalapplications?

Tryto

design

moreeffectivefusion

mechanismsInnovation

of

This

Work?Fusion

algorithms?

Do

not

enforce

the

fused

data

to

be

sampled

at

the

same

time?

Instead,fused

data

only

needs

to

maintain

a

reasonable

time

disparityRooted

in

Practical

ApplicationsFusionAlgdataROSUnderlyingsystemTimedisparityfits

inthe

predefined

boundaryΔ?Fusion

algorithms?

Do

not

enforce

the

fused

data

to

be

sampled

at

the

same

time?

Instead,fused

data

only

needs

to

maintain

a

reasonable

time

disparityRooted

in

Practical

ApplicationsTimedisparityexceedsthe

predefined

boundaryΔFusionAlgdataROSUnderlyingsystem?Fusion

algorithms?

Do

not

enforce

the

fused

data

to

be

sampled

at

the

same

time?

Instead,fused

data

only

needs

to

maintain

a

reasonable

time

disparityRooted

in

Practical

ApplicationsFusionAlgdataROSBasic

Requirementof

FusionAlgorithmsTimedisparityexceedsthe

predefined

boundaryΔData

isfusedonly

ifthetimedisparityfalls

inan

acceptable

boundary.Underlyingsystem?Fusion

algorithms?

Do

not

enforce

the

fused

data

to

be

sampled

at

the

same

time?

Instead,fused

data

only

needs

to

maintain

a

reasonable

time

disparityRooted

in

Practical

Applications?Orientto

basic

requirementsoffusionalgorithms?

Pursuesmalltime

disparity?but

NOTthesmallest

time

disparityBasic

Requirementof

FusionAlgorithmsData

isfusedonly

ifthetimedisparityfallsin

an

acceptable

boundary.FusionAlgdataROSUnderlyingsystemWhat

happens

when

Pursuing

the

Smallest

Disparity??

Traditional

methods

in

ROS?Called

the

ApproximateTime

Algorithm?Asophisticated

messagesynchronization

policy?

Predict

the

arrival

time

of

messages?Wait

for

incoming

messages

to

pursue

the

smallest

time

disparity101010Message

Synchronizer

t1

t2

t3

timeSensor

1Sensor

2Sensor

31010102530What

happens

when

Pursuing

the

Smallest

Disparity??

Traditional

methods

in

ROS?Called

the

ApproximateTime

Algorithm?Asophisticated

messagesynchronization

policy?

Predict

the

arrival

time

of

messages?Wait

for

incoming

messages

to

pursue

the

smallest

time

disparity101010Message

Synchronizer3025Sensor

1Sensor

2Sensor

3time

t1

t2

t3

101010arrived

messages35What

happens

when

Pursuing

the

Smallest

Disparity??

Traditional

methods

in

ROS?Called

the

ApproximateTime

Algorithm?Asophisticated

messagesynchronization

policy?

Predict

the

arrival

time

of

messages?Wait

for

incoming

messages

to

pursue

the

smallest

time

disparity101010Message

Synchronizertairieveddisaersitsyag=e1s035102530SensorSensorSensortime

t1

t2

t3

Latest

message1231010?

Predict

the

arrival

time

of

messages?Wait

for

incoming

messages

to

pursue

the

smallest

time

disparity

time

disparity

=10

Prediction

time

disparity

=5

What

happens

when

Pursuing

the

Smallest

Disparity??

Traditional

methods

in

ROS?Called

the

ApproximateTime

Algorithm?Asophisticated

messagesynchronization

policy101010Message

Synchronizer4040302535SensorSensorSensortime

t1

t2

t3

101010123What

happens

when

Pursuing

the

Smallest

Disparity??

Traditional

methods

in

ROS?Called

the

ApproximateTime

Algorithm?Asophisticated

messagesynchronization

policy?

Predict

the

arrival

time

of

messages?Wait

for

incoming

messages

to

pursue

the

smallest

time

disparity101010Message

Synchronizer302535Sensor

1Sensor

2Sensor

3time

t1

t2

t3

101010 timedisparity=10

Waiting

…4040What

happens

when

Pursuing

the

Smallest

Disparity??

Traditional

methods

in

ROS?Called

the

ApproximateTime

Algorithm?Asophisticated

messagesynchronization

policy?

Predict

the

arrival

time

of

messages?Wait

for

incoming

messages

to

pursue

the

smallest

time

disparity101010404035605560Message

Synchronizer10

35

6010

30

40

60Sensor

1Sensor

2Sensor

3time55

t1

t2

t3

102540?ApproximateTime

algorithmfailsto

meettimingdisparityconstraints?To

pursuethesmallesttime

disparity

at

an

iteration?

May

worsen

time

disparity

at

future

iterationsWhat

happens

when

Pursuing

the

Smallest

Disparity?16Message

Synchronizer24161418Sensor

1Sensor

2Timedisparity

bound

=

5timedisparity

=6Prediction311410?ApproximateTime

algorithmfailsto

meettimingdisparityconstraints?To

pursuethesmallesttime

disparity

at

an

iteration?

May

worsen

time

disparity

at

future

iterationsWhat

happens

when

Pursuing

the

Smallest

Disparity?16Message

Synchronizer161418242831Sensor

1Sensor

2Timedisparity

bound

=

5

timedisparity

=3

2831101416142831283110

162414

18?ApproximateTime

algorithmfailsto

meettimingdisparityconstraints?To

pursuethesmallesttime

disparity

at

an

iteration?

May

worsen

time

disparity

at

future

iterationsWhat

happens

when

Pursuing

the

Smallest

Disparity?timedisparity

=6time

disparity

=2

time

disparity

=3Sensor

1Sensor

2Message

SynchronizerTimedisparity

bound

=

5?ApproximateTime

algorithmfailsto

meettimingdisparityconstraints?To

pursuethesmallesttime

disparity

at

an

iteration?

May

worsen

time

disparity

at

future

iterations?ThereindeedexistsfusionschemethatfulfillstimingdisparityconstraintsWhat

happens

when

Pursuing

the

Smallest

Disparity?1814163128Message

Synchronizer

timedisparity=4

timedisparity

=2timedisparity=3Sensor

1Sensor

2Sensor

3Timedisparity

bound

=

51014283116182410?ApproximateTime

algorithmfailsto

meettimingdisparityconstraints?To

pursuethesmallesttime

disparity

at

an

iteration?

May

worsen

time

disparity

at

future

iterations?ThereindeedexistsfusionschemethatfulfillstimingdisparityconstraintsWhat

happens

when

Pursuing

the

Smallest

Disparity?Message

Synchronizer1418Sensor

1Sensor

2Sensor

331Our

method

targets

to

find

such

a

feasible

fusion

scheme!

timedisparity=4

timedisparity

=2timedisparity=3Timedisparity

bound

=

510143118?Moredeeply

rooted

in

practicalapplications?

Tryto

design

moreeffectivefusion

mechanismsInnovation

of

This

WorkIfApproximateTimeAlgorithmfails,istherebetteralgorithms

to

meettimedisparity

constraints?Try

to

design

more

effective

fusion

mechanismsOpen

Problem

Our

work

Any

betteralgorithm?successfailconstraintsboundary=△/Synchronize

EarliestArrival

Messages

(SEAM)?

Target:groupthe

messageswith

reasonabletimedisparity?Dothis

online:?

Buffer

arrived

messages?Grouptheearliestarrival

messages

oncetheir

time

disparity

falls

withinTheSEAMAlgorithmMessage

SynchronizerSensor

1Sensor

2Sensor

33040304060a

specific

rangeBound

=

35601060?Compare

the

SuccessRateand

Computation

Timebetween

SEAM

and

ApproximateTime?

Success

Rate:the

percent

of

valid

output

message

sets?

ComputationTime:from

messageselectiontooutput

messageset

generation?SEAMoutperformsApproximatTimealgorithm?

Greaterstability

insuccess

rate?

Better

real-timecapbility:thecomputationtimeofSEAMisonly2/5ofthatrequiredby

ApproximateTimeonaverageEvaluation

Result?Proposea

novel

messagesynchronization

policy

(SEAM)?ProvetheSEAMalgorithm

is

optimal?

Output

maximum

number

of

messagesetssatisfyingtimedisparity

constraints?ImplementSEAM

into

ROS

2SummaryJointly

Ensuring

Timing

Disparity

and

End-to

-EndLatency

Constraints

in

Hybrid

DAGsJinghaoSun1,Xisheng

Li1,

MingyangGong1,

NanGuan2,Zhishan

Guo3,

Mingsong

Chen4,JunZhao1

and

Qingxu

Deng5?Reacttoopen

environment

adaptively?

Use

multiple

sensors

to

capture

events,

and

then?

Controllers

react

to

these

events

in

real

timeCommon

Featuresof

Autonomous

MachinesProcessinggraphofanautonomous

driving

system《

IndustrialChallenge

---

RTSS

2021》?Beforedeployment

atthe

edge,

AMsoftwareis

virtualized

and

fullytested

inthe

cloud?Ensure

it

responds

correctly

and

safelyto

real-world

environmental

conditions

during

runtime?Safety:

MajorConcernofAutonomous

Machines?

New

digraphms,

e.g.,

SOAFEE,

isproposed

to

develop

safe-criticalautonomous

machinesCommon

Featuresof

Autonomous

MachinesCloudvirtualtestingscenariosTesting

ValidationHypervisorSuccessfully

passtest&verificationVirtualtestingsystemVirtualtestingsystemVirtualtestingsystemOS/RTOSOSOSDeploymentandCloudvirtualtestingscenariosandDeploymentDesigninganadaptiveand

safe?Safety:

MajorConcernofAutonomous

Machines?

New

digraphms,

e.g.,

SOAFEE,

isproposed

to

develop

safe-criticalautonomous

machinesCommon

Featuresof

Autonomous

Machines?Beforedeployment

atthe

edge,autonomousmachineforopensafelyto

real-world

environmentalconditions

during

runtimeenvironmentsisacomplex

challengeHypervisorOS/RTOSOSOSBuildingAdaptiveandSafeAutonomous

Machines?Onlinemethodsseemsaneffcientwaytoimplement

adaptive

autonomous

machinesOncethesensorcaptureanevent,

autonomous

machine

responsestoitas

soon

as

possiblesensorDataPreprocessingTrackingPlanningControllereventsBuildingAdaptiveandSafeAutonomous

Machines?Online

methods

introduce

non-determinism?Posechallengesforautonomousmachinedevelopmentand?

Supposetwo

events

occurwithin

averyshorttimeframe?

Respond

immediately

to

onemay

causethe

otherto

be

missed

or