《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 人工智能 > 業(yè)界動態(tài) > 北京大學(xué)與智元機器人聯(lián)合實驗室發(fā)布OmniManip架構(gòu)

北京大學(xué)與智元機器人聯(lián)合實驗室發(fā)布OmniManip架構(gòu)

2025-01-23
來源:IT之家

1 月 23 日消息,如何將視覺語?基礎(chǔ)模型(Vision  Language  Models,  VLMs)應(yīng)?于機器?以實現(xiàn)通?操作是具身智能領(lǐng)域的?個核?問題,這??標(biāo)的實現(xiàn)受兩?關(guān)鍵挑戰(zhàn)制約:

VLM 缺少精確的 3D 理解能?:通過對?學(xué)習(xí)范式訓(xùn)練、僅以 2D 圖像 / ?本作為輸?的 VLM 的天然局限;

?法輸出低層次動作:將 VLM 在機器?數(shù)據(jù)上進?微調(diào)以得到視覺 - 語? - 動作(VLA)模型是?種有前景的解決?案,但?前仍受到數(shù)據(jù)收集成本和泛化能?的限制。

上海智元新創(chuàng)技術(shù)有限公司官方今日發(fā)文稱,北?攜?智元機器?團隊提出 OmniManip 架構(gòu),基于以對象為中?的 3D 交互基元,將 VLM 的高層次推理能力轉(zhuǎn)化為機器?的低層次高精度動作。

針對?模型幻覺問題和真實環(huán)境操作的不確定性,OmniManip 引?了 VLM 規(guī)劃和機器?執(zhí)?的雙閉環(huán)系統(tǒng)設(shè)計,實現(xiàn)了操作性能突破。目前項?主?與論?已上線,代碼與測試平臺即將開源。

智元機器人官方獲悉,OmniManip 的關(guān)鍵設(shè)計包括:

基于 VLM 的任務(wù)解析:利? VLM 強?的常識推理能?,將任務(wù)分解為多個結(jié)構(gòu)化階段(Stages),每個階段明確指定了主動物體(Active)、被動物體(Passive)和動作類型(Action)。

以物體為中?的交互基元作為空間約束:通過 3D 基座模型?成任務(wù)相關(guān)物體的 3D 模型和規(guī)范化空間(canonical space),使 VLM 能夠直接在該空間中采樣 3D 交互基元,作為 Action 的空間約束,從?優(yōu)化求解出 Active 物體在 Passive 物體規(guī)范坐標(biāo)系下的?標(biāo)交互姿態(tài)。

閉環(huán) VLM 規(guī)劃:將?標(biāo)交互姿態(tài)下的 Active / Passive 物體渲染成圖像,由 VLM 評估與重采樣,實現(xiàn) VLM 對?身規(guī)劃結(jié)果的閉環(huán)調(diào)整。

閉環(huán)機器?執(zhí)?:通過物體 6D 姿態(tài)跟蹤器實時更新 Active / Passive 物體的位姿,轉(zhuǎn)換為機械臂末端執(zhí)?器的操作軌跡,實現(xiàn)閉環(huán)執(zhí)?。

此外,OmniManip 具備通?泛化能?,不受特定場景和物體限制。團隊已將其應(yīng)?于數(shù)字資產(chǎn)?動標(biāo)注 / 合成管道,實現(xiàn)?規(guī)模的機器?軌跡?動采集。該研究團隊將開源泛化操作?規(guī)模數(shù)據(jù)集和對應(yīng)的仿真評測基準(zhǔn)。

據(jù)IT之家此前報道,以“天才少年”身份加入華為的稚暉君于 2022 年底宣布離職,創(chuàng)業(yè)智元機器人。2024 年 9 月 3 日,智元機器人完成 A++++++ 輪融資,估值已超過 70 億元,得到了包括北汽、上汽、比亞迪在內(nèi)的國內(nèi)汽車巨頭支持。

目前,智元機器人量產(chǎn)的第 1000 臺通用具身機器人已于本月(1 月 6 日)正式下線,其中包括 731 臺雙足人形機器人(遠征 A2 / 靈犀 X1)和 269 臺輪式通用機器人(遠征 A2-D / A2-W)。

0.png


Magazine.Subscription.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
久久频这里精品99香蕉| 欧美激情91| 亚洲三级免费| 欧美怡红院视频一区二区三区| 一区二区精品在线观看| 亚洲电影免费观看高清| 狠狠色狠狠色综合| 国产一区二区三区在线观看免费视频 | 久久gogo国模啪啪人体图| 亚洲综合久久久久| 亚洲午夜精品久久久久久浪潮| 99re8这里有精品热视频免费| 亚洲欧洲一区二区在线播放| 亚洲人成绝费网站色www| 亚洲国产毛片完整版| 亚洲国产毛片完整版| 亚洲欧洲美洲综合色网| 亚洲日本va午夜在线电影| 亚洲欧洲精品一区二区三区波多野1战4 | 中文在线一区| 亚洲影院在线| 羞羞视频在线观看欧美| 羞羞色国产精品| 久久久精品日韩欧美| 麻豆精品一区二区av白丝在线| 老司机午夜精品| 亚洲欧美影院| 久久激情婷婷| 亚洲综合精品四区| 久久久久久伊人| 欧美日本韩国在线| 欧美激情一区二区| 欧美日韩免费一区二区三区| 欧美三级免费| 国产欧美精品一区二区三区介绍| 国产欧美在线观看一区| 国模大胆一区二区三区| 亚洲国产精品激情在线观看| 99精品福利视频| 亚洲欧美日韩在线不卡| 亚洲国产精品免费| 在线视频精品| 久久aⅴ国产欧美74aaa| 蜜臀av在线播放一区二区三区| 欧美伦理视频网站| 国产精品免费小视频| 国产一区视频在线看| 亚洲国产一二三| 亚洲一区二区四区| 亚洲激情啪啪| 亚洲免费中文| 六月丁香综合| 欧美午夜激情视频| 国际精品欧美精品| 日韩午夜剧场| 久久国产加勒比精品无码| 一个色综合av| 久久久久久一区二区三区| 欧美激情在线有限公司| 国产伦一区二区三区色一情| 亚洲国产一区二区视频| 亚洲欧美国产精品桃花| 亚洲精品乱码久久久久久日本蜜臀 | 亚洲婷婷免费| 久久一区亚洲| 国产精品国内视频| 亚洲大片av| 亚洲专区国产精品| 亚洲国产一区二区三区青草影视 | 亚洲欧美日韩精品综合在线观看| 久久亚洲一区二区三区四区| 国产精品mv在线观看| 激情成人亚洲| 亚洲一级黄色片| 日韩一级大片在线| 久久久最新网址| 国产精品美女在线观看| 亚洲欧洲日本mm| 久久国产婷婷国产香蕉| 亚洲欧美高清| 欧美裸体一区二区三区| 国内综合精品午夜久久资源| 一区二区三区四区五区视频| 亚洲精品乱码久久久久久蜜桃麻豆| 欧美在线免费播放| 国产精品都在这里| 亚洲人成人99网站| 久久精品国产69国产精品亚洲| 亚洲欧美日韩在线一区| 欧美日韩精品系列| 亚洲高清成人| 亚洲电影一级黄| 久久gogo国模啪啪人体图| 欧美视频免费看| 亚洲精品免费一二三区| 91久久久久久久久| 久久亚洲精品一区二区| 国产欧美日韩视频| 亚洲一区二区三区免费视频 | 欧美日韩午夜剧场| 亚洲激情av| 亚洲欧洲日本一区二区三区| 久久久久久久久久久一区| 国产精品大全| 夜久久久久久| 一区二区三区欧美日韩| 欧美精品aa| 亚洲成人影音| 亚洲黄页视频免费观看| 久久一区中文字幕| 国内成+人亚洲| 欧美在线视频观看免费网站| 欧美一区二区三区四区夜夜大片| 国产精品久久久久久久电影 | 国产精品制服诱惑| 亚洲一区二区三区色| 亚洲欧美综合网| 国产精品乱人伦一区二区| 在线性视频日韩欧美| 亚洲系列中文字幕| 欧美视频一区二区三区四区| 日韩视频―中文字幕| 一区二区三区欧美亚洲| 欧美日韩免费观看一区=区三区| 亚洲精品美女| 宅男精品视频| 国产精品久久久爽爽爽麻豆色哟哟| 一区二区三区国产| 亚洲女同同性videoxma| 国产精品你懂的在线| 亚洲天堂成人在线观看| 亚洲欧美综合一区| 国产欧美亚洲一区| 久久精品国产在热久久 | 欧美精品日韩www.p站| 亚洲精品视频免费在线观看| 亚洲视频在线播放| 国产精品免费看片| 久久99伊人| 欧美韩国日本一区| 日韩写真在线| 午夜宅男久久久| 国产一区清纯| 亚洲全黄一级网站| 欧美色欧美亚洲另类二区| 亚洲永久精品国产| 久久夜色精品国产噜噜av| 亚洲国产精品第一区二区三区| 一区二区欧美激情| 国产精品午夜在线观看| 久久精品视频在线播放| 欧美精彩视频一区二区三区| 夜夜夜久久久| 久久久久99精品国产片| 亚洲国产欧美一区二区三区久久| 亚洲最新合集| 国产精品一区二区三区免费观看| 亚洲成人资源网| 欧美日韩小视频| 午夜一区二区三区不卡视频| 美女福利精品视频| 亚洲精品视频中文字幕| 午夜日韩在线| 亚洲成人在线观看视频| 在线亚洲免费视频| 国产亚洲一级高清| 一本色道久久综合精品竹菊 | 欧美激情视频给我| 亚洲综合色自拍一区| 欧美v国产在线一区二区三区| 一区二区久久| 狼人社综合社区| 亚洲视频欧洲视频| 美女露胸一区二区三区| 一区二区三区在线观看国产| 亚洲片区在线| 国产精品美女主播| 亚洲精品免费观看| 国产日韩欧美综合精品| 夜夜嗨av色综合久久久综合网| 国产日韩欧美不卡在线| 日韩一级二级三级| 国产中文一区二区| 亚洲小少妇裸体bbw| 一区二区视频在线观看| 亚洲欧美日韩一区| 亚洲黄色免费电影| 久久精品91| 一区二区三区精品| 欧美激情1区2区3区| 性欧美大战久久久久久久免费观看| 欧美精品成人一区二区在线观看 | 久久久亚洲国产天美传媒修理工| 99xxxx成人网| 免费欧美日韩| 欧美亚洲日本网站| 国产精品xxxav免费视频| 亚洲精品国产系列| 国内精品一区二区三区| 午夜亚洲影视|