《電子技術應用》
您所在的位置:首頁 > 人工智能 > 業界動態 > 北京大學與智元機器人聯合實驗室發布OmniManip架構

北京大學與智元機器人聯合實驗室發布OmniManip架構

2025-01-23
來源:IT之家

1 月 23 日消息,如何將視覺語?基礎模型(Vision  Language  Models,  VLMs)應?于機器?以實現通?操作是具身智能領域的?個核?問題,這??標的實現受兩?關鍵挑戰制約:

VLM 缺少精確的 3D 理解能?:通過對?學習范式訓練、僅以 2D 圖像 / ?本作為輸?的 VLM 的天然局限;

?法輸出低層次動作:將 VLM 在機器?數據上進?微調以得到視覺 - 語? - 動作(VLA)模型是?種有前景的解決?案,但?前仍受到數據收集成本和泛化能?的限制。

上海智元新創技術有限公司官方今日發文稱,北?攜?智元機器?團隊提出 OmniManip 架構,基于以對象為中?的 3D 交互基元,將 VLM 的高層次推理能力轉化為機器?的低層次高精度動作。

針對?模型幻覺問題和真實環境操作的不確定性,OmniManip 引?了 VLM 規劃和機器?執?的雙閉環系統設計,實現了操作性能突破。目前項?主?與論?已上線,代碼與測試平臺即將開源。

智元機器人官方獲悉,OmniManip 的關鍵設計包括:

基于 VLM 的任務解析:利? VLM 強?的常識推理能?,將任務分解為多個結構化階段(Stages),每個階段明確指定了主動物體(Active)、被動物體(Passive)和動作類型(Action)。

以物體為中?的交互基元作為空間約束:通過 3D 基座模型?成任務相關物體的 3D 模型和規范化空間(canonical space),使 VLM 能夠直接在該空間中采樣 3D 交互基元,作為 Action 的空間約束,從?優化求解出 Active 物體在 Passive 物體規范坐標系下的?標交互姿態。

閉環 VLM 規劃:將?標交互姿態下的 Active / Passive 物體渲染成圖像,由 VLM 評估與重采樣,實現 VLM 對?身規劃結果的閉環調整。

閉環機器?執?:通過物體 6D 姿態跟蹤器實時更新 Active / Passive 物體的位姿,轉換為機械臂末端執?器的操作軌跡,實現閉環執?。

此外,OmniManip 具備通?泛化能?,不受特定場景和物體限制。團隊已將其應?于數字資產?動標注 / 合成管道,實現?規模的機器?軌跡?動采集。該研究團隊將開源泛化操作?規模數據集和對應的仿真評測基準。

據IT之家此前報道,以“天才少年”身份加入華為的稚暉君于 2022 年底宣布離職,創業智元機器人。2024 年 9 月 3 日,智元機器人完成 A++++++ 輪融資,估值已超過 70 億元,得到了包括北汽、上汽、比亞迪在內的國內汽車巨頭支持。

目前,智元機器人量產的第 1000 臺通用具身機器人已于本月(1 月 6 日)正式下線,其中包括 731 臺雙足人形機器人(遠征 A2 / 靈犀 X1)和 269 臺輪式通用機器人(遠征 A2-D / A2-W)。

0.png


Magazine.Subscription.jpg

本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
欧美激情 亚洲a∨综合| 亚洲视频综合| 久久黄色小说| 欧美高清在线视频| 亚洲视频在线观看免费| 美女视频一区免费观看| 亚洲午夜羞羞片| 欧美激情国产日韩精品一区18| 一区二区三区欧美在线观看| 久久蜜桃精品| 亚洲伊人伊色伊影伊综合网| 美女主播一区| 欧美在线观看视频| 国产精品www网站| 亚洲茄子视频| 曰本成人黄色| 久久午夜电影网| 欧美日韩伦理在线免费| 新67194成人永久网站| 欧美亚洲第一区| 99视频在线观看一区三区| 国语自产精品视频在线看8查询8| 免费看黄裸体一级大秀欧美| 国产精品久久久久天堂| 一区二区三区视频在线看| 一区二区三区国产精华| 在线一区免费观看| 伊人久久亚洲热| 久久精品一区二区三区中文字幕| 宅男噜噜噜66国产日韩在线观看| 欧美精品在线免费| 一区二区三区高清不卡| 一本大道久久精品懂色aⅴ| 欧美日韩mp4| 亚洲视频一区| 亚洲欧美一区二区原创| 国产亚洲女人久久久久毛片| 久久在线播放| 日韩午夜三级在线| 夜夜精品视频| 国产精品羞羞答答xxdd| 久久黄色级2电影| 亚洲国产成人久久| 亚洲黑丝在线| 国产精品电影网站| 久久久精品日韩| 9i看片成人免费高清| 欧美国产欧美亚州国产日韩mv天天看完整| 亚洲第一偷拍| 一二三区精品| 国产一区视频网站| 欧美日韩国产小视频| 欧美在线3区| 亚洲裸体在线观看| 亚洲综合不卡| 亚洲精品一区二区三区樱花| 国产日韩欧美另类| 欧美高清在线| 久久久久久9| 在线一区亚洲| 91久久国产综合久久91精品网站| 日韩视频在线一区| 激情国产一区二区| 国产精品二区二区三区| 麻豆国产精品va在线观看不卡| 亚洲砖区区免费| 99国产精品久久久久久久久久| 亚洲欧美制服另类日韩| 99国产麻豆精品| 亚洲茄子视频| 亚洲第一福利在线观看| 国产日韩欧美高清| 国产精品福利在线观看| 欧美人成在线| 欧美bbbxxxxx| 久久一区二区三区四区五区| 欧美影院在线播放| 亚洲综合成人在线| 亚洲一卡二卡三卡四卡五卡| 影音先锋久久精品| 国产亚洲福利社区一区| 国产欧美91| 国产日韩欧美黄色| 国产午夜精品理论片a级大结局 | 欧美在线免费视频| 亚洲影院在线观看| 亚洲一区二区视频在线| 一本一本久久a久久精品综合麻豆 一本一本久久a久久精品牛牛影视 | 一级日韩一区在线观看| 亚洲精品资源| 一区二区三区日韩欧美精品| 亚洲最黄网站| 在线视频日韩| 欧美一区二区免费| 亚洲电影在线免费观看| 亚洲激情图片小说视频| 亚洲国产精品999| 99国产精品自拍| 午夜激情综合网| 久久精品人人爽| 欧美国产精品| 国产精品女主播| 影音先锋一区| av不卡免费看| 亚洲国产福利在线| 亚洲自啪免费| 亚洲精品欧洲精品| 亚洲精品乱码久久久久久日本蜜臀 | 最新日韩av| 亚洲欧美在线播放| 亚洲精品三级| 亚洲欧美日韩国产综合| 亚洲已满18点击进入久久| 精品88久久久久88久久久| 牛牛影视久久网| 欧美日韩国内| 韩国久久久久| 一区二区三区视频在线| 亚洲国产精品久久久久婷婷884| 一本久久精品一区二区| 久久久无码精品亚洲日韩按摩| 欧美精品久久久久a| 国产乱理伦片在线观看夜一区| 尤物yw午夜国产精品视频明星| 一区二区三区|亚洲午夜| 亚洲大胆美女视频| 欧美一区二区在线播放| 欧美日韩视频在线| 激情成人综合| 久久精品官网| 久久久人人人| 国产一区自拍视频| 午夜一级在线看亚洲| 亚洲欧美日韩精品久久| 欧美涩涩网站| 亚洲最新视频在线播放| 一区二区毛片| 欧美日韩亚洲一区二区| 91久久精品一区二区别| 国产区二精品视| 亚洲免费激情| 亚洲一区自拍| 国产精品亚洲片夜色在线| 在线亚洲一区二区| 欧美一区二区视频在线| 国产香蕉97碰碰久久人人| 午夜在线观看欧美| 久久激情五月激情| 在线观看91精品国产入口| 久久国产高清| 欧美成人高清视频| 99人久久精品视频最新地址| 在线中文字幕一区| 国产精品一区二区在线观看网站| 亚洲综合第一| 欧美成人午夜免费视在线看片| 亚洲国产电影| 午夜久久久久久久久久一区二区| 国产乱码精品一区二区三| 久久aⅴ国产紧身牛仔裤| 欧美+亚洲+精品+三区| 亚洲精品一区二区三区婷婷月| 亚洲午夜精品一区二区| 国产日韩欧美中文| 亚洲精选视频免费看| 国产精品网站在线| 亚洲日本成人网| 国产麻豆9l精品三级站| 亚洲精品中文字幕女同| 国产噜噜噜噜噜久久久久久久久| 亚洲国产中文字幕在线观看| 欧美天天在线| 亚洲国产老妈| 欧美日韩一区在线观看| 久久精品123| 国产精品久久久久一区二区三区 | 99re热精品| 久久在线免费观看| 亚洲欧美日本在线| 欧美日韩一区视频| 亚洲黄一区二区三区| 国产精品一区二区女厕厕| 夜夜爽www精品| 中文在线资源观看网站视频免费不卡| 欧美日韩在线影院| 亚洲精品国产精品国自产观看浪潮| 国产精品亚洲аv天堂网| 日韩五码在线| 亚洲人www| 免费欧美日韩国产三级电影| 欧美亚洲综合在线| 国产精品尤物福利片在线观看| 一区二区三区精品视频在线观看| 在线不卡视频| 久久亚洲精品欧美| 久久精品国产第一区二区三区| 午夜在线观看免费一区| 日韩一级免费观看| 欧美丝袜第一区| 中文成人激情娱乐网|