《電子技術應用》
您所在的位置:首頁 > 其他 > 設計應用 > 面向數據共享的模型訓練服務系統
面向數據共享的模型訓練服務系統
網絡安全與數據治理 2期
魏宏原1,2,華 蓓1,2,林 飛1,2
(1.中國科學技術大學 計算機科學與技術學院,安徽 合肥230027; 2.中國科學院無線光電通信重點實驗室,安徽 合肥230027)
摘要: 數據驅動的人工智能應用需要大數據支持,然而現實中因隱私保護等原因,數據往往互不流通,而以孤島形式存在。如何實現數據安全可用是當前亟待解決的問題。設計和實現了面向數據共享的模型訓練服務系統,通過向用戶提供數據功能服務接口而非數據本身,實現數據可用不可見。重點針對資源受限的數據共享平臺,設計了高效的資源分配和作業調度方法,特別是通過自動資源縮放來應對多變的工作負載,達到優化用戶體驗和提高資源利用的目的。實驗表明,相較于常規的作業調度方法,本系統在各種工作負載下都具有響應服務請求快、作業完成時間短的優點。
中圖分類號: TP14
文獻標識碼: A
DOI: 10.20044/j.csdg.2097-1788.2022.02.004
引用格式: 魏宏原,華蓓,林飛. 面向數據共享的模型訓練服務系統[J].網絡安全與數據治理,2022,41(2):20-29.
A model training service system for data sharing
Wei Hongyuan1,2,Hua Bei1,2,Lin Fei1,2
(1.School of Computer Science and Technology,University of Science and Technology of China,Hefei 230027,China; 2.CAS Key Laboratory of Wireless-Optical Communications,Hefei 230027,China)
Abstract: Data-driven artificial intelligence applications require the support of big data. However, in reality, most of the data do not circulate with each other due to privacy leakage. How to achieve data security and availability is an urgent problem to be solved. This paper designs and implements a data sharing-oriented model training service system. By providing users with data function service interfaces instead of the data itself, data availability is invisible. This paper focuses on resource-constrained data sharing platforms, and designs efficient resource allocation and job scheduling methods, especially through automatic resource scaling to cope with changing workloads, to optimize user experience and improve resource utilization. Experiments show that, compared with the conventional job scheduling method, the system has the advantages of fast response to service requests and short job completion time under various workloads.
Key words : data sharing;model training service;job schedule;resource allocation

0 引言

隨著物聯網、大數據、人工智能技術的發展,以及智慧城市、智慧醫療、電子商務等應用的廣泛普及,每天都有海量的數據產生,這些數據蘊涵了大量有價值的信息。但是另一方面,數據不足正成為當下制約人工智能發展的一大瓶頸。例如,深度神經網絡需要大量數據來訓練,但現實中大多數領域只有少量數據集可用,如自動駕駛只有數個公開數據集,醫學圖像領域不僅數據集少,且每個數據集僅包含數十或數百個病例。造成這種現象的原因主要有兩個方面,一是原始數據必須經過清洗和標注才能使用,而這一過程不僅費時費力,更可能需要專業人士的介入;二是目前各行各業的數據主要由政府和企業在收集,出于行業競爭、數據安全、管理制度等方面的考慮,這些數據不能被共享,形成了許許多多的數據孤島。如何在保護數據和使用數據之間取得平衡,是當下迫切需要解決的問題[1]。

一些企業和機構已經或正在建設數據共享和交易平臺來促進數據流通,如Exchange、數據堂、上海數據交易中心等。但目前這些平臺多以交易數據為主,用戶在付費之后擁有對數據的永久/指定期限訪問權,可以在數據上執行任意計算來挖掘感興趣的信息。這會帶來兩個問題,一是如果這些數據中包含敏感信息,直接開放給用戶下載會帶來數據安全問題;二是難以控制用戶對數據進行非法復制和傳播,數據可能被用于不正當用途。其實很多時候用戶只想利用數據來訓練他們需要的模型,對原始數據本身并不感興趣,向用戶提供數據的功能性服務而非直接提供數據,可以在一定程度上解決數據保護和數據使用之間的矛盾。比如,交通管理部門可在自有的城市出行數據上,為社會學研究人員訓練用于分析人群移動規律的數學模型。

本文提出面向數據共享的模型訓練服務系統,允許機構或企業利用自有數據集和自有計算資源,向用戶提供模型訓練服務(當然機構可以向用戶收費,但這不在本文討論的范圍內)。用戶只需指定需要的數據集并上傳自定義的模型結構(本系統主要考慮深度學習模型),系統可自動完成模型訓練作業,并向用戶返回訓練好的模型,真正實現“數據可用不可見”。提供數據的功能性服務接口而非數據本身,對于消除數據孤島、促進數據安全流通具有極為積極的作用




本文詳細內容請下載http://m.jysgc.com/resource/share/2000004854




作者信息:

魏宏原1,2,華  蓓1,2,林  飛1,2

(1.中國科學技術大學 計算機科學與技術學院,安徽 合肥230027;

2.中國科學院無線光電通信重點實驗室,安徽 合肥230027)


微信圖片_20210517164139.jpg

此內容為AET網站原創,未經授權禁止轉載。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
亚洲图片激情小说| 亚洲精品一区久久久久久| 揄拍成人国产精品视频| 国产精品一区一区| 国产精品二区在线观看| 欧美网站大全在线观看| 欧美日韩专区| 欧美日韩国产123区| 欧美国产高清| 欧美精品在线观看| 欧美久久综合| 欧美日产在线观看| 欧美日韩在线高清| 国产精品成人在线观看| 欧美系列精品| 国产精品嫩草99a| 国产精品日韩精品| 国产精品一区亚洲| 国产一区二区三区久久| 韩国成人精品a∨在线观看| 狠狠色综合一区二区| 悠悠资源网久久精品| 亚洲国产精品福利| 亚洲精品自在久久| 在线午夜精品自拍| 亚洲免费视频一区二区| 欧美一区=区| 亚洲国产视频一区二区| 亚洲精品一区二区三区樱花| 日韩亚洲欧美一区| 亚洲已满18点击进入久久| 午夜久久一区| 久久久久久久久久久一区| 久久另类ts人妖一区二区| 久久视频这里只有精品| 母乳一区在线观看| 欧美日韩精品免费观看视频| 欧美网站在线| 国产亚洲二区| 亚洲国产欧美在线人成| 一本色道精品久久一区二区三区| 亚洲一区二区三| 久久精品国产视频| 99精品国产在热久久下载| 亚洲资源av| 久久漫画官网| 欧美激情一区二区三级高清视频| 欧美日韩一区二区三区在线| 国产欧美一区二区精品仙草咪| 国内欧美视频一区二区| 亚洲人久久久| 亚洲欧美影音先锋| 91久久精品国产91久久性色tv| 亚洲少妇最新在线视频| 欧美在线网址| 欧美黑人在线播放| 国产精品网红福利| 亚洲电影自拍| 亚洲在线不卡| 亚洲欧洲精品一区二区三区波多野1战4| 9久草视频在线视频精品| 欧美一区免费视频| 欧美激情视频一区二区三区不卡| 国产精品久久久久77777| 狠狠色噜噜狠狠色综合久| 日韩视频一区二区| 欧美中文在线字幕| 亚洲一级特黄| 免费影视亚洲| 国产精品高潮粉嫩av| 在线观看中文字幕不卡| 亚洲一区在线直播| 亚洲毛片在线观看.| 久久精品国产第一区二区三区| 欧美日韩精品系列| 狠狠色丁香久久综合频道| 99在线精品观看| 最新国产乱人伦偷精品免费网站| 香蕉久久夜色精品国产使用方法| 欧美大尺度在线| 国产一区二区按摩在线观看| 99国内精品| 亚洲精品国产品国语在线app | 99爱精品视频| 久久久精品网| 国产精品日韩精品| 亚洲精品乱码久久久久久日本蜜臀| 久久不射网站| 欧美亚洲综合网| 欧美三级电影网| 亚洲破处大片| 亚洲国产日韩欧美| 久久精品99| 国产精品一卡二卡| 一区二区三区鲁丝不卡| 亚洲精品三级| 蜜臀av性久久久久蜜臀aⅴ| 国产欧美亚洲视频| 亚洲一级二级在线| 亚洲一区二区精品在线观看| 欧美人妖在线观看| 一区二区在线看| 久久精品91久久香蕉加勒比 | 男女激情视频一区| 国模私拍视频一区| 午夜精品久久久久99热蜜桃导演| 亚洲影视在线播放| 欧美视频导航| 日韩视频一区二区三区在线播放免费观看 | 亚洲精品日本| 免费亚洲一区| 亚洲福利免费| 亚洲高清在线观看一区| 裸体一区二区| 亚洲国产成人在线| 亚洲乱码国产乱码精品精可以看 | 亚洲一区欧美激情| 亚洲欧美在线x视频| 国产精品美女久久福利网站| 亚洲午夜精品网| 香蕉久久久久久久av网站| 国产精品网站在线| 亚洲欧美日韩国产成人| 欧美尤物一区| 国内精品久久久久久久果冻传媒| 欧美专区福利在线| 美女国内精品自产拍在线播放| 一区在线播放| 亚洲老板91色精品久久| 欧美日韩国产区一| 一本色道久久综合亚洲二区三区| 亚洲一区视频在线| 国产精品制服诱惑| 欧美在线亚洲| 欧美成在线观看| 99视频一区二区| 欧美一级在线视频| 国产亚洲福利| 亚洲日本激情| 欧美网站在线| 亚洲欧美日韩一区二区| 久久久亚洲高清| 亚洲国产三级在线| 亚洲午夜在线观看| 国产日产精品一区二区三区四区的观看方式| 性感少妇一区| 牛夜精品久久久久久久99黑人| 亚洲精品国产精品乱码不99按摩| 亚洲一区国产精品| 国产亚洲欧美在线| 亚洲美女黄网| 国产精品亚洲欧美| 亚洲国产人成综合网站| 欧美日韩久久不卡| 亚久久调教视频| 欧美成人午夜免费视在线看片| 99视频热这里只有精品免费| 欧美一区二区在线| 亚洲成人自拍视频| 亚洲一区激情| 伊人成人在线| 亚洲在线成人精品| 国内精品久久久久久久影视蜜臀 | 亚洲一区久久久| 鲁大师成人一区二区三区| 亚洲精品视频一区二区三区| 午夜精彩视频在线观看不卡| 精品福利电影| 亚洲欧美高清| 亚洲第一黄色网| 亚洲欧美精品suv| 在线欧美福利| 午夜精品国产更新| 亚洲国产精品毛片| 欧美一级在线亚洲天堂| 亚洲精品久久久久久一区二区| 欧美一区二区三区在线| 亚洲国产女人aaa毛片在线| 香蕉久久精品日日躁夜夜躁| 亚洲欧洲日产国产综合网| 欧美一区二区三区成人| 91久久精品一区二区三区| 午夜视频久久久| 亚洲黄色免费电影| 久久精精品视频| 一区二区三区欧美激情| 女主播福利一区| 性色av一区二区三区在线观看| 欧美精品在线一区| 欧美专区日韩视频| 国产精品电影观看| 99精品欧美| 伊大人香蕉综合8在线视| 午夜精品免费| 妖精视频成人观看www| 美国成人直播| 西瓜成人精品人成网站| 欧美日韩在线播放三区四区| 亚洲精品乱码久久久久久久久| 国产日韩欧美一区二区三区四区|