《電子技術應用》
您所在的位置:首頁 > 其他 > 設計應用 > 面向數(shù)據(jù)共享的模型訓練服務系統(tǒng)
面向數(shù)據(jù)共享的模型訓練服務系統(tǒng)
網(wǎng)絡安全與數(shù)據(jù)治理 2期
魏宏原1,2,華 蓓1,2,林 飛1,2
(1.中國科學技術大學 計算機科學與技術學院,安徽 合肥230027; 2.中國科學院無線光電通信重點實驗室,安徽 合肥230027)
摘要: 數(shù)據(jù)驅動的人工智能應用需要大數(shù)據(jù)支持,然而現(xiàn)實中因隱私保護等原因,數(shù)據(jù)往往互不流通,而以孤島形式存在。如何實現(xiàn)數(shù)據(jù)安全可用是當前亟待解決的問題。設計和實現(xiàn)了面向數(shù)據(jù)共享的模型訓練服務系統(tǒng),通過向用戶提供數(shù)據(jù)功能服務接口而非數(shù)據(jù)本身,實現(xiàn)數(shù)據(jù)可用不可見。重點針對資源受限的數(shù)據(jù)共享平臺,設計了高效的資源分配和作業(yè)調(diào)度方法,特別是通過自動資源縮放來應對多變的工作負載,達到優(yōu)化用戶體驗和提高資源利用的目的。實驗表明,相較于常規(guī)的作業(yè)調(diào)度方法,本系統(tǒng)在各種工作負載下都具有響應服務請求快、作業(yè)完成時間短的優(yōu)點。
中圖分類號: TP14
文獻標識碼: A
DOI: 10.20044/j.csdg.2097-1788.2022.02.004
引用格式: 魏宏原,華蓓,林飛. 面向數(shù)據(jù)共享的模型訓練服務系統(tǒng)[J].網(wǎng)絡安全與數(shù)據(jù)治理,2022,41(2):20-29.
A model training service system for data sharing
Wei Hongyuan1,2,Hua Bei1,2,Lin Fei1,2
(1.School of Computer Science and Technology,University of Science and Technology of China,Hefei 230027,China; 2.CAS Key Laboratory of Wireless-Optical Communications,Hefei 230027,China)
Abstract: Data-driven artificial intelligence applications require the support of big data. However, in reality, most of the data do not circulate with each other due to privacy leakage. How to achieve data security and availability is an urgent problem to be solved. This paper designs and implements a data sharing-oriented model training service system. By providing users with data function service interfaces instead of the data itself, data availability is invisible. This paper focuses on resource-constrained data sharing platforms, and designs efficient resource allocation and job scheduling methods, especially through automatic resource scaling to cope with changing workloads, to optimize user experience and improve resource utilization. Experiments show that, compared with the conventional job scheduling method, the system has the advantages of fast response to service requests and short job completion time under various workloads.
Key words : data sharing;model training service;job schedule;resource allocation

0 引言

隨著物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能技術的發(fā)展,以及智慧城市、智慧醫(yī)療、電子商務等應用的廣泛普及,每天都有海量的數(shù)據(jù)產(chǎn)生,這些數(shù)據(jù)蘊涵了大量有價值的信息。但是另一方面,數(shù)據(jù)不足正成為當下制約人工智能發(fā)展的一大瓶頸。例如,深度神經(jīng)網(wǎng)絡需要大量數(shù)據(jù)來訓練,但現(xiàn)實中大多數(shù)領域只有少量數(shù)據(jù)集可用,如自動駕駛只有數(shù)個公開數(shù)據(jù)集,醫(yī)學圖像領域不僅數(shù)據(jù)集少,且每個數(shù)據(jù)集僅包含數(shù)十或數(shù)百個病例。造成這種現(xiàn)象的原因主要有兩個方面,一是原始數(shù)據(jù)必須經(jīng)過清洗和標注才能使用,而這一過程不僅費時費力,更可能需要專業(yè)人士的介入;二是目前各行各業(yè)的數(shù)據(jù)主要由政府和企業(yè)在收集,出于行業(yè)競爭、數(shù)據(jù)安全、管理制度等方面的考慮,這些數(shù)據(jù)不能被共享,形成了許許多多的數(shù)據(jù)孤島。如何在保護數(shù)據(jù)和使用數(shù)據(jù)之間取得平衡,是當下迫切需要解決的問題[1]。

一些企業(yè)和機構已經(jīng)或正在建設數(shù)據(jù)共享和交易平臺來促進數(shù)據(jù)流通,如Exchange、數(shù)據(jù)堂、上海數(shù)據(jù)交易中心等。但目前這些平臺多以交易數(shù)據(jù)為主,用戶在付費之后擁有對數(shù)據(jù)的永久/指定期限訪問權,可以在數(shù)據(jù)上執(zhí)行任意計算來挖掘感興趣的信息。這會帶來兩個問題,一是如果這些數(shù)據(jù)中包含敏感信息,直接開放給用戶下載會帶來數(shù)據(jù)安全問題;二是難以控制用戶對數(shù)據(jù)進行非法復制和傳播,數(shù)據(jù)可能被用于不正當用途。其實很多時候用戶只想利用數(shù)據(jù)來訓練他們需要的模型,對原始數(shù)據(jù)本身并不感興趣,向用戶提供數(shù)據(jù)的功能性服務而非直接提供數(shù)據(jù),可以在一定程度上解決數(shù)據(jù)保護和數(shù)據(jù)使用之間的矛盾。比如,交通管理部門可在自有的城市出行數(shù)據(jù)上,為社會學研究人員訓練用于分析人群移動規(guī)律的數(shù)學模型。

本文提出面向數(shù)據(jù)共享的模型訓練服務系統(tǒng),允許機構或企業(yè)利用自有數(shù)據(jù)集和自有計算資源,向用戶提供模型訓練服務(當然機構可以向用戶收費,但這不在本文討論的范圍內(nèi))。用戶只需指定需要的數(shù)據(jù)集并上傳自定義的模型結構(本系統(tǒng)主要考慮深度學習模型),系統(tǒng)可自動完成模型訓練作業(yè),并向用戶返回訓練好的模型,真正實現(xiàn)“數(shù)據(jù)可用不可見”。提供數(shù)據(jù)的功能性服務接口而非數(shù)據(jù)本身,對于消除數(shù)據(jù)孤島、促進數(shù)據(jù)安全流通具有極為積極的作用




本文詳細內(nèi)容請下載http://m.jysgc.com/resource/share/2000004854




作者信息:

魏宏原1,2,華  蓓1,2,林  飛1,2

(1.中國科學技術大學 計算機科學與技術學院,安徽 合肥230027;

2.中國科學院無線光電通信重點實驗室,安徽 合肥230027)


微信圖片_20210517164139.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權禁止轉載。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
老司机精品导航| 国产精品自在欧美一区| 亚洲影视在线| 亚洲精品在线一区二区| 久久精品日产第一区二区| 亚洲一区日韩| 国产精品99久久久久久久久久久久| 亚洲国产精品一区| 尤物视频一区二区| 精品9999| 精品69视频一区二区三区| 国产在线观看一区| 国产午夜精品一区二区三区欧美| 国产精品国产三级国产aⅴ入口 | 欧美在线观看网址综合| 小嫩嫩精品导航| 欧美一二三区精品| 欧美在线观看视频| 久久激情网站| 久久人人爽人人爽| 男人天堂欧美日韩| 欧美激情亚洲一区| 欧美日韩国产成人在线免费| 欧美日韩精品高清| 欧美日韩在线看| 国产精品美女久久久久aⅴ国产馆| 国产精品爱久久久久久久| 国产精品多人| 国产日韩欧美a| 国产综合精品一区| 亚洲第一在线视频| 亚洲九九九在线观看| 一区二区日韩| 午夜精品亚洲| 亚洲国产天堂久久国产91| 日韩视频免费看| 亚洲一区中文| 久久不见久久见免费视频1| 久久婷婷影院| 欧美精选午夜久久久乱码6080| 欧美日韩精品一区二区在线播放| 国产精品二区在线| 国产永久精品大片wwwapp| 亚洲国产成人一区| 一区二区欧美亚洲| 欧美影院在线播放| 亚洲精品四区| 午夜精品在线观看| 蜜桃精品久久久久久久免费影院| 欧美日本在线视频| 国产欧美日韩麻豆91| 亚洲第一中文字幕在线观看| 一区二区激情视频| 欧美一区日韩一区| 日韩一二三在线视频播| 午夜精品久久久99热福利| 美女视频黄免费的久久| 欧美日韩综合久久| 国产亚洲精品久久飘花| 亚洲人成人99网站| 午夜精品久久久久| 亚洲乱码视频| 久久精品国产2020观看福利| 欧美激情综合色| 国产乱码精品一区二区三区忘忧草| 极品少妇一区二区三区| 一区二区三区.www| 亚洲国产一区二区三区高清| 亚洲自拍偷拍麻豆| 蜜桃久久精品一区二区| 国产精品护士白丝一区av| 韩日视频一区| 亚洲香蕉网站| 亚洲精品日本| 欧美中文字幕视频| 欧美日韩一区视频| 亚洲二区在线观看| 亚洲欧美色婷婷| 日韩一级黄色片| 久久久欧美精品sm网站| 国产精品国产三级国产普通话蜜臀| 激情欧美亚洲| 亚洲欧美国产高清| 一本一本a久久| 毛片av中文字幕一区二区| 国产精品一区二区黑丝| 亚洲三级性片| 亚洲丰满在线| 欧美伊久线香蕉线新在线| 欧美日本韩国一区二区三区| 黄色一区二区三区四区| 亚洲欧美精品suv| 一区二区不卡在线视频 午夜欧美不卡在 | 日韩网站在线观看| 久久久另类综合| 国产精品久久久久aaaa樱花| 亚洲国产精品一区制服丝袜| 久久av一区二区三区漫画| 亚洲欧美中文日韩在线| 欧美日韩国内| 亚洲激情小视频| 亚洲国产欧美日韩另类综合| 香蕉av777xxx色综合一区| 欧美日韩一区二区在线播放| 亚洲国产精品久久久久秋霞不卡| 久久成人精品无人区| 午夜日韩激情| 国产精品大片wwwwww| 99re成人精品视频| 99国产精品久久久久老师| 理论片一区二区在线| 国产字幕视频一区二区| 小处雏高清一区二区三区| 欧美一区二区三区啪啪| 国产精品久线观看视频| 在线性视频日韩欧美| 亚洲视频一二三| 欧美日韩色一区| 亚洲美女电影在线| 99在线精品观看| 欧美激情bt| 亚洲欧洲在线一区| 亚洲美女黄色片| 欧美激情一区二区三区在线视频 | 国产九九精品视频| 亚洲欧美第一页| 性欧美1819sex性高清| 国产精品男人爽免费视频1| 中日韩高清电影网| 亚洲欧美成人网| 国产精品久久国产精品99gif | 正在播放日韩| 欧美视频网站| 一区二区三区精品视频| 亚洲一区二区三区免费在线观看 | 91久久久久久国产精品| 99国产精品国产精品毛片| 欧美精品在线视频| 99re6热只有精品免费观看| 国产精品99久久久久久www| 国产精品第三页| 亚洲欧美日韩一区二区| 久久激情五月激情| 尤物在线精品| 一本色道88久久加勒比精品| 欧美日韩在线视频一区| 亚洲综合色网站| 久久久久久久久综合| 影音先锋在线一区| 日韩一级精品| 国产精品久久久久久一区二区三区| 亚洲中字在线| 久久免费一区| 亚洲精品久久久久久久久久久久 | 欧美成人一品| 夜夜嗨av一区二区三区免费区| 亚洲欧美精品在线观看| 国产午夜精品美女毛片视频| 久久激情综合网| 欧美精品在线观看91| 亚洲婷婷在线| 久久av资源网| 亚洲国产一区二区三区高清| 中文欧美日韩| 国产亚洲永久域名| 亚洲精品系列| 国产精品久久久久婷婷| 久久精品视频亚洲| 欧美日韩国产丝袜另类| 亚洲在线成人| 欧美顶级少妇做爰| 亚洲永久网站| 欧美福利网址| 亚洲综合成人婷婷小说| 免费成人高清视频| 亚洲天堂av高清| 猫咪成人在线观看| 亚洲一区二区三区激情| 欧美91视频| 亚洲一区国产视频| 免费视频最近日韩| 国产精品99久久久久久人| 久久一区亚洲| 亚洲视频精品| 免费精品视频| 亚洲综合不卡| 欧美日韩国产丝袜另类| 亚洲第一福利社区| 国产精品入口麻豆原神| 亚洲精品一区二区网址| 国产日韩精品一区二区三区在线| 日韩视频精品在线| 国产在线观看一区| 亚洲一区免费观看| 1024国产精品| 久久久精品国产免大香伊| 一本综合久久| 欧美波霸影院| 欧美一区1区三区3区公司| 欧美午夜片在线观看|