郭金磊，張玉生，胡愛蘭
（華北計算機系統工程研究所，北京 100083）
摘要：隨著大數據技術的發展，多線程高并發等技術已經越來越成為大數據處理中的關鍵技術。非阻塞式I/O(new I/O,NIO)技術作為一種分布式高并發技術被廣泛應用，但對于大數據量的通信往往需要很多的時間才能完成。Google提出的Protocol Buffer序列化壓縮技術相對于傳統序列化效率高、時間短、使用簡單。文章將傳統NIO技術與Protocol Buffer相結合，在分布式系統不同節點通信中，極大地降低了分布式系統的網絡負載，大大節省了數據傳輸時間。
關鍵詞：NIO（new I/O） ；Protocol Buffer ；分布式系統；序列化
0引言
隨著大數據技術的發展，多線程高并發等技術已經越來越成為大數據處理中的關鍵技術，同一個節點中的不同線程和不同節點的線程間的通信越來越密切。Java NIO作為一種分布式數據傳輸技術在多線程高并發［1］的實際應用中扮演著至關重要的角色。為減小網絡負載，加速分布式系統中網絡通信，迫切需要一種高效率壓縮序列化技術。
1研究現狀
Java NIO的核心是Channel、Buffer 和 Selector。NIO基于通道（Channel）和緩沖區（Buffer）進行操作，通道先在選擇器注冊讀寫事件，讀數據時，當選擇器發現該通道準備讀完成，通道直接將數據從底層網卡隊列讀進緩沖區。寫數據時，當選擇器發現該通道準備寫完成，通道將數據寫進緩沖區。通道可以實現在緩沖區中對每個字節類似于指針對數據操作，可以來回移動讀取數據。選擇器可以用一個單獨的線程同時監聽管理多個通道。
傳統的NIO［2］都是使用Java自帶的序列化形式對傳輸數據和對象進行序列化壓縮。這種情況下，數據壓縮率［3］較低，需要傳輸的對象數據流很大時，尤其在分布式系統中，容易造成網絡擁堵。本文在傳統NIO技術的基礎上結合Google Protocol Buffer技術實現了數據對象的高效序列化壓縮傳輸。
2Protocol Buffer優點
Google Protocol Buffer(簡稱Protobuf)是Google公司提出的混合語言數據標準，用于 RPC 系統和持續數據存儲系統。同時也可用于通信協議、數據存儲等領域的語言無關、平臺無關、可擴展的序列化結構數據格式。目前提供了C++、Java、Python三種語言的API。Protobuf 具有很多優點：實現簡單，壓縮速度快，傳輸速度快，存儲空間小。用Protobuf與Java自帶的序列化工具實現的對象壓縮相比，存儲空間大了一個數量級，時間上快了一個數量級，尤其是可以自動生成遠程過程調用協議（Remote Procedure Call Protocol, RPC）的數據結構,特別是service業務邏輯，是一種很好地實現RPC的自動化工具。Protobuf 編譯器會將.proto文件編譯生成對應的數據結構以對Protobuf數據進行序列化、反序列化操作。
以最簡單的一個對象Person（僅有三個屬性：姓名、年齡和住址）為例，用Java自帶的序列化工具與Protobuf來對比。使用Java自帶的序列化工具，經過壓縮后的數據是181 B，如圖1所示。
而當采用Protobuf時，如圖2所示，占用空間僅有20 B，而且實現簡單，壓縮速度快，傳輸速度快，反序列化也快。可以很好地實現分布式高并發式的數據傳輸，大大降低了網絡傳輸負載。
壓縮person對象時間和大小對比如表1所示。
3簡單實例實現
本文根據Protobuf的優點在NIO的基礎上實現了一個分布式的高并發、高傳輸效率的項目。系統采用多個一級引擎來處理原始日志數據，讀取后進行分段，分段后采用Hash映射到多個二級引擎（可以任意臺Hash映射）中進行數據融合,融合后的數據再匯總到一臺服務器上，客戶端可以通過遠程Web訪問這個服務器上的數據。其中一級引擎與二級引擎之間的數據傳輸就是使用的NIO與Protobuf相結合的技術，如圖3所示。
圖3分布式NIO結構示意圖客戶端使用Protobuf對數據序列化壓縮發送。
ListrpcList = new ArrayList ();//實例化發送數據
for(HTTPAPPHost hah : list){
RPCHah rpchah = RPCHah.newBuilder()
.setCellid(hah.getCellid()).setAppType(hah
.getAppType()).build();
rpcList.add(rpchah);//將原始list轉化為RPCList完成
RPCReq req = RPCReq.newBuilder()
.addAllHahs(rpcList).build();//序列化壓縮完成
if(e2info.getDataQueue().offer(req.toByteArray())){//調用網絡模塊，將數據發送到二級引擎
NIOClientRunner.sendData(e2info); }//發送數據
服務器端采用NIO接收數據并使用Protobuf反序列化及處理。
Selector selector=Selector.open();//開啟選擇器
ServerSocketChannel ssc=
ServerSocketChannel.open();
ssc.configureBlocking(false);//配置為非阻塞模式
ssc.register(selector, SelectionKey.OP_WRITE);
while(isRunning){
selector.select(1);//阻塞延時1ns
Set set=selector.selectedKeys();
Iterator<SelectionKey> it=set.iterator();
while(it.hasNext()){
SelectionKey skey=it.next();
if(skey.isReadable()){//選擇讀數據通道
SocketChannel sct = skey.channel();
ByteBuffer tempBuf=
ByteBuffer.allocate(1);
String dataStr="";
while(!dataStr.endsWith("\\r\\n")){
sct.read(tempBuf);
dataStr +=new String (tempBuf.array());
tempBuf.clear();}//防止粘包
byte［］ data= dataStr.array();
recoverData2List.handlerData(engine1Info, data); }
下面服務器端把data數據反序列化。
List<RPCHah> pcList=request.getHahsList();
for(RPCHah rpchah : rpcList){
HTTPAPPHost hah = new HTTPAPPHost();
hah.setCellid(rpchah.getCellid());
hah.setAppType(rpchah.getAppType());
Global.getDataQueue().put(hah);//將反序列化的對象存儲到dataQueue中，反序列化完成
}
表2是一級引擎向二級引擎發送17 980條實例HTTPAPPHost對象數據與Java自帶序列化的數據傳輸這些數據量的效率對比。
本文在傳統NIO的基礎上結合了Proto Buffer，使得壓縮后的數據量大致是原來的1/9，壓縮時間上大致是原來表2實際環境序列化rpcList對象
時間和大小對比ProtobufSerializable序列化時間/ns7466 687反序列化時間/ns95141 083數據大小/B2 084 93918 707 213的1/8，反序列化時間大致是原來的1/40，極大地提高了傳輸的效率，降低了網絡負載［4］。
4結論
本文在傳統NIO的基礎上應用Protobuf后，能夠使得分布式高并發下性能極大提升，網絡負載大大減小，優化性能明顯，尤其在以Map Reduce［5］為核心技術的大數據處理應用中性能更為突出。
參考文獻
［1］ GOETZ B,PEIERLS T，BIOCH J，等.Java并發編程實戰［M］.童云蘭，譯.北京:機械工業出版社，2012.
［2］ 李林鋒.Netty權威指南［M］.北京:電子工業出版社，2014.
［3］ 程超,楊風召.基于Java非阻塞I/O開發高性能網絡應用程序［J］.電子工程師，2006，32(10):7173.
［4］ 徐忠勝,沈蘇彬.一種云計算資源的多目標優化的調度方法［J］.微型機與應用, 2015, 34(13):1720.
［5］ 元二菊,郭進偉,皮建勇，等.基于MapReduce的序列規則在推薦系統中的研究［J］.微型機與應用,2014,33(6):6870,73.