斯特拉斯堡教堂歌德

建站百科Website News

當前位置:首頁 »百度海量日志處理——任務調度實踐與優化

百度海量日志處理——任務調度實踐與優化

至成科技 2019-08-10 訪問量(120) 評論(0)
摘要:本文主要介紹百度云智能運維架構團隊在處理大規模日志計算任務時,為保證任務分配均勻性和穩定性,對原始一致性哈希算法進行改進。新算法在保持原始一致性哈希算法穩定性的同
     
    本文主要介紹百度云智能運維架構團隊在處理大規模日志計算任務時,為保證任務分配均勻性和穩定性,對原始一致性哈希算法進行改進。新算法在保持原始一致性哈希算法穩定性的同時,通過設置不均衡因子來控制分配的不均勻范圍,達到負載分配均勻性與穩定性有效兼容。
 
 業務場景 
 
分布式系統中我們經常會面對如下業務場景:
 
計算系統每分鐘有大量的定時任務需要及時調度并按時完成,單機在處理能力和時效性上都無法滿足要求,需要將任務分配到大量Work節點上進行并行計算,我們如何均勻分配這些任務,并且在任務增減,Work節點退出/加入(伸縮能力)時保持任務分配的穩定性(不會引起大量任務遷移)。
 
分布式存儲系統,海量數據被分片存儲,那么如何讓每個Data節點上分片更加均勻,并且在Data節點退出/加入時保持數據分片的穩定性。
 
高并發Web系統中,架構上幾乎都是一個或多個反向代理服務器(如Nginx)來做七層負載均衡,后端使用應用服務器集群(如Tomcat)提供服務,這種架構具備水平伸縮能力,那么反向代理如何均勻分配請求,并且盡量保證請求Session粘性。
 
 
 問題分析 
 
 
上述問題可以抽象為對分配算法如下幾個方面的要求:
 
公平性:即算法的結果要盡可能地公平,不能造成分配不均問題,這點在分布式系統中尤其重要,公平性就是要盡可能避免由于負載過重/過輕導致系統出現慢節點/饑餓節點影響系統整體性能和資源利用率。
 
穩定性:分布式系統中,集群節點維護、故障、宕機、重啟、擴縮容是非常常見的,穩定性就是要保證計算任務、數據、請求在節點加入/退出時盡可能保持穩定,不引起大量計算任務重分配、數據遷移、請求轉移,這對系統整體可靠性、穩定性、高性能至關重要。
 
可行性:算法在工程實踐上一定是可行的,具體體現在這兩個方面:時間復雜度、空間復雜度,時間復雜度要求一定要快,滿足業務場景對響應時間的要求,空間復雜度要求占用資源少,滿足業務在資源投入和收益上的平衡。

網友評論

登錄后可評論,請登錄

全部評論:0條

掃描左側二維碼
關注至成微信公眾號

西安至成信息科技有限公司  Copyright 2012-2019  xazcit.com  All rights reserved.

Email:[email protected]     郵政編碼:710016     《中華人民共和國增值電信業務經營許可證》陜B1.B2-20140011     陜ICP備12008874號-1

聯系地址:西安市經開區鳳城四路西安國際企業中心B座23層06-10室    售前咨詢熱線:029-89390727    售后服務電話:029-89393039

西安網站建設、網站設計制作公司-至成科技,已為眾多企業提供網站建設網站制作響應式網站設計手機網站建設虛擬主機云主機服務器租用等建站解決方案。

網絡警察 12321垃圾信息舉報 不良信息舉報 中國文明網 西安工商
×
斯特拉斯堡教堂歌德 欢乐生肖时时 时时龙虎 东方6+1生肖开奖结果 河北体彩11选五遗漏 山东群英会开奖图 北京11选5开奖直播间 网赌分分彩忠告 快速时时秘籍 山东11选5app 四川时时是真的吗 3d17500开奖结果走势图 jdb夺宝电子里的jp巨奖 百度四川时时 36选7混合走势图 幸运飞艇前五胆码计算 第七感时时软件