近日，快手大資料團隊聯合“快手中學”，舉辦“快手資料管治技術交流會”，各行業資料相關開發者報名參與。快手是短**行業開創者gdutda**cc與引領者，致力於成為全球最痴迷於為客戶創造價值的公司，幫助人們發現所需、發揮所長，持續用有溫度的科技提升每個人獨特的幸福感。
在海量的 ugc 資料、業務資料、使用者資料背後，支撐快手資料業務的快手大資料平臺，秉承“以領先的大資料技術，啟用資料價值，賦能業務，打造快手核心競爭力”的使命。
日處理資料叢集規模超過3w，資料量超過3eb，日入資料量超5pb，例行任務數超30w。今年9月，快手曾圍繞“資料架構”這一主題舉辦了“快手大資料平臺架構技術交流會”。本次交流則聚焦“資料管治”主題，明年將繼續開展更多資料領域相關主題活動，歡迎在快手app搜尋並關注“快手大資料”官方賬號獲取活動資訊。
（▲出品人介紹）
（▲快手資料工廠團隊負責人 董西成）
首先由快手資料工廠團隊負責人董西成帶來開場致辭。他介紹，快手在資料管治領域涉及的方面非常廣泛，包括資料規範、資源控制、整合交換、資料建模等，為了推進資料管治，需要在技術產品、規範流程、組織等方面進行考慮。
（▲快手資料管治體系）
本次交流從數程式設計客棧據管治的標準規範、資源管控、資料質量和資料服務四個方面展開分享，由來自快手的資料研發專家孫偉、程偉、楊釗、薛言、劉一凡分別帶來五個主題演講。
孫偉介紹了快手在資料中臺化過程中由於模型不規範帶來的資料孤島、指標不一致、模型質量差等一系列問題，並針對這些問題結合後設資料驅動的思路制定了治理方案，從後設資料驅動問題的發現再到治理優化，最終實現資料模型的規範化。
從快手 eb 級資料量下對於儲存成本管理所遇到的涉及面廣、成本意識弱、缺乏有效方法等問題出發，程偉站在成本分析的角度，制定相應的儲存成本控制策略，並以專項資料治理和自驅式資料管理相結合的方式去推進落地，從而達到儲存成本管理的目的。
楊釗分享了快手的資料保障理念，並通過體系化的方式，保障資料完整、準確、一致、及時。基於上述保障體系，詳細介紹了快手在直播場景通過需求流程管理、測試、質檢、應急方案等保障策略，以及這些保障策略在直播事前、事中、事後具體的執行手段，程式設計客棧如雙鏈路設計、壓力測試、應急方案制定等，保障了在資料量巨大，指標計算複雜等困難情況下，依然能夠保障整個資料產品的產出及時，資料準確。
當談到後設資料平臺和相關應用在快手的發展過程、現狀及當前快手後設資料平臺的架構時，薛言分析了面對數十種的資產、過億的實體規模的異構後設資料，是如何進行抽象及管理的。並通過找數、全鏈路血緣、資料治理平臺等幾個主要的應用場景，展示了後設資料在快手大資料平臺中發揮的作用和價值。
劉一凡介紹了快手在資料中臺化建設過程中，在指標領域建設所面臨的缺乏流程、規範引起的口徑不一致、反覆梳理重構、缺乏統一服務引起的資料出口不一致等問題。並針對上述問題分享了流程、規範、組織以及系統方面的整體解決思路，重點闡述了 onemetric 以及 oneservice 兩個核心系統模組的系統設計及其關鍵技術。
（▲演講嘉賓合影:從左至右，分別為孫偉、薛言、程偉、董西成、楊釗、劉一凡）
本次交流採取線下線上結合的參會方式。線下開放了部分參會名額，所有現場觀眾需佩戴口罩，確保測溫和健康寶狀態正常，在簽署健康宣告後方可入場，入會就座時也均保持了一定間隔。此外，交流全程還通過“快手 app”直播，**總人數超3萬人。
（▲現場簽到）
快手以技術為核心競爭力，十分重視技術創新和應用，同時也希望通過更多更廣泛的技術交流，和業內開發者分享經驗，碰撞出更多智慧火花，推動技術不斷前進。“快手中學”作為內部專業人才培養平臺，旨在通過提供豐富多樣的專業課堂培訓、比賽、技術交流，助力人才成長，提升專業能力和專業影響力。
2020年“快手中學”聯合快手技術團隊共舉辦了四場技術交流活動，內容涉及移動端、前端、資料平臺架構及資料管治。未來，由“快手中學”舉辦的技術交流還將以每季度一次的頻次長期開展。
本文標題: 聚焦資料管治，快手舉辦資料管治技術交流會
本文地址: /news/media/372402.html