騰訊開源數據組件 Fast-Causal-Inference,可用于分布式向量化統計分析及因果推算
IT之家 9 月 18 日消息,騰訊在其公眾號“騰訊開源”中宣布,旗下開源分布式數據科學組件項目 Fast-Causal-Inference 目前已經在 GitHub 中公布。
本文引用地址:http://www.j9360.com/article/202309/450642.htm▲ 圖源 “騰訊開源”公眾號
據悉,這是由騰訊微信研發,采用 SQL 交互的,基于分布式向量化的統計分析、因果推斷計算庫,據稱“解決已有統計模型庫 (R / Python) 在大數據下的性能瓶頸,提供百億級數據秒級執行的 Causal inference 能力,同時通過 SQL 語言降低統計模型使用門檻,易用于生產環境中,目前已在微信視頻號、微信搜一搜等微信內部多個業務進行了應用。”
官方介紹:
提供海量數據秒級執行的 Causal inference 能力
基于向量化 OLAP 執行引擎 ClickHouse / StarRocks,速度上更益于極致化用戶體驗。
極簡的 SQL 使用方式
SQLGateway WebServer 通過 SQL 語言降低統計模型使用門檻,并在上層提供極簡的 SQL 使用方式,透明做引擎相關的 SQL 展開和優化。
提供基礎算子、高階算子的因果推斷能力,及上層的應用封裝
支持 ttest, OLS, Lasso, Tree-based model, matching, bootstrap, DML 等。
IT之家同時得知,官方表示,首個版本已經支持如下特性:
基礎因果推斷工具
基于 deltamethod 的 ttest,支持 CUPED
OLS,億行數據,亞秒級
進階因果推斷工具
以 OLS 為基礎的 IV,WLS,以及其他 GLS,DID,合成控制,CUPED,mediation 正在孵化
uplift:千萬數據分鐘級別運算
bootstrap / permutation 等數據模擬框架,解決沒有顯示解的方差估計問題
參考
評論