接下來有請清華大學的Yingbo向大家介紹他們目前的項目。

——Chris

非常榮幸能向大家介紹我們目前的工作。今天我向大家介紹的是快速數據驅動的應用程序發展。其實大數據在今天并不是一個新的轉折。我們中國有很多互聯網行業的領導者，比如阿里巴巴、百度，他們是大數據的強勢玩家。而且大部分都是面向消費者的。不過，如果仔細看看中國經濟，可能會發現，還有一些主要行業仍然在追不上大數據的潮流，例如制造業建筑運輸等。而今天這些行業正面臨兩大挑戰，第一是從需求方面，行業仍然缺乏對先進的大數據應用程序有深刻理解的人才，如果我們回頭看看我們今天提供的技術，也不足以讓他們解決他們的具體問題。然而，大數據有許多新的重點領域，如人工智能機器學習和數據科學等，所以我們希望我們正在做的是面向主要經濟部門的技術和應用創新。基于這一使命，我們清華大學還成立了“大數據研究中心”，而這些研究中心是基于兩個由國家發改委支持成立的研究中心。

我們有三個主要研究方向，第一個是數據庫技術，最具代表性的是IOTDB。第二個是數據分析，包括Flok和Anylearn。第三個方向是數據vacation開發包括dataway框架，我將在接下來幾分鐘向大家介紹。

我們開發dataway框架的動機是因為在中國我們發現有很多傳統行業在嘗試數字化，但這些行業總是受到現實世界的限制。對于工程機械來說，它的增長速度是受到材料技術發展和一些現實問題的限制。但如果在另一邊我們可以看看左邊，會發現我們也見過被世界公認的著名項目包括 mongoDB，Tensor Flow和最古老的東西。傳統工業和數字化之間存在著巨大的差距，左側的軟件可以迅速地更新迭代，但不幸的是，在另一邊，他們發現必須全部使用它們或全部學習它們。一個簡單的要求經常以艱難的方式實施。

在中國，我們也面臨諸多挑戰，工具太過笨重，人才價格昂貴，企業缺乏現成的應用程序，因為IT行業快速發展，新的需求無法第一時間得到滿足。結果是薄弱的，數字化轉型的增長預期與工業內部的開發規則之間存在矛盾。

因此，基于這種演變，我們希望改變我們只想專注于大數據的想法，我們必須做一些大數據的應用程序開發工具。我們定義了開發環節的四個指標，第一個是一體化，開發人員關注兩個重要方面：數據和交互，節約時間來考慮軟件架構和技術細節。第二點是高度整合性，我們采用了一個模型驅動的設計概念來推行基于整合行為的系統，減少后續測試和維護的成本。第三點是敏感性，系統適時交付、適時修改、對改變需求及時響應。最后一點是少代碼化。基于模型的代碼減少代碼總量，降低開發難度。Dataway 架構與傳統架構不同之處在于，更關注應用程序。

基于數據框架，它通常用于三個主要場景。第一個是大數據系統協作，我們都知道大數據系統非常復雜，我們不能要求每個人都成為程序員去使用它，而使用dataway 框架就可以實現用戶與數據的交互。另外一個是快速應用開發，為了給中小企業檢驗新的想法是否可行。最后一個是智能應用程序快速開發工具。該工具整合了IOT和AI。以上關于大數據的內容，接下來我會展示一個例子。Dataway 框架有兩個主要的部分，第一個是現代工具，包括一個數據模型、形成模型、功能模型、組織模型和授權模型。數據整合也是現代管理。這是一種模型驅動的編輯工具。另外一個是解釋模型的應用程序，最終用于用戶教育。對于前者來說，如果我們從簡單的教育開始，比如一個Excel表格文件，dataway框架的數據會自動分析表格內容，并迅速創建模型。

——YingBo

感謝Kris對大數據現狀的介紹，而我們所做的正是管理大數據。今天我想跟大家分享的是清華大學開發的IOTDB項目，這是目前世界上頂尖的開源項目。

首先，我將向大家介紹什么是時序數據。時序是在特定時間點序列采集的標準化記錄，占據了80%的數據席位。時序數據隨處可見，滲透到工業和人類活動的方方面面。實際上，時序數據在幾年前的工業革新關鍵基礎設施中就已經為人所知。通用電氣早在十年前就已經強調了時序數據的重要性。

電力行業也有一些場景顯露出時序數據管理的重要。從傳統角度來看，我們有一些不錯的去中心化控制系統用于管理實時數據，但現在我們需要的不僅是堆積如山的實時數據，還有歷史數據的管理。例如，變電站和能源發電站已經變得越來越需求導向，對于實時數據，我們可以進行遠程監控和遠程操作，但是如果我們有一批歷史數據，我們就有更多的事可以做。可以做機器的數字配置文以評估機器健康狀況，如果有機器備件，我們也可以在變電站出現設備失靈的情況之前及時進行調撥。再者，如果我們擁有全生命過程數據，我們可以嘗試改善生產或發電流程。

過去幾年，我們曾經使用DCS系統，但現在我們不僅在數據中心的工廠，而且在設備中部署軟件。我們的管理容量也從十年或二十年前的幾萬個數據點到幾千萬個數據點。以前我們可能只需存儲百分之一到百分之十的數據，現在為了更多的分析，我們可能需要存儲所有的數據。近幾年有一個非常火的新詞叫做”邊緣到云同步”(edge-to-cloud synchronization)，它也要求為數據處理更好地管理數據。

上圖是使用DB-engines生成的圖表，它表明，時序數據的重要性在最近一段時間內已經引起了業界的關注。數據庫還是數據庫管理系統有很多種，例如傳統的關系數據庫或鍵值數據庫，但現在我們有一個非常熱門的時序數據庫，例如Influxdb和GE PREDIX以及KairosDB等是分布式非關系型數據庫。

下面我將介紹的是Apache IOTDB。你可能會疑惑，為什么已經有這么多種類型的數據庫，還要再開發新的呢？那是因為許多數據庫有自身缺陷，例如關系型數據庫，目前用于90%的系統，但是其模型數量有限，不能儲存大量數據，如果我們有一個表格，表格只能設置1000列和1000萬行以內的數據。另一種類型是鍵值數據庫，它的缺陷也是數據存儲量限制。例如MangoDB對管理大數據表現很差。也有一些時序數據庫，但是其中大部分也是基于關系型數據庫或鍵值數據庫管理系統。而IOTDB則解決了上述缺陷。它是在十年前由清華大學團隊打造的新型數據庫，于2018年11月進入捐贈給Apache，進行了為期1年10個月的孵化，兩年后成為世界頂尖的項目，并榮獲了許多獎項。

IOTDB是一個IOT native數據管理系統，IOT native意味著專門針對IOT場景使用，非常輕便易用，并且能夠深度整合進入大數據生態系統的軟件。例如Apache PLC4X。物聯網旨在解決典型物聯網用例的痛點，例如海量數據生成和高頻采樣。這是 Apache IOTDB 的架構。我們可以從圖片中看到，有兩個部分實際上是一個文件層和引擎層。ts文件是優化了記錄數據的文件格式，它將被上傳到IOTDB服務器。而Grafana連接器是可視化的儀表板。對于與大數據系統的集成，有許多連接器。

IOTDB有許多特點。例如，它的跨平臺部署能力強。它是一個開源的，有一個非常廣泛的生態系統。而且其特有的數據格式ts文件具有非常高的壓縮率，可以節省大量存儲空間。

IOTDB擁有大量的數據模型。以車輛數據為例，燃油車輛可以有一個唯一的ID，它的速度或燃油狀態將單獨存儲，而不在這里的可以隨時根據需要擴展。對ts文件來說，有很多不同數據類型，可以隨時根據需要存儲。

目前有兩種非常流行的文件格式Parquet和ORC。Ts文件與之相類似性能卻優于兩者。不僅有多種數據模型，其時序編碼也是優化的。除此之外，它還有設備水平指數，這在我們導入數據的時候可以獲得更多關于數據本身的信息。通常，如果我們想從邊緣設備（例如我們的手機）或從車輛上傳數據到云，我們需要有兩個過程，首先我們需要對數據進行編碼，然后上傳包。而云必須解碼數據并做進一步的處理。但是對于 T S 文件，T S 文件本身可以只上傳到云或數據中心，可以只導入數據，這樣我們可以節省大量的時間和計算資源。

簡單介紹一下邊云協同。它有兩個含義，第一，IOTDB可以部署在云上或數據中心或者在邊緣設備上。而在另一方面， ts文件可以在三個不同的平臺上同步。而且IOTDB還有一個非常廣泛的生態系統，它能夠與大數據系統深度集成。

Apache IOTDB有一些已經非常廣泛的用例，不僅在中國而且在美國和歐洲都有使用，并且涵蓋了衛星航空和鐵路和船舶業。從重點央企和國內龍頭企業都有使用。

這是上海地鐵的一個非常典型的用例，他們在嘗試IOTDB之前使用Cassandra數據庫管理系統，但后來他們發現其性能不佳。而IOTDB一臺服務器可以取代15個原始數據庫服務器。而且可以管理300條列車的數據，每條列車每200毫秒可以收集3200條數據，日均數據量達到4000億。在IOTDB被使用之前，大約是兩百太字節的數據存儲，但在IOTDB使用之后，數據量減少到大約十六太。IOTDB在其他領域也有著非常廣泛的應用。

最后，我想介紹一下Apache IOTDB開源社區，這是一個開源項目，如果大家感興趣，都可以加入進來。

 ——Pengcheng