近日，北京大雪紛飛，作為《麻省理工科技評論》在中國大陸地區的獨家運營方，DeepTech深科技聯合IBM中國研究院、網易科技、人民郵電出版社、云享客、數字家圓在國貿三期中國宴會廳舉辦了2017年《麻省理工科技評論》全球十大突破性技術榜單發布會。

　　科大訊飛、百度、馭勢科技、樂視、地平線、中科創星、華創資本、和米資本、地平線、易寶支付、清華大學、中國科技大學、中科院、中科晶云、合生基因、元碼基因、金準基因、華興資本、淺石創投等數十家機構的嘉賓參與了這次發布會。

　　作為全球最為著名的技術榜單之一，《麻省理工科技評論》全球十大突破性技術具備極大的全球影響力和權威性，至今已經舉辦了超過16年。每年上榜的有的已經在現實中得以應用，有的還尚需時日，但他們的重要性都毋庸諱言，注定將在未來對我們的經濟政治生活產生重大的影響，甚至會徹底改變整個社會的文化面貌。

　　DT君的美國合作伙伴MIT Technology Review出版人兼主編就十大突破技術中國首發進行專門的致辭，并就榜單內容做了簡單的介紹。

　　強化學習

　　Reinforcement Learning

　　技術突破：強化學習(Reinforcement Learning，RL)是一種人工智能方法，能使計算機在沒有明確指導的情況下像人一樣自主學習。

　　重要意義：假如機器不能夠自主通過環境經驗磨練技能，自動駕駛汽車以及其他自動化領域的進展速度將受到極大地限制。

　　主要研究者：

　　- DeepMind - 科大訊飛

　　- Mobileye - 阿里巴巴

　　- OpenAI - 微軟亞洲研究院

　　- Google - 中科院

　　- Uber - 百度

　　成熟期：1-2年

　　強化學習技術，正是AlphaGo能夠掌握復雜的圍棋游戲，并擊敗世界最強職業選手的關鍵。如今，強化學習正在迅速發展，并逐步將人工智能滲透到除了游戲之外的各個領域。除了能夠提升自動駕駛汽車性能，該技術還能讓機器人領會并掌握以前從未訓練過的技能。

　　本質上，強化學習技術是從自然界中學習的一種基本法則。心理學家愛德華·桑代克(Edward Thorndike)在100多年前也注意到了這一點。在最著名的迷箱實驗中，桑代克將貓放在一個迷箱中，貓只能通過按壓一個控制桿才能逃脫。觀察結果顯示，經過相當長時間的來回徘徊，動物最終總會偶然地踩到控制桿，然后逃脫。

　　一些最早期的人工智能研究者認為，迷箱實驗的過程有可能在機器中有效地重現。早在1951年，馬文·明斯基(Marvin Minsky)創造了世界上第一臺具有學習能力的機器，利用簡單形式的強化學習方法模擬了一只老鼠如何學習走出迷宮。

　　然而，隨后的幾十年里這個領域幾乎沒有什么喜人的成績。1992年，IBM的研究員杰拉爾德·特索羅(Gerald Tesauro)演示了一個使用人工智能技術玩西洋雙陸棋的程序。很快，這個程序就玩的非常熟練，并足以與最好的人類玩家競賽。這是人工智能發展史上一個里程碑式的成就。

　　強化學習技術之所以行得通，是因為研究人員找出了如何讓計算機程序計算出每種狀態下應該分配的強化值的方法。還是以迷箱實驗為例，在走出迷宮的過程中，“模擬老鼠”每一次做出“向左轉”或者“向右轉”動作時，計算機程序會做出獎或懲的評價。并且，所有分配的強化值都存儲在一張大表格中，然后計算程序會隨著學習的過程逐步更新這些數據。

　　但對于大型復雜的任務，這種方法在計算上是不切實際的。然而，近幾年來，深度學習技術被證明是一種用來識別數據模式的極其高效的方式，無論這里的數據指的是迷宮中的轉彎、圍棋棋盤上的位點，還是計算機游戲中屏幕上的像素，亦或是自動駕駛時面臨的復雜路況。

　　在國內，以科大訊飛為例，這家公司已經針對強化學習在多個方向展開了研究和應用，包括人機對話系統、智能客服系統、機器輔助駕駛、機器人控制等方向，都已有了應用研究。以對話系統這樣一個多輪人機交互系統為例，它就是一個非常典型的強化學習應用案例。

　　傳統的任務完成型對話系統，用戶需要在一次交互過程中把自己的需求描述清楚，這樣的交互不是自然的。在訊飛的AIUI交互系統框架中，引入了多輪交互的思想，由一個深度強化學習(馬爾庫夫決策過程)模型來引導用戶輸入需求，從而快速、自然流暢地完成用戶任務。

　　同時，許多工業機器人制造商也將目光投向了強化學習技術，測試該技術在無手工編程情況下訓練機器執行新任務的效果。此外， Google公司的研究人員也正與DeepMind合作，試圖利用深度強化學習(deep reinforcement learning)技術使其數據中心更加節能。

　　通常，找出數據中心各個單元如何影響系統總能耗是十分困難的，但是強化學習算法能夠從收集的數據以及模擬實驗中學習經驗并提出優化建議，比如說，如何以及何時啟動冷卻系統。