不得不說,“AI”芯片仿佛某種天譴之物般,哪怕這位神孽不斷地高歌“創生圣言”,賦予林奇充足而龐大無比的創造力,甚至讓他時刻都有著神明的錯覺,那AI芯片在記憶宮殿里依舊艱難難產著。
這種奧妙至巔峰的作品,一旦出世便能夠影響整個魔法文明的存在,林奇腦海里對他的構想,終究是輕微了。
放在外人看來,林奇的所作所為,就像是將一副從a到k,包括花色順序排好的撲克牌,隨意遞給十余位路人切牌洗牌,隨即他再接過來隨便洗上十余秒,然后將所有的牌序恢復如初一樣。
甚至就像是隨手遞給一個初學者擰亂的魔方,結果對方隨手便復原了出來。
這些都并非不可能,而是出現的概率太小。
林奇眼下的“AI芯片”,也是如此。
就像是無數隨意的亂洗牌里,慢慢地揉捏出規律的杰作來,也就大自然的鬼斧神工,才能擔得起這一名字。
很快。
隨著整個芯片大體架構的成型時,林奇也開始陷入一種莫名的震驚之中!
一種類似谷歌曾經開發來alphago的人工智能芯片?
這讓林奇忍不住想起博識圖書館地底奎因殿下的試煉,便是以圍棋智力壓服對手便可以拿到預言的線頭。
曾經的邏輯,仿佛在這一刻重新匯聚起來。
這款谷歌17年專門為了機器學習而開發定制的專用集成電路(ASIC)僅僅用了一年便轉移到云端作為商用,而它也遵循著CPU與GPU的路線。
中文名字,張量處理單元。
說來廣大群眾第一次接觸張量這個名字,可能還是靠著看時間簡史之類的科普著作。
張量,來自于數學,以多線性方式將幾何向量、標量和其他類似對象映射到結果張量的幾何對象。
當時林奇第一次也沒聽懂。
不過他看了看還是大致明白過來,所謂張量,就是一個廣義的矩陣。
高中學習的向量是一維矩陣,數字的立方體是三維矩陣,甚至耽擱數字也是矩陣。
這里冥冥中已經和那神經網絡算法所切合,而張量之所以與純矩陣有曲風,便在于他擁有動態特征——生活在結構中,與其他數學實體相互作用。
而計算機科學里,張量則是一個n緯矩陣。
林奇默默在紙面上重新打版,剛剛他已經將整個神秘的控制知識拱手托出,與著神孽交換。
至于對方是否會靠此找到成神的專門要是與切記,他也都無所謂。
火都燒到眉頭了,誰還會估計明天的飯菜熱不熱。
而隨著書寫,林奇的板書筆法也越發飄忽——
訓練后的神經網絡以標簽或預估值對數據分類,此乃推理。
因此每個神經元都需要進行計算。
輸入數據乘以權重,表示信號強度。
結果相加聚合神經元狀態。
使用激活函數調節神經元參數活動。
如此一步接著一步,連綿不絕。
按理說,三個輸入而只有兩個神經元與一個單層神經網絡的話,權重與輸入便要六次乘法……
如此一來,矩陣里的乘片與取片,都需要大量的CPU周期與內存,而TPU這種芯片,便是為了減輕這種負荷而生。
林奇忍不住皺眉看了眼周圍。
某種程度而言,計算量的負荷和電網的負荷很類似,最大的負荷便決定了整體的高峰所在(計算難度),也決定了接下來他完成“AI芯片”后所能夠到達的高峰。
而供與求有需要平衡,不然的話,第一道崩潰的便是自身。
只是他很快又重新被TPU的構架所吸引而癡迷起來。
只有深入一個項目,才能徹底體會他的樂趣。
因此懂是第一步環節。
這也是棋類活動里,容易入門的象棋比起圍棋受眾要光,而五子棋又比起象棋還有光。
林奇越看,越發忍不住嘖嘖稱奇。
這TPU的架構居然采用了量子技術,在預設的最大值和最小值與八位整數之間的任意值的近似過程里,TPU居然包含了足足六萬五千五百三十六個八位整數乘法器,直接將32位或者16位的計算壓縮成為8位。
實現了曲線的離散化。
完美地減少了神經網絡預測的成本。
第二點,也是更關鍵的。
正如林奇最初所推崇的硬件。
TPU芯片直接封裝了種種神經網絡計算工具。
諸如矩陣乘法單元,統一緩沖區,激活單元等,它們以后十數個高級指令組成,集中完成神經網絡推理所需要的數學計算。
同時它又采用了典型的RISC處理器為簡單計算提供指令。