科學計算需要專門數字格式：AI數學技巧不適用

人工智能推動了新數字格式的爆炸式增長，這些格式決定了數字在計算機中的表示方式。工程師們正在尋找各種可能的方法來節省計算時間和能源，包括縮短用于表示數據的位數。但適用于人工智能的方法并不一定適用于科學計算，無論是計算物理學、生物學、流體力學還是工程仿真。IEEE Spectrum采訪了最近加入巴塞羅那Openchip公司擔任AI工程師的Laslo Hunhold，了解他開發專門用于科學計算的定制數字格式的努力。

Laslo Hunhold是巴塞羅那初創公司Openchip的高級AI加速器工程師。他最近在德國科隆大學完成了計算機科學博士學位。

數字格式為什么讓你感興趣

Hunhold：我不知道還有哪個領域像這樣，很少有人關注但影響如此巨大。如果你制作的數字格式能效提高10%，這可以轉化為所有應用程序效率提高10%，能夠節省大量能源。

為什么會出現這么多新的數字格式

Hunhold：幾十年來，計算機用戶的日子很輕松。他們只需要每隔幾年購買新系統，就能免費獲得性能提升。但在過去10年里情況并非如此。在計算機中，你用特定的位數來表示單個數字，多年來默認是64位。對于人工智能，公司注意到他們每個數字不需要64位。所以他們有強烈的動機降低到16位、8位甚至2位來節省能源。問題是，用64位表示數字的主導標準并不適合較低的位數。所以在人工智能領域，他們提出了更適合AI的新格式。

為什么人工智能需要與科學計算不同的數字格式

Hunhold：科學計算需要高動態范圍：你需要非常大的數字，或者非常小的數字，在這兩種情況下都需要很高的精度。64位標準具有過度的動態范圍，在大多數情況下需要的位數遠超必需。人工智能則不同。數字通常遵循特定分布，不需要那么高的精度。

什么讓數字格式"優秀"

Hunhold：你有無限的數字但只有有限的位表示。所以你需要決定如何分配數字。最重要的部分是表示你實際將要使用的數字。因為如果你表示一個不使用的數字，你就浪費了一個表示。最簡單的考慮是動態范圍。其次是分布：如何將位分配給特定值？你有均勻分布還是其他分布？有無限種可能性。

什么促使你引入takum數字格式

Hunhold：Takums基于posits。在posits中，使用頻率更高的數字可以用更高密度表示。但posits不適用于科學計算，這是一個巨大問題。它們對接近1的數字有高密度，這對人工智能很好，但一旦你看更大或更小的值，密度就急劇下降。在過去幾年里，人們提出了幾十種數字格式，但takums是唯一真正為科學計算量身定制的數字格式。我發現了科學計算中使用的動態范圍值，如果你看所有領域，并設計了takums，這樣當你減少位數時，不會降低動態范圍。

Q&A

Q1：為什么人工智能的數字格式不適合科學計算？

A：科學計算需要高動態范圍，既要處理非常大的數字，也要處理非常小的數字，在兩種情況下都需要很高的精度。而人工智能的數字格式通常針對特定分布優化，不需要那么高的精度，因此不能滿足科學計算的嚴格要求。

Q2：takum數字格式有什么特殊優勢？

A：Takums是唯一真正為科學計算量身定制的數字格式。它基于posits但解決了posits的問題，確保在減少位數時不會降低科學計算所需的動態范圍，能夠更好地適應科學計算中各個領域的數值范圍需求。

Q3：開發新數字格式能帶來多大的效益？

A：如果開發出能效提高10%的數字格式，這可以轉化為所有應用程序效率提高10%，從而節省大量能源。雖然很少有人關注這個領域，但它對整體計算性能的影響非常巨大。