- HyperThought™ 是基於新一代語言指令集架構（LISA v3）的 LPU IP，專為實現即時、多模態的 LLM 與 Agent 型 AI 應用而設計的 AI 加速 IP。
- 獨特設計與技術：
其核心是卓越的量化技術，能將模型權重利用混合精度量化到平均 4 bits，大幅降低對 DRAM 的頻寬與容量需求。該架構的 MACs 利用率與頻寬利用率皆超過 90%，實現極致的成本效益與運算平衡。HyperThought 在將模型權重載入 MACs 之前，會將模型權重即時時解量化回 16 bits， 推論過程使用 16 bits 來提高推論的精度。
- 特殊功能：
具備強大的「可擴展性」。不僅支援單晶片內的多核心架構 (Multi-core) 提升處理能力，更能透過多晶片串連 (Multi-chip Chaining) 模式，線性擴展算力與記憶體。舉例而言：串聯了 6 張 HyperThought LPU IC的多晶片加速卡，能將 LLaMA2 7B 模型的預填 (prefill) 速度提升至 1200 tps，同時將記憶體頻寬與容量分別擴展至 614.4 GB/s 與 384 GB。
- 核心功能：
LISA v3 原生支援多模態資料（文字、影像）與 Agent AI 工作流程，讓裝置具備互動式、有情境的推理能力。架構亦整合了安全指令集，確保邊緣 AI 互動的安全性。