邊緣 LLM 推理
透過線速解壓縮權重並無停頓地傳輸,維持端側的 Token 吞吐量。
邊緣 AI 的即插即用 RTL IP
滙流半導體 (FlowLogic) 的可編程資料流架構為邊緣 AI 推理打破記憶體牆,實現:
晶片佈局圖
映射到矽匯流排的邊緣 LLM 加速器 SoC。點擊任意模組查看詳情。
線速 AI 權重解壓縮提供 2× 有效記憶體頻寬。
IP 產品組合
應用領域
透過線速解壓縮權重並無停頓地傳輸,維持端側的 Token 吞吐量。
在錯失截止時間即意味著安全事故的硬即時約束下,保證確定性的資料交付。
透過壓縮幀快取減少片外記憶體流量,適用於始終開啟的攝影機和多感測器流水線。
利用雲端最佳化的快取和長突發排程,在加速器叢集中擴展記憶體頻寬。
公司介紹
滙流半導體 (FlowLogic) 構建了現代加速器所缺失的資料移動層。我們的 IP 經過 FPGA 驗證,作為整潔、可量產的 RTL 交付,旨在直接插入您的匯流排中,而無需更改計算核心。
常見問題
關於滙流半導體 IP 整合與邊緣大模型 (LLM) 推理最佳化的常見問題。
滙流半導體有限公司總部位於香港。我們為專為邊緣 AI 和資料中心記憶體加速設計的即插即用 RTL IP 核提供亞太地區及全球支援。
ZOS™ 消除分支氣泡並保證流水線中 NPU 的確定性執行,確保邊緣 AI 加速器的控制流穩定。
MtFlow™ 是一種記憶體控制器增強技術,採用長突發 DDR 排程,使匯流排利用率達到 90%,為 AI 工作負載提供可預測的延遲。
DMC™ (確定性記憶體控制器) 保證可預測的存取延遲,確保資料交付滿足汽車和邊緣應用中的硬即時約束。
ZAX™ (零跳過 ANS 加速器) 執行線速 AI 權重解壓縮,有效地將 DDR 頻寬翻倍,並維持無停頓的 Token 吞吐量。
ActiveCache™ 提供零抖動的串流 FIFO,使 NPU 計算陣列持續獲得資料饋送,消除了推理過程中的資料飢餓問題。
FlowCache™ 使用確定性 SRAM 鎖定技術來保證關鍵張量的命中率,將整體片上 SRAM 需求降低高達 50%。
LLML Codec™ 提供具有有界、確定性延遲的無損資料壓縮,最佳化了進階計算陣列的內部資料流。
CFC™ (壓縮幀快取) 提供片上壓縮幀儲存,大幅削減多感測器和攝影機流水線中的片外記憶體流量。
CloudCache™ 是一種專為資料中心應用調優的橫向擴展快取架構,可最大化加速器叢集的記憶體頻寬。