边缘 LLM 推理
通过线速解压缩权重并无停顿地传输,维持端侧的 Token 吞吐量。
边缘 AI 的即插即用 RTL IP
汇流半导体(FlowLogic)的可编程数据流架构为边缘 AI 推理打破内存墙,实现:
芯片布局图
映射到硅总线的边缘 LLM 加速器 SoC。点击任意模块查看详情。
线速 AI 权重解压缩提供 2× 有效内存带宽。
IP 产品组合
应用领域
通过线速解压缩权重并无停顿地传输,维持端侧的 Token 吞吐量。
在错失截止时间即意味着安全事故的硬实时约束下,保证确定性的数据交付。
通过压缩帧缓存减少片外内存流量,适用于始终开启的摄像头和多传感器流水线。
利用云端优化的缓存和长突发调度,在加速器集群中扩展内存带宽。
公司介绍
汇流半导体(FlowLogic)构建了现代加速器所缺失的数据移动层。我们的 IP 经过 FPGA 验证,作为整洁、可量产的 RTL 交付,旨在直接插入您的总线中,而无需更改计算核心。
常见问题
关于汇流半导体 IP 集成与边缘大模型(LLM)推理优化的常见问题。
汇流半导体有限公司总部位于香港。我们为专为边缘 AI 和数据中心内存加速设计的即插即用 RTL IP 核提供亚太地区及全球支持。
ZOS™ 消除分支气泡并保证流水线中 NPU 的确定性执行,确保边缘 AI 加速器的控制流稳定。
MtFlow™ 是一种内存控制器增强技术,采用长突发 DDR 调度,使总线利用率达到 90%,为 AI 工作负载提供可预测的延迟。
DMC™ (确定性内存控制器) 保证可预测的访问延迟,确保数据交付满足汽车和边缘应用中的硬实时约束。
ZAX™ (零跳过 ANS 加速器) 执行线速 AI 权重解压缩,有效地将 DDR 带宽翻倍,并维持无停顿的 Token 吞吐量。
ActiveCache™ 提供零抖动的流式 FIFO,使 NPU 计算阵列持续获得数据馈送,消除了推理过程中的数据饥饿问题。
FlowCache™ 使用确定性 SRAM 锁定技术来保证关键张量的命中率,将整体片上 SRAM 需求降低高达 50%。
LLML Codec™ 提供具有有界、确定性延迟的无损数据压缩,优化了高级计算阵列的内部数据流。
CFC™ (压缩帧缓存) 提供片上压缩帧存储,大幅削减多传感器和摄像头流水线中的片外内存流量。
CloudCache™ 是一种专为数据中心应用调优的横向扩展缓存架构,可最大化加速器集群的内存带宽。