Long

APB – 清华联合腾讯等机构推出的分布式长上下文推理框架

APB是什么APB(Accelerating Distributed Long-Context Inference by Passing Compressed Context Blocks across GPUs)是清华大学等机构联合提出的分布式长上下文推理框架。通过稀疏注意力机制和序列并行推理方式,有效解决了大模型处理长文本时的效率瓶颈。APB采用更小的Anchor block和Passing
AI快讯
2025.03.15
Copyright © 2025 IShouDao