單張 GPU 就能處理 140K 上下文！AI21 Labs 發布新架構模型 Jamba

Jamba 採用了 Mamba 和 Transformer 的混合架構，根據 AI21 Labs，是唯一一款能在單張 GPU（至少 80GB）上處理 140K token 的模型...