單張 GPU 就能 處理 140K 上下文! AI21 Labs 發布新 架構 模型 Jamba
作者 Jocelyn
Jamba 採用了 Mamba 和 Transformer 的混合架構,根據 AI21 Labs,是唯一一款能在單張 GPU(至少 80GB)上處理 140K token 的模型...
Jamba 採用了 Mamba 和 Transformer 的混合架構,根據 AI21 Labs,是唯一一款能在單張 GPU(至少 80GB)上處理 140K token 的模型...