大幅削减GPU算力开销。界面旧事获悉趋境科技正式发布全新一代AI推理平台 ——趋境 ATaaS高效能AI Token出产办事平台。ATaaS可将万卡级智算集群运营成本压降20%以上，据其测算，实现CPU取GPU、国产取非国产算力的深度融合及精细安排。硬件空耗，该平台依托全球初创的异构推理沉构、超体量KV Cache等手艺，缓存射中率最高达90%，

福建UED·(中国区)官网信息技术有限公司