秘塔AI发布全新“超速”模型,实现400 tokens/s的极速响应,快速搜索与即刻回馈
是的,秘塔AI搜索推出了全新“极速”模型。
通过在GPU上进行kernel fusion,以及在CPU上进行动态编译优化,我们在单张H800 GPU上实现了最高400 tokens/秒的响应速度,大部分问题2秒内就能答完。
新版模型不仅更快,准确率更高,逻辑也更清晰。
我们随机测试了以下两个问题。
问题1,为什么撕拉片突然火了?
这个问题采用了“极速”作答:
(真实录屏,没有倍速)
问题2,请总结2015年至今关于CRISPR-Cas9在治疗遗传性疾病中的研究进展。
这个问题采用了“极速·思考”作答:
(真实录屏,没有倍速)
为了更直观的体验,我们还做了一个测速站点 👉kuai.metaso.cn。
发表评论