¦
¦
¦
¦
¦
¦
¦
¦
¦
¦
¦
性能与并发能力
DeepSeek R1 Distill 7B:单V100,16并发，速度>400tokens/s
DeepSeekR1 Distill 14B:双V100，速度可达460tokens/s
32B模型在M2 Max MacBook Pro上:8-9 tokens/s
模型微调方案
全参数微调:更新所有参数，效果最好但资源消耗大
LORA:冻结原参数，训练少量新增参数，资源消耗小
模型蒸馏:大模型教小模型，实现更小更快的模型
知识库增强(RAG)
1.知识准备:收集内网文档、数据
2.文本处理:清洗、切块
3.向量化:使用Embedding模型(如M3E,BGE,Sentence- BERT)
4.向量存储:存入向量数据库(如 Milvus,ChromaDB,FAISS)
5.检索与生成:用户提问 → 向量化 → 检索 → 生成答案
平台功能特色
Platform functional features
大模型认识讲解视频
|
|
