大模型+”应用落地时，大模型微调如何兼顾效果、成本和可控性？

10月17日，老牌科技巨头百度“文心大模型4.0”的发布，让原本暗潮汹涌的百模大战再次白热化。伴随着越来越多基础大模型迭代速度的日益加快，“大模型+”的应用拐点正在到来。纵观全球市场，预计到2030年，AIGC市场规模将超过万亿人民币，巨大的市场潜力，吸引了各领域科技巨头的纷纷布局。

但对于绝大多数企业来说，真正的机会并不是从头开始做ChatGPT这样的基础大模型，而是基于通用大语言模型，进行针对性的再训练、微调、评估和部署，从而开发出适合自身业务场景的应用。然而，企业应该如何汇集底层数据资源、选择符合企业自身的模型基座，进行模型微调呢？

本次，我们将以易点天下企业内部已全面应用的“AI客服”为例，看大模型微调如何兼顾效果、成本和可控性？

众所周知，伴随着人工智能技术的飞速发展，AIGC对内容领域的渗透首当其冲，在开辟新的营销场景与营销模式上更是有着极大的想象空间。结合易点天下最新实践发现，AIGC在营销领域落地的最佳场景在于两个核心方面：一是内容生产，二是智能问答。

在内容生产方面，易点天下已于今年7月正式发布了首个AIGC数字营销创作平台KreadoAI，为营销领域全链路的降本提质增效，注入新的活力与动能；而在智能问答方面，易点天下在实现“AI客服”内部全面应用化的同时，也在大模型微调方面探索出一条具有参考性的路径。

易点天下高级技术总监Infi He介绍到：“作为AI时代的一项基础设施，大模型的诞生，为AI原生应用提供了前所未有的机遇，也为我们的技术团队提出了更高要求，用好大模型至关重要，尤其是在一些特定AI应用开发场景下，相较于模型预训练的高成本和长周期，大模型微调可以在成本可控的前提下，快速实现预期效果。”

高质量数据对大模型微调的效果至关重要

大模型微调，高质量的数据是重中之重。如果没有高质量的数据，在成本有限的前提下，做大模型的SFT监督微调，尤其是对话类任务，并不是一件性价比很高的事情；即使是目前较为流行的LoRA和P-tuning v2等微调方法，在数据有限的前提下，或多或少都会破坏基座模型的通用理解能力，造成很明显的幻觉、对话能力损伤和灾难性遗忘等多个问题。

高质量数据前提下，基座模型的参数量越大微调效果越好

在数据质量较高的前提下，通过对Chatglm2-6B、Baichuan2-7B、Baichuan2-13B、LLama2-7B、Qwen-14B等较为知名开源大模型的横屏测试发现，基座模型的参数量越大微调效果越好，当基座模型足够强可达到100B（千亿）参数时，即使使用1K的高质量数据也可以获得较好的微调效果。

资源有限的前提下，强通用能力/强专业能力须取舍

在数据、GPU、成本等资源有限的前提下，强的通用能力与强的专业知识能力不可兼得，需要根据产品定位做取舍。如果希望模型在某个专业领域有较强的专业能力，则可能需要牺牲掉部分通用能力。以AI客服为例，在企业内部使用场景下，如果希望其可对营销类问题做出快速响应，则需要舍弃掉其在生活类问题上的反馈准确率。

目前，依托于基座模型强大微调效果，易点天下AI客服已覆盖职能、人力、IT、业务等80%日常询问场景，企业员工无论何时遇到任何问题，都可以随时询问并获得AI客服7*24h的精准回答，极大提升了企业内部工作效率。

当下，伴随着AIGC浪潮此起彼伏的持续发展，出海营销正在经历新一轮的代际跃迁，从创意内容的生产，到投放策略的自动化，再到效果数据的回收、整体流量的优化，伴随AI技术的不断创新，易点天下正以更深入、更广泛、更快速、更智能的方式重塑着整个出海营销行业的创作生态系统。下期《MarTech Hub》我们将话题方向聚焦“数据中台”，一起来看如何将DataOps实践扩展到业务指标管理。