“史上最强开源大语言模型”falcon40b已在amazonsagema-尊龙官方网站

，在hugging face上登顶、并搅动大模型领域风云的“新选手”falcon 40b又有了新动态。

亚马逊云科技宣布，从6月7日起，两个开源falcon大语言模型falcon 40b和falcon 7b已在amazon sagemaker的机器学习中心amazon sagemaker jumpstart中可用。

用户只需在sagemaker studio中轻点鼠标就可以部署和使用falcon模型，或者通过sagemaker python sdk以编程方式使用。

这意味着，现在，各个行业、各种规模的企业/开发者都可以快速轻松地部署自己的falcon 40b模型，并对其进行定制以满足特定需求，如翻译、问答、信息总结、图像识别等应用程序。此举对生成式ai行业发展可谓意义重大。

falcon 40b是谁？牛在哪儿

falcon 40b是阿布扎比技术创新研究所推出的开源大型语言模型，是阿联酋首个大型人工智能模型。

falcon 40b参数400亿，在1万亿高质量token上进行了训练。其性能超越硅谷大佬扎克伯格旗下650亿参数的llama，以及stablelm、redpajama和mpt等知名开源模型，一举登顶huggingface 开源大语言模型全球榜。

hugging face 开源llm排行榜

hugging face一直被认为是大模型领域github，因此hugging face的榜单被从业者给予了很高的参考价值。

不仅性能剽悍，falcon 40b还是一个在训练资源上有很高效率的模型，只用到gpt-3 75%的训练预算，性能就显著超越gpt-3，且推理阶段的计算也只需gpt-3的1/5。

优异的表现让falcon 40b获得“史上最强开源大语言模型”称号。

更重要的是，falcon 大语言模型采用开源apache 2.0许可证，基于开源原则，广泛地允许“免费使用”，这为广大aigc产品开发者大开了方便之门。

开源的falcon 40b让开发者能够构建和定制满足独特用户需求的ai工具，模型权重可供下载，检查和部署在任何地方。

基于亚马逊云科技训练完成

此番，falcon开源大语言模型在amazon sagemaker jumpstart中可用，可谓对生成式ai行业意义重大，广大开发者都很是兴奋。

事实上，falcon大语言模型和amazon sagemaker的“渊源很深”。

falcon 大语言模型提供的两个不同规模的开源版本——falcon 40b和falcon 7b均是使用amazon sagemaker的数据预处理和模型训练任务从零开始构建。

通常而言，构建、训练和部署大语言模型可能需要数周甚至数月的时间，并耗资数千万美元。为了实现更好的性能和成本效益，tii使用amazon sagemaker构建其falcon 40b模型。

sagemaker是一个托管api集合，用于开发、训练、调优和托管机器学习模型，包括大语言模型。sagemaker training提供了具有用户自定义硬件配置和代码的计算集群。计算作业按运行次数计费，按秒分配任务，这意味着用户在未使用服务时无需为gpu资源付费。

据悉，tii使用sagemaker training api提供的瞬态集群来训练falcon大语言模型，最多支持48个ml.p4d.24xlarge实例。

现在，tii正在训练下一代falcon大语言模型，将训练扩展到3136个a100 gpu。

除了falcon外，stability ai、ai21 labs和lg ai等知名大模型也是使用sagemaker处理其大语言模型工作负载。

从tii对amazon sagemaker的深度使用来看，为了让客户更轻松地访问该模型，falcon 40b可以通过amazon sagemaker jumpstart部署可谓是水到渠成。

模型拿来可用 加速aigc应用产品落地

在生成式ai赛道上，亚马逊云科技可谓是“既要”、“又要”的典型代表。“既要”为第三方大语言模型产品如falcon 40b、stability ai等提供基础计算能力和训练平台，同时，“又要”为第三方客户/开发者提供诸多可使用的“大语言模型产品”。

今年4月，亚马逊云科技推出amazon bedrock托管服务和amazon titan模型。amazon bedrock让开发者可以通过api访问ai21labs、anthropic和stability ai等热门ai公司的预训练基础模型，还提供对亚马逊云科技开发的基础模型系列amazon titan的独家访问。

现在，通过amazon sagemaker jumpstart，各行业客户都可以快速轻松地部署自己的falcon 40b模型，并进行个性化定制。

那么，截至目前，在亚马逊云科技，开发者可以访问、部署、使用的大语言模型就有ai21labs、anthropic、stability ai、amazon titan、falcon 40b等。开发者可以在其中找到适合自身业务的模型，快速上手，使用自有数据基于基础模型进行定制，并将定制化模型集成并部署到应用程序。这一方式无疑将极大加速大语言模型应用产品的落地。