「2023 年的五款最佳大型语言模型 | 哪个是最好的 LLM?」
无论您是AI和LLMs的新手并且好奇学习,还是需要构建LLM项目的开发人员,我们已找到2023年最好的5个大型语言模型
在本文中,我们将探讨2023年最佳的5个大型语言模型。
随着2023年临近尾声,有一件事是确定的:人工智能和大型语言模型已经成为新技术革命的中心。
但大型语言模型到底是什么呢?别担心,我们会先讲解这个!我们甚至还会了解到来自OpenAI关于创建自己的GPT的最新消息。
所以,无论你是对人工智能和大型语言模型感到好奇,还是经验丰富的开发人员试图为项目找到最佳的大型语言模型,继续阅读以了解更多信息。
不过,在我们开始之前,我好奇除了备受欢迎的ChatGPT,你还听说过其他多少大型语言模型呢?
毫无疑问,OpenAI目前是领跑者,但并不意味着像Google、Meta和其他公司没有在门外耐心等候。
所以,如果你准备好了,就让我们来了解一下2023年可用的5个最佳大型语言模型吧。
什么是LLM?
毫无疑问,2023年是AI工具的突破性一年,而这场革命的推动力无疑是LLM的崛起。
LLM在人工智能的研究和开发中已经成为一个重要领域,因为它们可以用于各种各样的应用,包括现在无处不在的AI聊天机器人。
到现在为止,我们很多人都已经使用ChatGPT很长时间了,但你有没有想过它是如何创建的呢?
也许你听过大型语言模型或LLM这个术语吗?也许你甚至使用过这个词,但你知道LLM实际上是什么吗?
除非你上过AI课程,否则让我们花点时间来揭秘这个概念吧!
LLM是一种被设计成理解、生成甚至翻译人类语言的AI类型。
这使我顺利过渡到2023年的另一个热门词汇:自然语言处理,或者NLP。
是的,LLM使用NLP。哇,那真是很多字母啊!
但它们为什么被称为大型语言模型呢?
好问题!它们被称为大型语言模型,是因为它们在巨大的文本数据上进行训练。
它们还拥有巨大的参数数量。这些参数非常重要,因为它们是模型从训练数据中学习的部分。
所以,现在你知道了基础知识,让我们来介绍一下LLM的主要特点:
- 大小:LLM以数十亿甚至数万亿的参数进行训练。
- 训练过程:它们通过对大量书籍、网站和文章的庞大数据集进行训练,以学习语言模式、语法、词汇和写作风格。
- 能力:它们可以执行与语言相关的任务,如撰写论文、翻译语言、总结文字、回答问题、生成代码等。
- 预训练和微调:它们通常会在一个通用数据集上进行预训练,然后使用针对特定任务的数据集进行微调。
- 互动性:LLM可以进行互动,通过提供连贯和在上下文中合适的回答来与用户进行对话。
ChatGPT是一个大型语言模型吗?
说到LLM,最著名的当属ChatGPT。
由OpenAI创建,ChatGPT基于GPT架构构建,并使用各种互联网文本进行训练。
正如你自己无疑所体验到的那样,它是为会话对话进行了微调。
请注意,ChatGPT其实是GPT模型系列的一部分。
GPT模型系列之所以取得成功的重要因素之一,是它们具有大量的参数以及生成类似人类文本的能力。
副注:GPT实际上代表生成预训练变压器。乍一看,你可能会想到一台幼儿园级别的Optimus Prime!
但是,这只是意味着ChatGPT在其核心上使用了Transformer模型架构。
前五大语言模型是什么?
让我们来玩一个游戏,看看你听说过这些语言模型中的多少个!我相当肯定你对OpenAI的产品很熟悉,但其他的呢?(请注意,我还制作了一个YouTube视频来讨论最好的语言模型)。
1. OpenAI的GPT-4
在否定之前,我认为可以说OpenAI的GPT-4是目前被广泛使用的最强大和最著名的语言模型。
GPT-4被宣传为OpenAI系列GPT的最新版本,它的能力延伸到具有接近人类理解和解决问题能力的复杂推理任务。
我们大多数与GPT-4的互动都是通过ChatGPT完成的,但如果您正在构建AI项目,您也可以通过API访问它。
无论您选择哪种方式,我都知道这个模型对于微妙语言的出色理解总是令人惊叹的。
当它参与从高度学术到实际日常知识的各种领域的复杂对话时,它的表现如此出色,几乎令人毛骨悚然。
根据您的需要,它的一些主要功能包括语言翻译、内容生成与摘要以及编程能力。
对于hackr.io社区来说,最后一项功能可能是最令人印象深刻的,因为您可以将GPT-4用作编程导师或实习生,具体取决于您的需求和技能水平。
不断出现新功能和能力也非常有趣。
例如,现在,您甚至可以创建您自己的GPT!
此外,GPT-4最新成为多模态,这意味着它可以处理和解释文本和图片。它甚至可以与DALL-E互动,为您生成图片。
此外,ChatGPT现在可以通过微软的Bing主动搜索互联网。如果你还不知道,微软是OpenAI的一家大型投资者。
对我来说,这个功能非常有趣,因为它明显表明他们希望利用先发优势来留住用户。
你可能会问为什么。
嗯,我们接下来要谈到的谷歌也计划将他们的语言模型整合到搜索中。
正如你可以想象的那样,这两家技术巨头都不想输掉关于我们提问和寻找答案的首要平台的战斗。
最后,让我们来谈谈偏见。鉴于GPT-4的广泛影响,它在很大程度上有可能影响到人们,因此模型避免偏见非常重要。
如果您阅读OpenAI的文档,您会发现GPT-4已经通过重点解决有害输出和偏见进行了微调。
这个主题的主要挑战在于为语言模型定义偏见本身可能就具有偏见!我知道,你会感到困惑。
我在这里不会详细讨论它,但主要观点是在从任何语言模型接受答案或信息之前,要进行精确的研究。
2. Google的PaLM 2
鉴于谷歌对互联网发展的巨大影响力,他们希望始终处于前沿,与OpenAI的GPT模型竞争也就不足为奇了。
于是,Google推出了PaLM 2,他们的下一代大语言模型,进一步改进了他们之前的模型PaLM。
有多个尺寸可供选择,每个尺寸都以不同动物命名,您可以选择Gecko、Otter、Bison和Unicorn,其中Gecko是最小的版本。
这将为Google Bard提供动力,他们自家的ChatGPT替代方案,在各种复杂推理中都能有出色表现。
这包括编码、数学、分类、回答问题、多语言翻译和自然语言生成。
尽管比其v1前身更小,但由于计算优化的扩展和更多样化、多语言的数据集,PaLM 2在性能、效率和成本方面表现更佳。
PaLM 2的一些其他亮点功能包括对人类语言细微差别的高级理解,例如成语、谜语和多语言翻译。
事实上,在接下来的一年里,我们与Google搜索的经验将永远改变,而PaLM 2将成为其中心,具备AI生成的结果和LLM功能。
我们一直在Google上搜索答案很长一段时间,但是ChatGPT出现后,我们中的许多人开始转向那里。
有一件事是肯定的:当Google将PaLM 2整合到搜索中时,观察这场AI和LLM竞争,并看到我们的集体习惯是否会改变,将会很有趣。
我猜只有时间能告诉我们!
为了总结,任何LLM中最重要的方面之一是倾向于偏见。
这对于开发LLM的任何人来说都是一个热门话题,而且我不希望这种情况很快就会改变。
毕竟,当我们提问或搜索时,我们通常寻求真相或客观数据。但是LLM,如PaLM 2和我们列表中的其他LLM,可能会继承偏见。
Google声称他们严格评估了偏见、危害和功能,但正如我在GPT-4中提到的,这是一个可能变得相当主观的棘手领域!
3. Llama 2 by Meta
作为我们列表中首个开源LLM,Llama 2是其前身Llama的最新开发成果,其名称非常贴切。
Llama 2由Meta AI(与Microsoft合作)在Apache许可证下开发和发布,是huggingface上最受欢迎的开源LLM之一。
作为一种开源LLM,这也意味着它可以免费供研究和商业使用,无需支付版权费用。
我非常赞赏这种方法,因为它强调了对AI的开放态度,同时专注于快速发展的生成型AI领域的创新。
此外,微软与商业化程度更高的OpenAI一起参与此项目,这也非常有趣。他们确实希望参与比赛,这是确定的!
在训练数据方面,预训练模型使用了海量的2万亿词汇。没错,是万亿,有个’T’在里面!
除此之外,精调过程还包括超过100万条人工注释,以提高模型的准确性和可靠性。
这个过程被称为从人类反馈中进行强化学习(RLHF),但我猜这只是说人类告诉模型如何改进的一种花哨的方式!
很高兴看到Llama Chat进行了外部测试和红队测试流程,以解决可能不安全或过于偏见的任何答复。
我也对Llama 2可以在Azure AI的模型目录中供开发人员使用印象深刻。这使得在云中直接启动模型非常简单。
至于功能,其中的两个亮点是Llama Chat和Code Llama。
你可能已经猜到它们各自的用途,但以防万一,Llama chat类似于ChatGPT,而code Llama有点像AI编码助手。
但与GitHub Copilot等可以在IDE中自动生成代码的工具不同,Llama code是一个为您生成代码的聊天界面。
所以,我想,在很多方面,当您需要编码帮助时它也像是ChatGPT!
有趣的是,事实上,Code Llama有三个专业变体:
- 基础:适用于常规编码任务。
- Code Llama- Python:专为Python编程而设计。
- Code Llama- Instruct:针对自然语言注释和指示进行了精调。
这很有趣,因为他们尝试通过他们的代码工具满足不同的用例。
话虽如此,我很好奇它是否比像Amazon CodeWhisperer或GitHub Copilot这样的东西更有效。
4. Claude 2 by Anthropic
设计目的是成为下一代人工智能助手,Claude 2(非常棒的名字)来自Anthropic,是我们列表中的下一个LLM,也是他们LLM助手的最新版本。
顺便说一下:Anthropic成立于2021年,由曾在OpenAI的GPT-2和GPT-3模型上工作的团队创立,所以他们确实对这个领域很了解。
如果要简单概括Claude 2,它很像ChatGPT,但它的核心重点是生成有用、诚实和无害(HHH)的内容。
为此,安全性是设计的一个重要因素,这就是为什么它是一个封闭系统的原因。这意味着与GPT-4不同的是,它不能搜索互联网。
话虽如此,在摘要、创造性和协作写作、问答和编程方面,它都具有很强的能力。
Claude也因为非常用户友好而备受喜爱,包括个性、语气和行为的定制。
从功能集中可以看出,它的目标是面向客户服务和其他助理角色,意味着它在企业用户中很受欢迎。
事实上,甚至被DuckDuckGo和Quora使用。
有两个版本的Claude可供选择:用于高性能的Claude和更快更经济的Claude Instant。
对于开发人员来说,Claude 2在编码和数学推理方面提供了增强功能,如编码基准和定量推理中的出色得分所示。
它还提供了强大的API,如果你想在幕后构建一些特定的东西,那是理想的选择。
关于偏见,Claude 2经过了多种评估,包括内部红队测试,这并不奇怪,因为强调了无害的回应。
5. GPT-3.5 by OpenAI
最后,我们必须包括GPT-3.5。是的,GPT-4在列表上,但等一下!
作为GPT-4的前身,GPT-3.5仍然是最强大的LLM之一,具有令人印象深刻的能力,弥合了GPT-3和GPT-4之间的差距。
当然,它的功能不及GPT-4,但它可以与ChatGPT免费使用,这意味着它可能仍然比GPT-4被广泛使用,后者仅可通过付费计划获得。
此外,如果你花了时间用API构建自己的AI驱动的聊天机器人,你会知道GPT-3.5易于获取,而GPT-4需要你加入等待列表。
关于功能,GPT-3.5非常快速且能够生成文本和辅助编码。当然,它无法搜索互联网或解释图像,但对于最广泛的任务,它非常有用。
对我来说,GPT-3.5在日常使用中唯一的缺点是其训练数据的日期截止,这可能意味着它在某些主题上稍微过时。
但是,如果你能绕过这一点,它仍然是一个非常有能力且令人印象深刻的LLM。
我可以自己构建大型语言模型吗?
当然可以!你可以创建自己的大型语言模型!
随着人工智能领域的快速进步和大规模计算资源的民主化,个人和组织可以开发自己的LLMs。
这些模型还可以根据自己的需求或任务量身定制。
话虽如此,构建一个LLM需要大量的计算资源,一个用于训练的大型数据集(毫不意外!),以及对机器学习、深度学习和NLP任务的专业知识。
你甚至可以看看像huggingface.co这样的平台,它是一个非常受欢迎的开源模型平台,包括LLM。可以把它想象成针对AI爱好者的GitHub。
如果这一切听起来吸引人,下面是你构建自己的LLM需要遵循的主要步骤:
- 获取数据集:获得一个大而多样的训练数据集,该数据集代表你希望你的LLM执行的任务。
- 选择模型架构:决定一个模型架构。由于其处理序列数据的能力以及可扩展性,Transformer架构非常流行。
- 训练模型:使用像TensorFlow或PyTorch这样的机器学习框架来训练你的模型。请注意,这将需要大量的计算能力。
- 微调和评估:在初始训练之后,对一个更具体的数据集进行微调,评估其性能并进行改进。
- 合规和道德考虑:确保你的模型符合数据隐私法律,并考虑其部署的道德影响,包括偏见。
创建你自己的GPT
也许你有兴趣创建你自己的LLM,但我提供的步骤可能很繁重。
我明白!我们并不都有一堆Nvidia的GPU可用!
但你还有另一种选择。
在他们最近的Dev Day大会上,OpenAI宣布任何人都可以创建自己的个性化GPT形式的LLM。
截至今天,’创建你自己的GPT’目前处于测试阶段,但我肯定会迫不及待地尝试。
一方面,你可以说这是OpenAI为了在该领域树立更多的优势而采取的策略。我可以理解这种观点。
另一方面,对于任何喜欢拥有为其专业领域进行训练的ChatGPT的想法的人来说,这是非常有趣的。
此外,甚至还有计划允许你在应用商店上出售你自己的GPT。
在我看来,这是一个巨大的突破,因为它为开发者提供了一个新的市场来将创作物商品化,并让用户在减少限制的情况下找到适合他们特定需求的模型。
在这方面,huggingface在这里也可能发挥更加重要的作用,因为它可以作为开发者探索、迭代和改进GPT模型的中心。
无论你的立场如何,这将使得强大的语言模型的使用民主化,促进进一步创新。在我看来,这总是一个积极的因素。
总结
所以你看到了,这就是2023年最好的5个大型语言模型。
如果你已经看到了这里,我希望你现在对大型语言模型是什么,以及它们在AI新时代中的重要性有了更好的了解。
我们还展望了LLM的未来,以个性化GPT的形式创建自己的大型语言模型的可能性。
除此之外,我们还深入研究了2023年可用的5个最佳大型语言模型,包括OpenAI的GPT-4和GPT-3.5模型。
但为了增加情趣,我们还介绍了来自Google、Meta和Anthropic的三个有力竞争者。
所以,无论你只是对尝试不同的聊天机器人感兴趣,还是正在为你的开发项目寻找最佳的大型语言模型,都有适合你的东西。
无论你计划如何使用LLM,玩得开心,并让我们在评论中知道是否有其他你想让我们涵盖的模型。
你是否准备好用LLM构建自己的Chatbot?请查看:
常见问题
1. 什么是最受欢迎的LLM?
这可能是主观的,取决于您是想专注于商业LLM还是开源LLM。尽管如此,目前最受欢迎的LLM之一肯定是GPT-4、PaLM 2、Llama 2、Claude 2和GPT-3.5。
2. GPT-4是最好的LLM吗?
GPT-4可以说是当下最著名、最受欢迎和潜力最大的主流LLM。基于此,您可以认为它是最好的LLM,但最终取决于您自己的需求。
3. 哪个LLM模型是最好的?
这是一个主观的问题,因为它取决于您是更喜欢商业LLM还是开源LLM,并且您打算用它们做什么。目前最著名且潜力最大的LLM是GPT-4,但一些优秀的替代品包括PaLM 2、Llama 2和Claude 2。
Leave a Reply