详解亚马逊云科技re:Invent上发布的Amazon Bedrock新功能

来源:互联网 时间:2023-12-22

2023年亚马逊云科技re:Invent全球云计算大会,最引人注目的更新,当属亚马逊云科技模型的大模型托管服务——Amazon Bedrock。这次更新该服务增加了Fine-tuning、Agents、Knowledge Bases、Guardrails等全新功能,旨在帮助客户更高效、智能、安全地构建应用。下面就来了解下该服务的亮点、详细使用教程,以及作为开发者如何快速上手Amazon Bedrock。

Amazon Bedrock的亮点是什么?

有大量的基础模型(FM)供用户选择,功能覆盖文字生成、聊天、图片生成等。可选模型也包括了这次最新重磅发布的Anthropic Claude2.1模型,以及来自其他模型供应商共计19个模型(下图),目前支持的供应商有AI21 Labs、Meta、Cohere、Stability AI和Amazon自研模型等。

可以在Modality一列中找到适用于自己需求的模型类型,如标识了Image的大模型可以用于生成图片,Text可以用于生成文字,Embedding用于将输入转为Embedding形式做对象相似性搜索。

可以借助企业知识库功能,为FM扩展检索增强生成(RAG)功能。

安全与合规性:支持用户账户内私有化部署、用户数据全生命周期保护、支持权限管理和日志与监控功能。同时可以筛选、限制用户输入和模型输出,构建负责任的AI。

目前所有库内模型都已支持Fine-Tune模型微调,企业可以根据需求定制大模型。无需编写代码,通过GUI即可训练和验证模型。

Amazon自研模型Titan Text Express和Titan Text Lite FM已支持Pre-Training,可以对AI模型能力外的某一行业、新领域知识提供更强大的能力。

成本估算

首先,Bedrock不同模型的单位令牌价格略有差距其次根据模型功能划分计费模式:

文本生成模型按已处理的输入令牌和生成的输出令牌计费。文本嵌入模型按已处理的输入令牌计费。图像生成模型按生成的图像计费。

根据模型吞吐量模式划分:

按需付费和批量(多行输入)付费:这两种模式只需按实际用量付费,无需承诺使用期限。

预配置吞吐量:利用该模式可以预设指定模型的单元用量,时间范围可选1-6个月,通过该模式可以提供模型稳定的性能表现,同时大幅降低使用成本。

模型自定义:使用自定义模型推理需要采购预配置吞吐量,若无承诺时间,按1个模型单元付费。如果想要吞吐量达到1个模型单元以上,需要配置承诺时间。

如何打开Bedrock并申请使用模型?

进入操作台Console,打开Bedrock。

主页点击”Get Started”。

点击”Base Model”查看所有的基础模型。

如果想在账户中开启新的模型,如Claude 2.1。点击左侧”Model Access”,再点击右上角”Manage Access”,申请并开启模型。

在模型申请界面,选择想要使用的模型,再点击左下角确认即可生效。

如何在Bedrock中使用模型做内容生成?

文字生成

点击模型场景,并选择模型。

选择想要使用的具体模型以及吞吐量模式。

在文字框中输入问题并点击Play生成回复。用户可以调整输出内容长度,输出随机度、Top P采样概率等参数,下图是生成一个使用教程的场景。

聊天对话

点击模型场景,并选择模型。

选择想要使用的具体模型以及吞吐量模式。

在文字框中输入问题并点击Run开始聊天。用户可以调整输出内容长度,输出内容随机度等参数,下图是一个聊天的场景的例子。

图片生成

点击模型场景,并选择模型。

选择想要使用的具体模型以及吞吐量模式。

在文字框中描述想生成的图片形式,并点击Run开始生成。在右侧可以配置图片生成模式、输出内容限制、生成图片尺寸/分辨率/尺寸、数量等,下图是一个生成图片场景的例子。

如何利用Amazon Bedrock

构建负责任的AI

在re:Invent 2023中,亚马逊云科技CEO Adam同时发布了Amazon Bedrock的新功能Guardrails for Amazon Bedrock,用户可以利用该服务定义符合企业要求的AI模型回复安全策略,对用户输入和模型输出中不合规内容限制和筛选,从而构建负责任的AI。

Guardrails for Amazon Bedrock目前支持三项控制功能,大家通过控制台配置该服务。

Denied Topics

第一项控制功能就是通过定义禁止的话题,限制AI模型不合规的输出。图2-3就举了一个银行助手应用的场景。在该场景中,我们不想让AI模型回复和投资建议相关的话题。

此时我们需要添加禁止话题”Investment advice”,并添加话题具体的描述,让AI模型更好的理解我们的要求。

当用户问被限制的投资建议相关问题时,在下图中模型返回默认回复”无法回复”。

Content Filter

第二项控制功能是对模型输入、输出的内容中限制不良内容,并提供限制程度设定。可以筛选的不良内容包括:hate、insults、sexual和violence,可选择的程度有None、Low、Medium、High。值得注意的是Bedrock中的模型已经对上述不良内容做过限制,该控制可以进一步加强对不良内容的筛选,以满足企业内部更高标准的AI输出内容限制策略。

PII脱敏(即将上线)

第三项控制功能就是通过定义PII类型,常用的如姓名、电话、地址、邮箱、ID等,限制用户输入PII信息,或者在模型输出内容中将PII信息脱敏、移除。

该如何学习Amazon Bedrock?

说到学习Amazon Bedrock,快速上手AI大模型,学习目前最前沿的AI技术。亚马逊云科技官方的免费课程平台Skill Builder,该平台不仅包括超过600多门的在线课程帮助大家学习云服务,还包含了亚马逊云科技认证的备考课程、动手实验和练习题,帮助大家更容易地考取高含金量的云计算技能认证,为职场加速。

目前Skill Builder上已经上线了免费的中文版Amazon Bedrock学习课程,只需要1个小时,就能快速掌握Amazon Bedrock的理论知识、应用场景和实操步骤,中文课程更好的帮助小伙伴们掌握该服务,快速将AI技术应用于自己的工作中。该课程主要覆盖如下内容:

了解Amazon Bedrock的工作原理。

熟悉Amazon Bedrock的基本概念。

认识Amazon Bedrock的优势。

列出Amazon Bedrock的典型使用案例。

介绍与Amazon Bedrock解决方案相关的典型架构。

了解Amazon Bedrock的成本结构。

在亚马逊云科技管理控制台中进行Amazon Bedrock的演示。

相关文章

标签:

A5创业网 版权所有

返回顶部