- 生成式 AI›
- Amazon Bedrock›
- 常見問答集
Amazon Bedrock 常見問答集
一般問題
什麼是 Amazon Bedrock?
Amazon Bedrock 是一項全受管服務,可提供各種業界領先基礎模型(FM)選擇,以及建置生成式 AI 應用程式所需的各種廣泛功能,從而透過安全、隱私和負責任的 AI 簡化開發。透過 Amazon Bedrock 的全方位功能,您可以實驗各種頂尖的 FM,使用微調和擷取擴增產生 (RAG) 等技術透過自己的資料私有自訂這些模型,以及建立可執行複雜業務任務的受管代理程式,從預訂差旅和處理保險索賠到建立廣告宣傳活動和管理庫存,並且全部不需要撰寫任何程式碼。由於 Amazon Bedrock 是無伺服器的,因此您不必管理任何基礎設施,而且可以使用已熟悉的 AWS 服務,將生成式 AI 功能安全整合並部署至應用程式中。
為什麼應該使用 Amazon Bedrock?
使用 Amazon Bedrock 來建置生成式 AI 應用程式的原因有五個。
- 領先的 FM 選項:Amazon Bedrock 提供易於使用的開發人員體驗,可使用來自 Amazon 以及 AI21 Labs、Anthropic、Cohere、Meta、Mistral AI 和 Stability AI 等領先 AI 公司的各種高效能 FM。可以在試驗場中快速實驗各種 FM,並使用單個 API 進行推論 (無論您選擇哪種模型),從而可以靈活地使用來自不同供應商的 FM,並在最少量程式碼變更的情況下隨時取得最新模型版本。
- 使用您的資料輕鬆自訂模型:透過視覺化界面使用自己的資料私有自訂 FM,而無需編寫任何程式碼。只要選取儲存在 Amazon Simple Storage Service (Amazon S3) 中的訓練和驗證資料集,然後視需要調整超參數,以達到最佳的模型效能。
- 可動態調用 API 以執行任務的全受管代理程式:透過動態呼叫公司系統和 API,打造可執行複雜業務任務的代理程式,從預訂旅行和處理保險索賠到建立廣告宣傳活動、準備稅務申報和管理庫存。Amazon Bedrock 的全受管代理程式延伸了 FM 的推理功能,以分解任務、建立協同運作並執行。
- 原生支援 RAG,以透過專有資料擴展 FM 的功能:使用 Amazon Bedrock 知識庫,您可以安全地將 FM 連線至資料來源,以便從受管服務中擷取增強功能,擴展 FM 已經極為強大的功能,並使其更進一步了解您的特定網域和組織。
- 資料安全與合規認證:Amazon Bedrock 提供多種功能來支援安全和隱私要求。Amazon Bedrock 符合服務機構控管 (SOC)、國際標準組織 (ISO)、美國健康保險流通與責任法案 (HIPAA) 等一般合規標準,客戶可以按照一般資料保護規範 (GDPR) 使用 Amazon Bedrock。Amazon Bedrock 已通過 CSA 安全信任保障及風險 (STAR) 第 2 級認證,可驗證 AWS 雲端產品對最佳實務的使用及安全狀態。使用 Amazon Bedrock 時,您的內容不會用於改善基本模型,也不會與任何模型供應商共用。Amazon Bedrock 中的資料在傳輸和保持靜態期間一律會加密,而且您可以選擇性地使用自己的金鑰加密資料。可以將 AWS PrivateLink 與 Amazon Bedrock 搭配使用,在您的 FM 和 Amazon Virtual Private Cloud (Amazon VPC) 之間建立私有連線,而不會將流量暴露到網際網路。
如何開始使用 Amazon Bedrock?
Amazon Bedrock 提供無伺服器體驗,讓您可以快速入門。在 AWS 管理主控台中導覽至 Amazon Bedrock 並在 Playground 中試用基礎模型。您也可以建立代理程式並在主控台中進行測試。確定使用案例後,您可以使用 AWS 工具輕鬆將基礎模型整合到應用程式中,而無需管理任何基礎設施。
Amazon Bedrock 入門課程的連結
Amazon Bedrock 使用者指南的連結
Amazon Bedrock 如何與其他服務搭配使用?
Amazon Bedrock 使用 AWS Lambda 來調用動作,利用 Amazon S3 來訓練和驗證資料,並利用 Amazon CloudWatch 來追蹤指標。
Amazon Bedrock 的最常見使用案例有哪些?
您可以快速開始實作使用案例:
- 原創新的內容,例如短篇故事、散文、社交媒體貼文以及網頁副本。
- 在大型資料主體中搜尋、查找與合成資訊並解答問題。
- 根據語言提示建立關於各種主題、環境和場景的逼真及藝術影像。
- 使用更相關的情境產品推薦而不是文字比對,幫助客戶找到他們正在查找的內容。
- 獲取文字內容摘要,如文章、部落格文章、圖書和文件等,以領會大要而無需閱讀完整的內容。
- 建議符合購物者偏好和過去購買的產品
探索更多生成式 AI 使用案例。
什麼是 Amazon Bedrock Playground?
Amazon Bedrock 提供了一個 Playground,讓您可以使用對話式聊天介面嘗試各種基礎模型。您可以在其中提供提示或使用主控台內的 Web 介面來提供提示,以使用預訓練模型產生文字或影像,或使用已針對使用案例微調的模型。
Amazon Bedrock 可在哪些 AWS 區域使用?
有關可使用 Amazon Bedrock 的 AWS 區域的清單,請參閱 Amazon Bedrock 參考指南中的 Amazon Bedrock 端點和配額一節。
如何在 Amazon Bedrock 上自訂模型?
您可以使用標記資料或使用持續預先訓練功能在 Amazon Bedrock 上輕鬆微調基礎模型,以使用未標記資料自訂模型。首先,提供訓練和驗證資料集,設定超參數 (次數、批次大小、學習率、預熱步驟),然後提交任務。在幾個小時之後,您就可以使用相同的 API (InvokeModel) 存取經過微調的模型。
我可以在 Amazon Bedrock 上訓練和部署模型嗎?
可以,您可以訓練公開可用的選定模型並使用自訂模型匯入功能將其匯入 Amazon Bedrock。目前,此功能僅支援 Llama 2/3、Mistral 和 Flan 架構。如需其他資訊,請參閱文件。
什麼是 Amazon Bedrock 中的延遲最佳化推論?
Amazon Bedrock 中的延遲最佳化推論目前處於公開預覽狀態,能夠在不影響準確性的情況下降低延遲。經 Anthropic 驗證,在 Amazon Bedrock 上進行延遲最佳化推論後,Claude 3.5 Haiku 在 AWS 上的執行速度比其他任何地方都快。此外,借助 Bedrock 中的延遲最佳化推論,Llama 3.1 70B 和 405B 在 AWS 上的執行速度優於任何其他主要雲端供應商平台。使用 AWS Trainium2 等專用 AI 晶片和 Amazon Bedrock 中的進階軟體最佳化,客戶可以存取更多選項來最佳化特定使用案例的推論。
主要特色:
- 縮短基礎模型互動的回應時間
- 在保持準確性的同時提高速度
- 無須額外設定或模型微調
支援模型:Anthropic 的 Claude 3.5 Haiku 和 Meta 的 Llama 3.1 models 405B 與 70B
可用性:透過跨區域推論的美國東部 (俄亥俄) 區域
若要開始使用,請造訪 Amazon Bedrock 主控台。如需詳細資訊,請瀏覽 Amazon Bedrock 文件。
如何開始使用 Amazon Bedrock 中的延遲最佳化推論?
存取 Amazon Bedrock 中的延遲最佳化推論無須額外的設定或模型微調,因此可以立即增強現有的生成式 AI 應用程式,使其獲得更快的回應時間。您可以在調用 Bedrock 推論 API 時啟用「延遲最佳化」參數。
若要開始使用,請造訪 Amazon Bedrock 主控台。如需詳細資訊,請瀏覽 Amazon Bedrock 文件。
代理程式
什麼事 Amazon Bedrock 代理程式?
Amazon Bedrock 代理程式是完全受管的功能,可讓開發人員更輕鬆地建立以生成式 AI 為基礎的應用程式,這些應用程式可針對各種使用案例完成複雜的工作,並根據專有知識來源提供最新答案。您無需進行任何手動編碼,只需執行幾個簡短步驟,Amazon Bedrock 代理程式就會自動分解任務並建立協同運作計畫。該代理程式透過 API 安全地連線至公司資料,自動將資料轉換為機器可讀的格式,並使用相關資訊增強請求以產生準確的回應。然後,代理程式可以自動呼叫 API 來回應使用者的請求。例如,製造公司可能希望開發一種生成式 AI 應用程式,該應用程式可以自動追蹤庫存水平、銷售資料、供應鏈資訊,以及建議最佳的再訂購時間點和數量,從而最大化效率。作為全受管的功能,Amazon Bedrock 代理程式消除了管理系統整合和基礎設施佈建這些無差別的繁重工作,讓開發人員能夠在整個組織中充分利用生成式 AI。
如何將基礎模型連線至我公司的資料來源?
您可以使用 Amazon Bedrock 代理程式,將基礎模型安全地連線至貴公司的資料來源。藉助知識庫,您可以使用代理程式授予 Amazon Bedrock 中基礎模型額外的資料存取權,以協助模型產生更相關、內容特定且準確的回應,而無需持續重新訓練 基礎模型。代理程式會根據使用者輸入識別相應的知識庫,擷取相關資訊,並將資訊新增到輸入提示中,為模型提供更多上下文資訊以產生完整的輸出。
Amazon Bedrock 代理程式有哪些使用案例?
Amazon Bedrock 的代理程式可協助您提高工作效率、改善客戶服務體驗,並自動化工作流程 (例如處理保險理賠)。
Amazon Bedrock 代理程式如何協助提升開發人員生產力?
藉助代理程式,開發人員無需編寫自訂程式碼亦可無縫支援監控、加密、使用者許可、版本控制和 API 調用管理。Amazon Bedrock 代理程式可以自動化使用者請求任務的提示詞工程和協同運作。開發人員可以使用代理程式建立的提示範本作為基準,進一步精簡,以提升使用者體驗。他們可以更新使用者輸入、協同運作計劃和 FM 回應。透過存取提示範本,開發人員可以更好地控制代理程式協同運作。
藉助全受管的代理程式,您不必操心佈建或管理基礎設施,可以更快地將應用程式投入生產。
安全性
Amazon Bedrock 處理的內容是否會移出我使用 Amazon Bedrock 的 AWS 區域?
由 Amazon Bedrock 處理的任何您的內容都會加密並儲存在您使用 Amazon Bedrock 的 AWS 區域中。
使用者輸入和模型輸出是否會提供給第三方模型供應商?
不會。使用者輸入和模型輸出不會與任何模型供應商共用。
Amazon Bedrock 支援哪些安全和合規標準?
Amazon Bedrock 提供多種功能來支援安全和隱私要求。Amazon Bedrock 符合 Fedramp Moderate、服務機構控管 (SOC)、國際標準組織 (ISO)、美國健康保險流通與責任法案 (HIPAA) 等一般合規標準,客戶可以按照一般資料保護規範 (GDPR) 使用 Bedrock。Amazon Bedrock 包含在 SOC 1、2、3 報告的範圍內,讓客戶可以深入了解我們的安全控制。我們透過大規模的 AWS 控制第三方稽核來證明合規性。Amazon Bedrock 是符合 ISO 的 AWS 服務之一,該服務符合 ISO 9001、ISO 27001、ISO 27017、ISO 27018、ISO 27701、ISO 22301 和 ISO 20000 標準。Amazon Bedrock 已通過 CSA 安全信任保障及風險 (STAR) 第 2 級認證,可驗證 AWS 雲端產品對最佳實務的使用及安全狀態。使用 Amazon Bedrock 時,您的內容不會用於改善基本模型,也不會與任何模型供應商共用。您可以使用 AWS PrivateLink 建立從 Amazon VPC 到 Amazon Bedrock 的私有連線,而無需將資料暴露給網際網路流量。
AWS 和第三方模型供應商是否會使用 Amazon Bedrock 的客戶輸入或輸出來訓練 Amazon Titan 或任何第三方模型?
不會。AWS 和第三方模型供應商不會使用 Amazon Bedrock 的任何輸入或輸出來訓練 Amazon Titan 或任何第三方模型。
軟體開發套件
Amazon Bedrock 支援哪些軟體開發套件?
Amazon Bedrock 支援執行時期服務的軟體開發套件。iOS 和 Android SDK,以及 Java、JS、Python、CLI、.Net、Ruby、PHP、Go 和 C++ 都支援文字和語音輸入。
哪些軟體開發套件支援串流功能?
所有軟體開發套件都支持串流。
帳單與支援
Amazon Bedrock 的費用為何?
請參閱 Amazon Bedrock 定價頁面了解最新的定價資訊。
Amazon Bedrock 可使用哪些支援?
按照您簽訂的 AWS Support 合約,可根據開發人員支援、商業支援和企業支援計劃支援 Amazon Bedrock。
如何追蹤輸入和輸出 Token?
您可以使用 CloudWatch 指標來追蹤輸入和輸出 Token。
自訂
Amazon Bedrock 是否支援持續預先訓練?
我們針對 Amazon Titan Text Express 和 Amazon Bedrock 上的 Amazon Titan 模型推出持續預先訓練。持續預先訓練可讓您使用大量未標記資料在 Amazon Titan 基礎模型上持續預先訓練。這種類型的訓練將使模型從一般領域語料庫適應更具體的領域語料庫,例如醫學、法律、金融等,同時仍保留 Amazon Titan 基本模型的大部分功能。
為什麼應該在 Amazon Bedrock 中使用持續預先訓練?
企業可能希望為特定領域中的任務建置模型。可能不會就該特定領域中使用的技術行話訓練基本模型。因此,直接微調基本模型需要大量標記的訓練記錄和較長的訓練時間才能獲得準確的結果。為了減輕這種負擔,客戶可以轉而為持續預先訓練任務提供大量未標記的資料。此任務將使 Amazon Titan 基本模型適應新領域。然後,客戶可以使用標籤明顯更少的訓練記錄且以較短的訓練持續時間將新預先訓練的自訂模型微調到下游任務。
持續預先訓練功能與其他 AWS 服務有何關係?
Amazon Bedrock 持續預先訓練和微調的要求非常相似。因此,我們選擇建立統一的 API,支援持續預先訓練和微調。API 的統一可減少學習曲線,並幫助客戶使用標準功能,例如用於追蹤長期執行之任務的 Amazon EventBridge、用於擷取訓練資料的 Amazon S3 整合、資源標籤和模型加密。
如何使用持續預先訓練?
持續預先訓練可幫助您將 Amazon Titan 模型適應領域特定的資料,同時仍保留 Amazon Titan 模型的基本功能。若要建立持續預先訓練任務,請瀏覽至 Amazon Bedrock 主控台,然後按一下「自訂模型」。 您將導覽至具有兩個索引標籤的自訂模型頁面:模型和訓練任務。兩個索引標籤的右側都提供「自訂模型」下拉式功能表。從下拉式功能表選取「持續預先訓練」以瀏覽至「建立持續預先訓練任務」。 您將提供來源模型、名稱、模型加密、輸入資料、超參數及輸出資料。此外,您可以為該任務提供標籤以及有關 AWS Identity and Access Management (IAM) 角色和資源政策的詳細資訊。
Amazon Titan
什麼是 Amazon Titan 模型?
Amazon Titan 系列模型為 Amazon Bedrock 所獨有,融合了 Amazon 在 25 年期間各業務部門的 AI 和機器學習創新經驗。Amazon Titan FM 透過全受管的 API,為客戶提供豐富的高效能影像、多模態和文字模型選擇。Amazon Titan 模型由 AWS 建立並在大型資料集上進行預先訓練,是強大的通用模型,並可支援各種使用案例以及負責任的 AI 使用。按原樣使用它們或使用您自己的資料私下自訂。進一步了解 Amazon Titan。
在哪裡可以進一步了解開發和訓練 Amazon Titan FM 所處理的資料?
若要進一步了解開發和訓練 Amazon Titan FM 所處理的資料,請瀏覽 Amazon Titan 模型訓練與隱私權。
知識庫 / RAG
我可以將哪些資料來源連接至 Amazon Bedrock 知識庫?
您可以從各種來源 (包含網頁、Amazon Simple Storage Service (Amazon S3)、Confluence (預覽版)、Salesforce (預覽版) 和 SharePoint (預覽版)) 擷取內容。您也能透過程式設計方式,擷取來自未支援來源的串流資料或資料。您也可以連線到結構化資料來源,例如 Redshift 資料倉儲和 AWS Glue Data Catalog。
Amazon Bedrock 知識庫如何從結構化資料來源擷取資料?
Amazon Bedrock 知識庫提供受管的「將自然語言轉換為 SQL」功能,可以將自然語言轉換為可操作的 SQL 查詢並擷取資料,讓您使用這些來源的資料建置應用程式。
Amazon Bedrock 知識庫是否支援多輪交談?
是的,Amazon Bedrock 知識庫內建對話內容管理功能,讓您的應用程式能夠在多個互動中維護前後關聯,這對於支援多輪交談至關重要。
Amazon Bedrock 知識庫是否為擷取的資訊提供來源歸因?
是的,所有擷取的資訊都包含可提高透明度的引用來源,並最大限度地減少在所生成回應中出現幻覺的風險。
Amazon Bedrock 知識庫提供哪些多模態功能?
Amazon Bedrock 知識庫支援多模態資料處理,讓開發人員能夠建置可分析文字和視覺資料的生成式 AI 應用程式,包括影像、圖表、圖示和資料表。除了文字之外,模型回應還可以利用產生自視覺元素的見解,進而提供更準確且與情境更為相關的答案。此外,回應會在來源歸因中包括視覺元素,以增強回應的透明度和信任度。
Amazon Bedrock 知識庫支援哪些多模態資料格式?
Amazon Bedrock 知識庫可以處理充滿豐富視覺效果的 PDF 格式文件,其中可能包含影像、資料表、圖表和圖示。對於純影像資料,Bedrock 知識庫支援標準影像格式 (例如 JPEG 和 PNG),讓使用者能夠使用根據文字查詢擷取相關影像的搜尋功能。
Amazon Bedrock 知識庫中提供哪些不同的剖析選項?
客戶可使用三種適用於 Bedrock 知識庫的剖析選項。客戶可以針對純文字處理作業使用內建的預設 Bedrock 剖析器,無需額外費用,非常適合不需要進行多模態資料處理作業的案例。Amazon Bedrock 資料自動化 (BDA) 或基礎模型可用於剖析多模態資料。如需詳細資訊,請參閱產品文件。
Amazon Bedrock 知識庫如何確保資料安全性和管理工作流程複雜性?
Amazon Bedrock 知識庫可處理各種工作流程複雜性,例如內容比較、失敗處理、輸送量控制和加密,確保您的資料是根據 AWS 嚴格的安全性標準安全地進行處理和管理。
模型評估
什麼是 Amazon Bedrock 上的模型評估?
使用 Amazon Bedrock 上的模型評估,只要幾個簡短步驟即可評估、比較使用案例並為其選擇最佳 FM。Amazon Bedrock 提供自動評估和人工評估選項。您可以使用具有準確性、穩健性和毒性等預先定義指標的自動評估。您可以使用人為評估工作流程來進行主觀或自訂指標,例如親切、風格,以及與 Brand Voice 的一致性。對於人工評估,您可以使用內部員工或由 AWS 管理的團隊作為檢閱者。Amazon Bedrock 上的模型評估提供內建策劃資料集,您也可以使用自有資料集。
我可以根據哪些指標評估 FM?
您可以使用自動評估來評估各種預先定義的指標,例如準確性、穩健性和毒性。您還可以使用人工評估工作流程來評估主觀或自訂指標,例如親和性、相關性、風格,以及與 brand voice 的一致性。
人工評估和自動評估有何區別?
您可以透過自動評估根據標準條件 (例如準確性、毒性和穩健性) 快速縮小可用 FM 清單的範圍。人工評估通常用於評估更細微或主觀的條件,這些條件需要人為判斷,並且可能不存在自動評估 (例如品牌語音、創意意圖、親和性)。
自動評估如何運作?
您可以利用策劃的內建資料集或者使用自有提示資料集,就準確性、穩健性和毒性等指標快速評估 Amazon Bedrock 模型。將提示資料集傳送至 Amazon Bedrock 模型進行推論之後,會使用每個維度的評估演算法對模型回應進行評分。後端引擎將個別提示回應分數彙總為摘要分數,並透過易於理解的視覺報告顯示。
人工評估如何運作?
Amazon Bedrock 可讓您只需幾個簡短步驟即可設定人工審查工作流程並帶入內部員工,或使用 AWS 管理的專家團隊來評估模型。使用者可以使用 Amazon Bedrock 的直覺式介面透過按一下豎起大拇指或大拇指朝下、按 1-5 擴展評分、從多個回應中選擇最佳回應或對提示排名來審查模型回應並提供意見回饋。例如,可以向團隊成員展示兩個模型如何回應相同的提示,然後要求其選取顯示更準確、更相關或更有風格特點之輸出的模型。您可藉由自訂團隊評估 UI 上顯示的說明和按鈕,指定對您重要的評估條件。您也可以提供包含範例的詳細說明以及模型評估的整體目標,以便使用者可以相應地調整其工作。此方法對於評估需要人為判斷或更細緻的領域專業知識且無法使用自動評估輕鬆判斷的主觀條件很有用。
負責任的 AI
什麼是 Amazon Bedrock 防護機制?
Amazon Bedrock 防護機制可協助您根據使用案例和負責任 AI 政策為生成式 AI 應用程式實施保護措施。防護機制透過篩選不需要和有害的內容來幫助控制使用者和 FM 之間的互動,並且很快就可以編輯個人身分識別資訊 (PII),從而增強生成式 AI 應用程式中的內容安全和隱私。您可以使用專用於特定使用案例的不同組態建立多個防護機制。此外,您還可以透過防護機制持續監控和分析可能違反客戶定義之政策的使用者輸入和 FM 回應。
Amazon Bedrock 防護機制中提供哪些保護措施?
您可以使用防護機制定義一組政策,以協助保護生成式 AI 應用程式。您可以在防護機制中設定下列政策。
- 關聯式依據檢查:協助偵測和篩選幻覺,檢查回應是否在來源資訊中沒有依據 (例如事實錯誤或是新資訊),且與使用者的查詢或指示無關。
- 自動推理檢查:可根據稱為自動推理政策的知識結構化數學表示法進行檢查,協助偵測生成內容中的事實錯誤、建議更正項目,並解釋回應為何正確。
- 內容篩選器:可協助您設定臨界值,以偵測和篩選不同類別的有害文字內容,例如仇恨、辱罵、性、暴力、不當行為和提示攻擊。此外,內容篩選器還可以偵測和篩選這些類別中的有害圖像內容,從而幫助建立安全的多模態應用程式。
- 拒絕的主題:可協助您定義一組在應用程式內容中不受歡迎的主題。例如,可以將網上銀行助理設計為避免提供投資建議。
- 字詞篩選器:可協助您定義一組要在使用者輸入和 FM 生成的回應中封鎖的字詞。
- 敏感資訊篩選器:可協助您回應敏感資訊,例如一組可在 FM 生成的回應中編輯的 PII。根據使用案例,如果使用者輸入包含 PII,防護機制也可以協助您封鎖。
是否可以搭配 Amazon Bedrock 上所有可用的 FM 和工具來使用防護機制?
Amazon Bedrock 防護機制可與各種模型搭配使用,包括 Amazon Bedrock 內支援的 FM、微調模型,以及 Amazon Bedrock 以外的自我託管模型。使用者輸入和模型輸出可以透過 ApplyGuardrail API 獨立評估,適用於第三方和自我託管模型。Amazon Bedrock 防護機制也可與 Amazon Bedrock 代理程式和 Amazon Bedrock 知識庫整合,以建置符合負責任 AI 政策的安全生成式 AI 應用程式
AWS 是否為其生成式 AI 服務提供涵蓋著作權索賠的智慧財產權賠償保證?
對於下列已正式上市的 Amazon 生成式 AI 服務生成式輸出所造成的著作權索賠,AWS 提供無限制的智慧財產權 (IP) 賠償保證:Amazon Titan 模型以及服務條款第 50.10 節中列出的其他服務 (以下稱「生成式 AI 服務賠償保證」)。這意味著客戶將受到保護,不會因為「生成式 AI 服務賠償保證」根據客戶提供的輸入或其他資料產生的輸出而遭到第三方指控侵犯著作權。客戶也必須以負責任的態度使用本服務,例如不輸入侵權資料也不停用服務的篩選功能。
您是否有現成 (內建) 防護機制清單,哪些防護機制可以自訂?
有五種內建的防護機制政策,每種都有不同的現成防護措施
- 內容篩選器:包含 6 個現成類別 (仇恨、侮辱、性、暴力、不當行為 [包括犯罪活動] 和提示攻擊 [越獄和提示注入])。每個類別可進一步自訂篩選的嚴格程度閾值 (低/中/高),並且適用於文字和影像內容。
- 禁止主題:這些是客戶可使用簡單的自然語言描述來定義的自訂主題
- 敏感資訊篩選器:內建 30 多種現成的個人身份資訊 (PII)。可透過新增客戶的敏感專有資訊來進一步自訂。
- 字詞篩選器:內建髒話篩選功能,可透過自訂詞彙進一步自訂。
- 關聯式依據檢查:可協助偵測 RAG、摘要和對話應用程式的幻覺,其中來源資訊可用作參考來驗證模型回應。
您是否有現成 (內建) 防護機制清單,哪些防護機制可以自訂?
有五種內建的防護機制政策,每種都有不同的現成防護措施
- 內容篩選器:包含 6 個現成類別 (仇恨、侮辱、性、暴力、不當行為 [包括犯罪活動] 和提示攻擊 [越獄和提示注入])。每個類別可進一步自訂篩選的嚴格程度閾值 - 低/中/高。
- 禁止主題:這些是客戶可使用簡單的自然語言描述來定義的自訂主題
- 敏感資訊篩選器:內建 30 多種現成的個人身份資訊 (PII)。可透過新增客戶的敏感專有資訊來進一步自訂。
- 字詞篩選器:內建髒話篩選功能,可透過自訂詞彙進一步自訂。
- 關聯式依據檢查:可協助偵測 RAG、摘要和對話應用程式的幻覺,其中來源資訊可用作參考來驗證模型回應。
預設防護機制是否會自動偵測社會安全號碼或電話號碼?
基礎模型有原生防護措施,這是與每個模型相關聯的預設保護。這些原生防護措施不屬於 Amazon Bedrock 防護機制。Amazon Bedrock 防護機制是額外的自訂防護層,客戶可根據其應用程式需求和負責任 AI 政策選擇性地套用。
作為 Amazon Bedrock 防護機制的一部分,SSN 和電話號碼偵測是 30 多個現成的 PII 的一部分。完整清單請見此處。
客戶建置自訂 Amazon Bedrock 防護機制是否有單獨的費用? 而且它會同時套用於輸入和輸出嗎?
使用 Amazon Bedrock 防護機制需要單獨付費。它可以同時套用於輸入和輸出。定價位於此處頁面的底部。具有內容篩選器 (目前處於公開預覽狀態) 的影像支援定價將在正式發行 (GA) 期間公佈。
客戶建置自訂 Amazon Bedrock 防護機制是否有單獨的費用? 而且它會同時套用於輸入和輸出嗎?
使用 Amazon Bedrock 防護機制需要單獨付費。它可以同時套用於輸入和輸出。定價位於此處頁面的底部。
客戶能否針對他們設定之防護機制的有效性執行自動化測試? 是否有用於持續監控的「測試案例建置器」(記者的術語)?
是的,Amazon Bedrock 防護機制 API 可協助客戶執行自動測試。「測試案例建置器」可能是您在生產環境中部署防護機制之前想要使用的東西。目前還沒有本機測試案例建置器。針對生產流量的持續監控,防護機制協助提供每個輸入和輸出之所有違規行為的詳細日誌,以便客戶能精細地監控其生成式 AI 應用程式的每個輸入和輸出。這些日誌可儲存在 CloudWatch 或 S3 中,並且可以用於根據客戶的需求建立自訂儀表板。
使用自動推理檢查功能的驗證與使用關聯式依據檢查有何不同?
自動推理檢查功能可以使用自動推理政策,指出內容中的準確陳述和事實錯誤。對於準確和不準確的陳述,自動推理檢查功能可為其輸出提供可驗證的邏輯解釋。您需要讓領域專家預先參與,才能建立自動推理檢查功能的政策,並且僅支援可定義規則的內容。另一方面,Bedrock 防護機制中的關聯式依據檢查會使用機器學習技術,以確保生成的內容與知識庫中作為輸入提供的文件保持高度一致,而且不需要任何額外的預先處理。「自動推理檢查」和「關聯式依據」功能都會在防護機制 API 輸出中提供意見反饋。您可以使用意見反饋來更新生成的內容。
Marketplace
什麼是 Amazon Bedrock Marketplace?
除了 Amazon Bedrock 的無伺服器 FM 之外,Amazon Bedrock Marketplace 還能為客戶提供 100 多種常見、新興或專門模型,以便讓客戶輕鬆建置和最佳化其生成式 AI 應用程式。在 Amazon Bedrock 主控台中,客戶將能夠探索由各類供應商提供的廣泛 FM 產品選項。然後,您可以將這些模型部署到完全受管的端點,您可以在其中選擇所需的執行個體數量和執行個體類型。在部署模型後,您可以透過 Amazon Bedrock 的 Invoke API 存取模型。對於針對聊天微調的文字轉文字模型,客戶可以使用我們的全新 Converse API,這是一個整合式 API,可抽象化 FM 差異並透過單一參數變更進行模型切換。在適用的情況下,模型可與 Amazon Bedrock 遊樂場、代理程式、知識庫、提示管理、提示流程、防護機制和模型評估搭配使用。
為什麼應該使用 Amazon Bedrock Marketplace?
您應該考慮使用 Amazon Bedrock Marketplace,藉此受益於隨著生成式 AI 產業持續創新而迅速出現的強大模型。您可以快速存取並部署針對您獨特需求量身定制的常見、新興和專業模型,這可以加快上市時間、提高準確性,或降低生成式 AI 工作流程的成本。您可以透過 Bedrock 的整合式 API 存取模型,如果模型與 Bedrock 的 Converse API 相容,您就能原生地將模型與 Bedrock 工具 (例如代理程式、知識庫和防護機制) 搭配使用。您能夠在同一個位置輕鬆將 Amazon Bedrock Marketplace 連線至 Amazon Bedrock 的無伺服器模型。
如何開始使用 Amazon Bedrock Marketplace?
只需瀏覽至 Bedrock 主控台中的 Amazon Bedrock 模型目錄頁面,您就可以在該處搜尋 Amazon Bedrock Marketplace 模型清單,以及無伺服器 Amazon Bedrock 模型。選擇要使用的 Amazon Bedrock Marketplace 模型後,您可以透過「模型詳細資訊」頁面訂閱該模型,並接受供應商設定的 EULA 和定價。在完成訂閱後 (通常需要幾分鐘),您可以按一下「模型詳細資訊」頁面中的「部署」或使用 API,將模型部署到完全受管的 SageMaker 端點。在部署步驟中,您可以選取所需的執行個體數量和執行個體類型,以滿足您的工作負載需求。在設定端點後 (通常需要 10 到 15 分鐘),您可以開始對端點進行推論呼叫,並在 Bedrock 的進階工具中使用模型,前提是該模型與 Bedrock 的 Converse API 相容。
我是否能夠微調 Amazon Bedrock Marketplace 模型?
具有受自訂模型匯入服務支援之架構模型 (Mistral、Mixtral、Flan 和 Llama2/3/3.1/3.2),可在 SageMaker 中進行微調,並能夠透過自訂模型匯入服務適用於 Amazon Bedrock。您也可以在 SageMaker 中微調自訂模型匯入服務不支援的模型。但是,您無法在 Amazon Bedrock 中使用這些模型的微調版本。
資料自動化
什麼是 Bedrock 資料自動化?
什麼是 Bedrock 資料自動化? Amazon Bedrock 資料自動化是 Bedrock 的 GenAI 支援的功能,可簡化生成式 AI 應用程式的開發,並自動執行包含文件、影像、音訊和影片的工作流程。透過運用 Bedrock 資料自動化,開發人員就可以縮短開發時間和工作,從而更輕鬆地建置智慧文件處理、媒體分析和其他多模態以資料為中心的自動化解決方案。與替代解決方案相比,Bedrock 資料自動化以較低的成本提供領先業界的高準確度,並提供視覺基礎、可解釋性的信心分數和內建幻覺緩解等功能。這可確保從非結構化多模態資料來源取得的洞察是值得信任且準確的。客戶可以輕鬆自訂 Bedrock 資料自動化輸出,以其系統和應用程式所需的一致格式生成特定見解。開發人員可以在 Amazon Bedrock 主控台上開始使用 Bedrock 資料自動化服務,他們能夠在其中使用範例資料來設定和自訂輸出。然後,他們可以將 Bedrock 資料自動化服務的統一多模態推論 API 整合到其應用程式中,以具備高準確性和一致性的生產規模處理其非結構化內容。Bedrock 資料自動化還與 Bedrock 知識庫整合,讓開發人員能夠更輕鬆地從其非結構化多模態內容產生有意義的資訊,為檢索增強生成 (RAG) 提供更相關的回應。
為什麼應該使用 Bedrock 資料自動化功能?
Bedrock 資料自動化功能可讓您將非結構化企業資料輕鬆轉換為應用程式特定的輸出格式,這些格式可供生成式 AI 應用程式和 ETL 工作流程使用。客戶不再需要花費時間和精力來管理和協調多個模型、工程提示、實作防護機制,或將輸出拼湊在一起,以符合下游系統需求。Bedrock 資料自動化功能可為非結構化資料提供高度準確、一致且符合成本效益的處理流程。 Bedrock 資料自動化功能在建置時考量了負責任 AI 原則,可為客戶提供視覺接地和信心分數等關鍵功能,使 Bedrock 資料自動化能夠在企業工作流程中輕鬆整合。
Amazon Bedrock 資料自動化會代表我管理什麼項目?
AWS 透過完全受管的 API 提供 Bedrock 資料自動化功能,客戶可以輕鬆將該 API 整合至其應用程式內。客戶無需擔心擴展基礎運算資源、選擇和協調模型,或管理 FM 提示的問題。
什麼是藍圖?
藍圖是能夠讓客戶使用自然語言或結構描述編輯器來指定輸出需求的功能。其包括客戶想要擷取的欄位清單、每個欄位的資料格式,以及每個欄位的自然語言指示。例如,開發人員可以鍵入「建立具有下列欄位的發票藍圖:tax、dueDate、ReceiptDate」或「確認發票總額符合明細行項目的總和」。 他們會在推論 API 呼叫中參考藍圖,以便讓系統透過藍圖中描述的格式傳回資訊。
Amazon Bedrock 資料自動化在每種模態下支援哪些功能和檔案格式
文件
Bedrock 資料自動化支援文件的標準輸出和自訂輸出作業。
- 「標準輸出」將提供從文件中擷取文字和生成輸出的功能,例如文件摘要和資料表/圖片/圖表的標題。輸出會依讀取順序傳回,並可以選擇依版面配置元素進行分組,版面配置元素中將包括頁首/頁尾/標題/資料表/圖形/圖表。「標準輸出」將用於與 Bedrock 知識庫的 BDA 整合。
- 「自訂輸出」會利用透過自然語言或結構描述編輯器指定輸出需求的藍圖。藍圖包括要擷取的欄位清單,以及每個欄位的資料格式。
Bedrock 資料自動化將支援 PDF、PNG、JPG、TIFF (最多 100 頁),並且每個 API 請求的檔案大小可高達 500 MB。BDA 將支援高達 5 個文件套件的並行性,以及每位客戶每秒 1 頁的輸送量。
映像
Bedrock 資料自動化支援影像的標準輸出和自訂輸出。
- 標準輸出將提供摘要、偵測到的明確內容、偵測到的文字,以及廣告分類:影像的 IAB。「標準輸出」將用於與 Bedrock 知識庫的 BDA 整合。
- 「自訂輸出」會利用透過自然語言或結構描述編輯器指定輸出需求的藍圖。藍圖包括要擷取的欄位清單,以及每個欄位的資料格式。
Bedrock 資料自動化將支援 JPG,PNG,高達 4K 的解析度,並且每個 API 請求的檔案大小可高達 5 MB。BDA 將支援高達 100 張圖像的並行性,每位客戶每秒 1 張圖像。
影片
Bedrock 資料自動化支援影片的標準輸出作業。
- 「標準輸出」將提供完整的影片摘要、場景分段、場景摘要、完整音訊轉錄、發言者識別、檢測到的明確內容、經檢測的文字,以及影片的互動廣告局 (IAB) 分類。完整的影片摘要功能針對具有描述性對話的內容進行了最佳化,例如產品概述、訓練、新聞報導和紀錄片。
Bedrock 資料自動化將支援採用 H.264 格式的 MOV 和 MKV,影片持續時間可長達 4 小時,每個 API 請求的檔案大小可高達 2 GB。BDA 將支援高達 25 個影片的並行性,每位客戶每分鐘可處理 20 分鐘的影片。
音訊
Bedrock 資料自動化支援兩種標準音訊輸出作業。
- 「標準輸出」將提供音訊檔案的摘要、完整轉錄和經檢測的明確內容。
Bedrock 資料自動化將支援 FLAC、M4A、MP3、MP4、Ogg、WebM、WAV,音訊持續時間可高達 4 小時,並且每個 API 請求的檔案大小可高達 2 GB。「標準輸出」將提供音訊檔案的摘要、完整轉錄和經檢測的明確內容。
Amazon Bedrock 資料自動化服務適用於哪些 AWS 區域?
Amazon Bedrock 資料自動化目前適用於美國西部 (奧勒岡) 區域。
IDE
什麼是 Amazon Bedrock IDE (預覽版)?
Amazon Bedrock IDE (預覽版) 是在 Amazon SageMaker Unified Studio (預覽版) 中整合的受管控協作環境,可讓開發人員使用高效能基礎模型 (FM) 快速建置和迭代生成式 AI 應用程式。其提供了直觀的界面,可讓您試驗這些模型、對專案進行協作,並簡化各種 Bedrock 工具和資源的存取流程,以便快速置建生成式 AI 應用程式。
如何透過 Amazon SageMaker Unified Studio (預覽版) 存取 Amazon Bedrock IDE (預覽版)?
若要在 Amazon SageMaker Unified Studio 中存取 Amazon Bedrock IDE,開發人員及其管理員需要按照下列步驟操作:
- 在 Amazon SageMaker Unified Studio 中建立新網域。
- 啟用生成式 AI 應用程式開發專案設定檔。
- 使用 Amazon SageMaker Unified Studio 內的公司單一登入 (SSO) 憑證來存取 Amazon Bedrock IDE。
Amazon SageMaker Unified Studio 中的 Amazon Bedrock IDE 具有哪些主要功能? 其與 Amazon Bedrock Studio (預覽版) 有何不同?
Amazon Bedrock IDE 現在整合至 Amazon SageMaker Unified Studio 內,該服務是以 Amazon Bedrock Studio (預覽版) 為基礎建置而成,並具有幾項重要改進。其提供了領先企業的先進 AI 模型存取權,可用於建立和測試 AI 提示的工具,並且與 Bedrock 知識庫、防護機制、Flows 和代理程式進行順暢整合。團隊可以在共用工作區中協作,根據自身需求量身打造自訂 AI 應用程式。
Bedrock IDE 的新功能包括一個可用於進行 AI 模型並列比較的模型中樞,支援聊天、影像和影片互動的經擴充遊樂場,以及具有網路爬取功能的改進式知識庫建立。其導入了可用於更複雜聊天應用程式的代理程式建立流程,並簡化在組織內共用 AI 應用程式和提示的作業。Bedrock IDE 還提供對基礎應用程式程式碼的存取權,以及將聊天應用程式匯出為 CloudFormation 範本的功能。透過管理 AWS 基礎架構詳細資訊,其可讓具有各種技能水準的使用者更高效地建立 AI 應用程式,使得這項服務成為比其前代服務更具多樣性、更強大的工具。
Amazon Bedrock IDE 如何實現組織內團隊之間的協作?
Amazon Bedrock IDE 透過在 Amazon SageMaker Unified Studio 內提供受管控的開發環境,從而實現團隊之間的協作。團隊可以建立專案、邀請同事,並以協作方式共同建置生成式 AI 應用程式。他們可以收到關於原型的快速意見反饋,並與 Amazon SageMaker Unified Studio 中的任意人員或網域中的特定使用者共用應用程式。強大的存取控制和治理功能可以確保只讓經授權的成員存取專案資源 (例如資料或生成式 AI 應用程式),藉此支援資料隱私和合規性,從而促進安全的跨職能協作和共用流程。此外,建置人員可以將生成式 AI 應用程式共用給 Amazon SageMaker Unified Studio 網域中的特定使用者,或特定的個人,從而對此類資產實施適當的存取權限、控制和治理。
為什麼 AWS 將 Amazon Bedrock IDE 整合至 Amazon SageMaker Unified Studio?
將 Amazon Bedrock IDE 整合至 Amazon SageMaker Unified Studio,代表了 AWS 為簡化生成式 AI 開發作業所付出的努力。這種整合創造了一個全面性的環境,可消除資料、工具和開發人員之間的障礙,從而實現高效的生成式 AI 應用程式建置和部署流程。
整合式的環境能夠讓各種技能水準的開發人員在開發生命週期內進行順暢協作,從資料準備到模型開發和生成式 AI 應用程式建置。團隊可以存取適用於知識庫建置、模型微調及高效能生成式 AI 應用程式開發作業的整合式工具,而且一切流程都會在安全且受管控的架構內完成。
開發人員可以在 Amazon SageMaker Unified Studio 中按需求輕鬆地切換不同工具,在單一工作區中結合分析、機器學習和生成式 AI 功能。這種整合的方法可減少開發複雜性,並縮短生成式 AI 專案的價值實現時間。
AWS 透過將 Amazon Bedrock IDE 導入 Amazon SageMaker Unified Studio,在降低了生成式 AI 開發作業進入障礙的同時,維持了企業級的安全性和治理,最終使組織能夠利用生成式 AI 來更快、更高效地創新。
透過 Amazon SageMaker Unified Studio 存取的 Amazon Bedrock IDE 是否與透過 AWS 管理主控台存取的 Amazon Bedrock Studio (預覽版) 有所不同?
目前,您可透過 AWS 管理主控台存取作為預覽功能提供的 Amazon Bedrock Studio。現在,Amazon Bedrock Studio 已更名為 Amazon Bedrock IDE,而且在 Amazon SageMaker Unified Studio 內處於預覽狀態,並提供了可用於建置、評估和共用生成式 AI 應用程式的專用環境,這些應用程式具有知識庫、防護機制、代理程式、Flows 和提示工程工具等進階功能。與 AWS 管理主控台內先前的預覽版相比,這項與 Amazon SageMaker Unified Studio 的整合提供功能更為豐富、受管控和可協作的開發體驗。
Amazon SageMaker Unified Studio 包含了 Amazon Bedrock Studio 的哪些部分 - 其是否只是遊樂場,又或者包含完整的開發體驗? 我該在何時使用哪些內容?
Amazon SageMaker Unified Studio 的 Amazon Bedrock IDE 內包含完整的 Amazon Bedrock Studio。在 Amazon SageMaker Unified Studio「探索」區段中提供的生成式 AI 遊樂場,可讓您試驗基礎模型 (FM) 和由同事透過對話介面共用的任何生成式 AI 應用程式。Amazon Bedrock IDE 是完整的生成式 AI 應用程式環境,位於 Amazon SageMaker Unified Studio 的「建置」區段,並且可透過專案加以存取。
以下是應該在何時使用每項產品的資訊:
- AWS 管理主控台中的現有 Amazon Bedrock Studio:您可以繼續使用 AWS Console 中的現有 Amazon Bedrock Studio 來完成正在進行中的專案,直到 2025 年 2 月 28 日支援結束為止。您將需要設定包含 Amazon Bedrock IDE 的新 Amazon SageMaker 網域,才能在 Amazon SageMaker 的受管控環境中存取該網域。
- Amazon SageMaker Unified Studio 中的生成式 AI 遊樂場 (「探索」區段):使用聊天、影像和影片遊樂場來對 FM 進行初始實驗,並於 Amazon Bedrock IDE 內建置應用程式之前測試不同的模型和組態。
- Amazon SageMaker Unified Studio 中的 Amazon Bedrock IDE (建置區段):利用「建置」區段中提供的 Amazon Bedrock IDE,透過進階功能來建置生產就緒的生成式 AI 應用程式。這些包括整合式治理、安全協作、知識庫、代理程式、Flows、防護機制和提示工程工具。
Amazon Bedrock IDE 如何與 Amazon SageMaker Unified Studio 中的其他 AWS 服務整合,以建立生成式 AI 應用程式?
Amazon Bedrock IDE 是一個受管控的協作環境,專注於使用基礎模型 (FM) 建置生成式 AI 應用程式。其整合至 Amazon SageMaker Unified Studio 中,可提供直觀的介面,可以存取和實驗 Bedrock 的高效能 FM,並可用於自訂工具,例如知識庫、防護機制、代理程式和 Flows。
在 Amazon SageMaker Unified Studio 中,Amazon Bedrock IDE 與 Amazon SageMaker 的分析、機器學習 (ML) 和生成式 AI 功能進行了順暢整合。使用者可利用分析服務,從資料中產生見解、使用 Amazon SageMaker AI 的訓練和部署工具建置 ML 模型,並將這些元件與 Amazon Bedrock IDE 中建立的生成式 AI 應用程式結合。這個整合式環境可讓您進行資料導向應用程式的端對端開發作業,這類應用程式結合了分析、機器學習和生成式 AI 功能。使用者可以建置和部署機器學習和生成式 AI 模型、建立和共用透過專有資料和自訂量身定制的生成式 AI 應用程式,以及簡化協作,而且一切都在相同的受管控 Amazon SageMaker Unified Studio 環境中完成
我目前透過 AWS 管理主控台的 Amazon Bedrock Studio 存取權會受到什麼影響,如何移轉至 Amazon SageMaker Unified Studio 中的 Amazon Bedrock IDE?
已經透過 AWS 管理主控台存取服務的現有 Amazon Bedrock Studio 使用者,無法直接將專案移轉至 Amazon SageMaker Unified Studio。若要在 Amazon SageMaker 的受管控環境中存取 Amazon Bedrock IDE,開發人員及其管理員將需要在 Amazon SageMaker Unified Studio 中建立新網域、啟用生成式 AI 應用程式開發專案設定檔,並在 Amazon SageMaker Unified Studio 內使用其公司的單一登入 (SSO) 憑證存取 Amazon Bedrock IDE。
不過,直到 2025 年 2 月 28 日為止,現有使用者都可以繼續透過 AWS 管理主控台存取 Amazon Bedrock Studio (預覽版)。在此日期之後,他們需要轉換至 Amazon SageMaker Unified Studio 中全新 Amazon Bedrock IDE 體驗。
在使用 Amazon Bedrock IDE 時,是否存在任何限制條件或配額?
Amazon SageMaker Unified Studio 內的 Amazon Bedrock IDE 功能,須遵守針對平台和基礎 Amazon Bedrock 資源 (例如基礎模型 (FM)、知識庫、代理程式、Flows 和防護機制) 定義的帳戶限制和配額。
使用 Amazon Bedrock IDE 時,適用哪些定價和計費模式?
Amazon Bedrock IDE 無需額外費用,而且使用者只需為基礎資源的使用量付費,該基礎資源是使用者建置之生成式 AI 應用程式所需的資源。例如,客戶只需要為其在生成式 AI 應用程式上使用的相關模型、防護機制和知識庫付費。如需詳細資訊,請瀏覽 Amazon Bedrock 定價頁面。
什麼是 Amazon Bedrock IDE 的服務等級協議 (SLA)?
Amazon SageMaker Unified Studio 內的 Amazon Bedrock IDE 遵守與 Amazon Bedrock 相同的 SLA。如需詳細資訊,請瀏覽 Amazon Bedrock 服務等級協議頁面。
有哪些適用於 Amazon Bedrock IDE 的文件和支援資源?
若要在 Amazon SageMaker Unified Studio 中促進順暢的 Amazon Bedrock IDE 上線體驗,您可以在 Amazon Bedrock IDE 使用者指南中找到詳細的文件。 如果您有任何其他問題或需要進一步協助,請隨時與您的 AWS 客戶團隊聯繫。