搜尋
Close this search box.

20240415_Claude 3 on Amazon Bedrock 大型語言模型實作及移轉工作坊

螢幕擷取畫面 2024 04 21 180647

美國新創公司 Anthropic 近日宣布推出 Claude 3 系列 AI 模型,包含三個不同尺寸和功能的版本:Claude 3 Haiku、Claude 3 Sonnet 以及 Claude 3 Opus。其中,Opus 版本被譽為目前最為強大的人工智能模型(預計於4月推出)。

在多項評測中超越了先前領先的 GPT-4 和 Gemini Ultra。Claude 3 系列的推出,不僅在多模態處理、安全性提升、智能化水平等方面取得了突破,更在支持長達 20 萬字上下文長度和處理百萬字長文本的能力上樹立了新的標竿。

重點介紹與場景

生成式可以針對所有的上下文去做推論,不只能回答單一問句。

品質、回應速度、價格 三個要素

與Anthropic合作,不只回應速度快,也有質的飛躍,甚至更加便宜。

3月初發佈第三代模型,可針對需要的業務場景,選擇不同的應用情境。

Opus模型 近期上線(預計4月推出)。

Opus模型 評測相較於 GPT 以及Gemini,評測結果更好。

視覺、分析、運算能力,在場景中呈現,相較於過去較擅長文字的GPT,能有著更深度的應用。

可以取代過去用OCR,目前Claude 3 是目前市面上cp值最高的辨識模型。

即使是超長的文章,也能協助辨識。

目前改採Messages API的方式,原本架構可以直接使用。

版本特點:

  • Claude 3 Haiku:以快速響應為賣點,適用於需求迅速反應的場景。
  • Claude 3 Sonnet:在速度和功能之間達到平衡,適合於企業級應用。
  • Claude 3 Opus:功能最為強大,能力覆蓋推理、數學解題、編碼,以及接近人類的理解能力

每秒可以做到123 Tokens 的Output。


Bedrock 應用

於牙科優化智能客服的案例分享

架構圖說明

支援檢索增強生成RAG

透過VPC做安全的傳輸

相關workshop


Claude 3 與過往2 有什麼不同

負責任的AI,對於結果生成,不好的內容應該要避免回答。

Prompt Eengineering 7+1 tips


可以透過什麼方式去展現Bedrock的效果? A: OpenAI 無痛轉換。

不需修改程式碼,只需調整環境變數。

架構分享:

機制實作在Lamba上。而此架構不會紀錄客戶的資訊,再訓練模型,如有需要,可以透過Lamda打開此功能。

而prompt 評估需要有OpenAI的 Key。


Workshop Demo

本次的Workshop,跟著講師演練左邊的情境

進行模型存取授權

本次使用預設

測試知識庫

以這個範例來說,可以作為HR助手。


文字遊樂場:透過此頁面呈現不同情境。

翻譯情境

事實問答

小說續寫

接續上方,模仿小說家古龍的風格,進行續寫。

角色扮演

RAG 增強檢索生成 (Retrieval-Augmented Generation)

程式碼輔助

客服案例分類

文字內容審核

自動辨識出不雅,或可能延伸出人生攻擊的文字。


接著則是我覺得Claude 3 非常厲害的圖片相關功能。

圖片比較

圖像理解

監控圖表理解

架構圖理解

這個功能我覺得非常好用,實際測試不只能辨識aws的相關服務架構,其他雲端也能快速地說明使用到的相關服務,以及其功能性。


心得總結:

Claude 3優勢:

智能化程度更高

  • Anthropic 技術報告顯示在多個AI基準測試集:本科生水平專業知識(MMLU)、研究生水平專業推理 (GPQA)、多語言推理能力(MGSM, MMLU)、數學問題解決(GSM8K, MATH)、交互式和複雜編碼(HumanEval)等等, Claude 3 系列模型均名列前茅,且Opus 作為 Claude 3 最智能版本與其他模型相比均為業界第一(SOTA)的成績。

推理速度更快

  • 全系列模型推理速度均做優化,例如Haiku可以在不到三秒的時間內閱讀 arXiv上的信息和數據密集型 研究論文(約1萬個token),意味著 Claude 3模型可以給客戶帶來更好的使用體驗。

多模態能力

  • Claude 3全系列模型都支持視覺(圖片)輸入,能夠處理不同的圖像格式,如照片、圖表,以及跨PDF、 流程圖等多種格式的提取。

超長上下文窗口的精準召回

  • Claude 3全系列模型均支持 200K token 上下文窗口,為需要更大上下文窗口的特定客戶 提供了更好的支持,且”大海撈針”測試全系列召回準確率表現優異,Claude 3能更有效地處理長文檔和複雜的信息流。 從而能夠實現更細緻地從長文檔中準確提取信息。

更可控,更好的PE優化

  • Claude 3 能夠遵循複雜的指令並以結構化的輸出格式(如JSON、Markdown等)產生結果, 使其適用於自然語言處理的各種任務,這一特點為用戶在例如工具調用、text2sql、代碼生成等應用場景提供了更多的靈 活性和可能性。

更加準確可靠

  • 一方面:修復”過度拒絕”的問題,提升了理解程度,能夠辨別真正的風險,減少不必要的拒答,提升創 造性任務表現。另一方面,提高對複雜問題理解的準確性方面取得了顯著進步。

成本優化

  • Sonnet 及Haiku價格親民,與同類別模型相比具備顯著價格優勢,為大規模使用基礎模型來構建應用構建了 良好的成本基礎。

Claude 3 系列模型包含三個不同尺寸和功能的版本:

  • Claude 3 Haiku:最小的模型,具有較快的推理速度和較低的成本,適合需要快速響應和低成本的應用。
  • Claude 3 Sonnet:中等大小的模型,具有平衡的性能和成本,適合需要較高性能但成本仍可控的應用。
  • Claude 3 Opus:最大的模型,具有最高的性能和最全面的功能,適合需要最先進 AI 能力的應用(預計4月推出)。

實際Lab體驗下來,覺得Claude 3 在圖片辨識方面真的很厲害,原先對於GPT類型的AI還只停留在文字階段,現在則是擁有更多的延伸應用,讓我們可以更便利、快速、精準的得到答案。

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *