利用AWS Rekognition結合Sumerian實作臉部辨識虛擬助理

利用Lambda辨識年齡、性別、情緒並用IoT發布 · 在Lambda 新增一個名為identify-face-detail 的Function · 利用boto3 SDK 的Rekognition API 辨識人臉. 雲端培訓 雲端學習地圖 雲端培訓課程 專業證照培訓 eCloudture智慧製造雲端應用解決方案培訓 人才培育 eCloudture無人車體驗營 新北市教育局–DeepRacerEvo雲端xAI無人自走車冬令營隊 雲端資源 部落格 考試中心 eCloudture 關於eCloudture 學員心得分享 聯絡我們 English 目錄人工智慧/機器學習利用AWSRekognition結合Sumerian實作臉部辨識虛擬助理 虛擬助理如何在見到新客戶即提供符合需求的服務?這次情境設定在當虛擬助理見到新客戶時給予適切的建議，當資料庫中沒有任何新客戶資料時，只能透過使用者當下的情緒、性別及年齡進行推薦。

架構 此次應用主要為結合AmazonRekognition與AmazonSumerian進行人臉辨識互動。

透過串接了S3、Lambda、Rekognition、IoT、Translate、Sumerian、Polly等服務實作，流程如下： 建立S3Bucket儲存辨識圖片 利用Lambda辨識年齡、性別、情緒 辨識結果以IoT即時發布，使Sumerian能即時接收訊息 Note:由於Sumerian在中文部分僅支持簡體中文，因此辨識結果在發布前須先用Translate翻譯成簡體中文 設定圖片上傳S3後觸發Lambda SumerianHost訂閱IoT發布的訊息 服務介紹 AmazonSumerian是AWS所提供執行虛擬實境(VR)、擴增實境(AR)和3D應用程式的服務，無須任何3D圖形的專業能力。

開發者能使用Sumerian建立高度沈浸式和互動式場景，並在OculusGo、OculusRift、HTCVive、HTCVivePro、GoogleDaydream和LenovoMirage等常用硬體及Android和iOS行動裝置上執行。

同時Sumerian支援多國語言與手勢，在互動上更為逼真與親切。

AmazonRekognition使在應用程式中新增影像和影片分析變得容易。

只需將影像或影片提供給RekognitionAPI，服務就會識別各種物件、人物、文字、場景和活動，並偵測任何不當的內容。

AmazonRekognition還可針對提供的影像和影片，提供最精準的臉部分析和臉部辨識。

同時可以將偵測、分析及比對臉部運用在使用者驗證、計算人數和公共安全等各種使用案例。

實作架構 建立S3Bucket儲存辨識圖片 新增一個S3Bucket 在Bucket內新增一個Folder–images儲存辨識圖片 在Premissons設定的部分需設定跨域資源共享(CORS) *同時需設定BucketPublicAccess，把所有勾選取消 利用Lambda辨識年齡、性別、情緒並用IoT發布 設定IAMRole權限，並把yourbucketname修改images 在Lambda新增一個名為identify-face-detail的Function 利用boto3SDK的RekognitionAPI辨識人臉 將辨識出的年齡、性別、情緒結果用IoT即時發布Topic–Topic/RekognitionAge，使Sumerian能即時接收訊息 Note:由於Sumerian目前在中文部分僅支持簡體中文，因此辨識結果在發布前須先用Translate翻譯成簡體中文 設定圖片上傳S3後觸發Lambda 在S3Properties設定Events 新增notification 當使用者上傳照片到S3後會觸發image-upload的Lambdafunction–identify-face-detail進行人臉辨識 SumerianHost訂閱IoT發布的訊息 新增一個AmazonSumerianCristine 在Cristine的StateMachine中新增一個State取名為–Listen ListenState新增Action中選擇Listen 在MessageChannel輸入AgeArrived，當Sumerian接收到AgeArrived的訊息後會觸發之後的State 在Cristine的ScriptComponent新增一個Script取名為-InitMQTT，為初始化MQTT，藉此訂閱IoT所發布的Topic 在InitMQTTScript中的ExternalResources加入https://cdnjs.cloudflare.com/ajax/libs/paho-mqtt/1.0.1/mqttws31.js 設定訂閱IoT所發布的Topic–Topic/RekognitionAge 設定SignedUrl收發IoT資料，填入IoTendpoint 當Message抵達時取得IoT所發布的Message，並用worldData儲存 觸發AgeArrived 完整程式碼如下 在Cristine的StateMachine新增一個Action取名為–Speaking，為設定SumerianSpeech SpeakingState新增Action中選擇ExecuteScript，取名為SpeakConfig 設Sumerian說話內容與使用Polly所提供的中文助理Zhiyu 設定Cristine的StateMachine關聯 在Script中新增compileSpeech方法與修改enter方法 結論 Sumerian具有簡易的操作介面，能使開發者減少開發時間，同時又能建立客製化的虛擬助理。

在這次的應用藉由虛擬助理與使用者互動，不但可以減少人力，同時能收集使用者基本特徵。

Share: ShellyYu Previouspost 【每周快報】0125-0207Azure服務更新 10/02/2020 Nextpost 【每周快報】0206-0212AWS服務更新 14/02/2020 Youmayalsolike 【焦點新聞｜MicrosoftBuild2022】 26月,2022 【焦點新聞】0428-0511AWS服務更新 135月,2022 【焦點新聞】0421-0427AWS服務更新 294月,2022 給我們的意見取消回覆 發佈留言必須填寫的電子郵件地址不會公開。

必填欄位標示為* 搜尋文章 搜尋關鍵字: 分類 AWSre:Invent特輯 MicrosoftIgnite特輯 人工智慧/機器學習 全部文章 基本概念 大數據 容器服務 新聞 無伺服器 物聯網 維運 資訊安全 最新文章 【焦點新聞｜MicrosoftBuild2022】026月2022 【焦點新聞】0512-0525AWS服務更新275月2022 【焦點新聞】0428-0511AWS服務更新135月2022 【焦點新聞】0421-0427AWS服務更新294月2022