能力类别 | 能力点 | 能力说明 |
---|---|---|
界面 | UI界面自定义 | 不限制界面布局,可灵活自定义UI界面。 |
环境感知和跟踪 | 本地图像识别 | 通过本地相同图检索触发AR场景,本地部署方案约可支持1000张识别图。 |
云端图像识别 | 通过云端相同图检索触发AR场景,云端部署方案不限制识别片数量。 | |
图像跟踪(2D tracking) | 通过图片特征点实时检测,实现运动状态下的稳定跟踪。 | |
即时跟踪(单目SLAM) | 通过即时跟踪,实现实景中3D物品放置,用于虚拟形象和物品展示互动。 | |
空间方位感知(IMU) | 通过手机陀螺仪(IMU),实现手机姿态实时检测和周围空间方位的感知。 | |
ARKit平面检测和跟踪 | iOS端支持调起ARKit能力,实现水平和竖直平面检测和跟踪。 | |
AI人机交互和对话 | 语音识别 | 调起百度开放的语音识别能力,用于AR场景中识别用户的语音指令。 |
语音合成(TTS) | 调起百度开放的语音合成(TTS)能力,用于AR场景中文本信息转语音播报。 | |
3D互动和特效渲染 | 渲染系统 | 支持Pod/GLTF模型、图片、音视频、全景图等格式素材的渲染。 |
材质系统 | 支持Pod模型的phong材质效果,支持GLTF模型的PBR材质效果。 | |
动画系统 | 支持读取Pod/GLTF模型动画;支持模型刚体动画,包括平移、缩放、旋转等。 | |
粒子系统 | 支持粒子效果配置,实现樱花雨、孔明灯、喷火、云雾等粒子特效。 | |
滤镜系统 | 支持8*8色卡色彩风格滤镜,可按素材场景需求独立配置。 | |
互动系统 | 支持joystick虚拟摇杆,封装常用点击、划屏等手势功能,支持自定义触屏交互。 | |
物理系统 | 支持速度、加速度、力、碰撞检测、射线、刚体约束等能力,实现AR物理小游戏。 | |
音/视频播放 | 支持本地及网络音视频播放,格式包括mp3、mp4,以及HLS协议直播流。 | |
脚本系统 | 支持lua脚本开发,可基于API自定义逻辑处理、互动玩法等。 | |
SDK基础功能 | 拍摄和录制 | 支持AR特效照片拍摄和微视频录制,可存储至本地相册或分享至社交网络。 |
机型屏蔽 | 反馈不支持机型信息,供客户端进行入口级或功能级屏蔽。 | |
外链跳转 | 支持配置URL外链。 |
能力类别 | 能力点 | 能力说明 |
---|---|---|
人脸特效 | 人脸检测及跟踪 | 精准定位脸部150个特征点,实现大角度人脸姿态追踪,适应多种复杂光线,支持暗光、强光、曝光的自由转变 |
2D/3D人脸贴纸 | 实现丰富的2D/3D面部贴纸 | |
皮肤贴纸 | 精准贴合皮肤的贴纸 | |
人脸变形 | 可产生趣味性,搞怪性的形变,如翠花、外星人等 | |
表情动作触发 | 五官可触发动效,包括挑眉、眨眼、瞪眼、张嘴、点头等 | |
3D动画表情 | 运用人脸关键点识别与追踪将面部表情实时映射到动画形象 | |
多人脸 | 支持多张人脸同时使用人脸特效 | |
换脸 | 支持同框最多4人的不同人之间互相换脸互动 | |
美化及滤镜 | 支持美白/磨皮,大眼/瘦脸等 | 实现脸部美白/磨皮,大眼/瘦脸等效果 |
五官精准塑形 | 实时动态调节脸型、眼镜、嘴巴、五官比例,提供瘦脸、大眼、瘦鼻、瘦下巴等16种塑形效果 | |
精细化美妆 | 实现口红、眼影、眉毛、腮红、眼线、睫毛、美牙、双眼皮、美瞳功能 | |
头发染色 | 将头发与人脸、背景等进行区分,可支持纯色、渐变、粒子等头发染色效果 | |
支持自定义滤镜 | 支持多种滤镜的自定义和调节 | |
分屏 | 多屏效果呈现,比如四屏、三屏等并且加滤镜(每个切分的屏可以单独加不同滤镜)同时支持镜像对称效果和延迟效果 | |
风格迁移滤镜 | 模仿艺术作品等多种风格强烈的图像,将其风格效果迁移到相机实时拍摄画面中,达到独具风格的视觉效果 | |
手势肢体 | 多种手势实时检测 | 支持比V、点赞、OK、单手比心、食指比1、握拳、手掌、指尖点的检测和跟踪 |
手势特效 | 基于不同手势的特效和展示 | |
肢体特效 | 实时检测、跟踪肢体关节点,精准定位肢体各部位的动作,实现跺脚触发闪电,头顶乌云等效果。 | |
肢体小游戏 | 肢体小游戏:肢体切水果等 | |
环境特效 | 粒子特效 | 粒子特效能模拟现实中的雨、雪等自然景观以及光环、火焰等游戏特效,各种效果灵活可配置。 |
天空顶特效 | 360°空间氛围渲染 | |
SLAM | 将模型直接放置在真实环境中,移动手机靠近模型时有近大远小的效果 | |
人像分割 | 将人体与环境进行分割,可以分别变换人体和环境特效 | |
天空分割 | 融合了场景分割 、场景定位、全景跟踪多项技术,实现了移动端的实时天空语义识别和分割,对天空区域进行动态的特效渲染 | |
物体特效 | 支持杯子等5种物体识别后出特效 |
正式授权,需在百度云注册账号并完成实名认证
按照开发环境和所需选择下载DuMix AR SDK
实现AR功能,跑通AR Sample
将DuMix AR SDK部署到您的APP
进入AR内容平台进行内容制作和分发