SDK核心能力
人脸互动与特效
依赖于人脸三维姿态的实时估计和高精度人脸关键点检测，实现三维动态场景和人脸的实时融合，可定义丰富的表情触发规则；并基于人脸皮肤运动跟踪能力，将AR特效与人脸皮肤深度融合，打造人脸美型、美妆、道具以及3D动画表情等丰富人脸特效。
了解SDK产品
肢体互动与特效
移动端实时肢体骨骼点/轮廓点检测，支持16点3D骨骼点、18点/59点2D关键点不同输出方式，跨平台兼容iOS/Android/Windows等主流终端设备，适用于肢体游戏或实时美体瘦身、全身特效等特效场景。
了解SDK产品
环境特效
完备的环境特效能力矩阵，包括人像分割、天空分割、头发分割、物体检测等多项算法能力，打造人像与虚拟环境的自然融合，支持人像背景替换、染发、天空特效、动画叠加及更多视频创意特效的组合。
DuMix AR SDK
| 能力类别 | 能力点 | 能力说明 |
|---|---|---|
| 界面 | UI界面自定义 | 不限制界面布局，可灵活自定义UI界面。 |
| 环境感知和跟踪 | 本地图像识别 | 通过本地相同图检索触发AR场景，本地部署方案约可支持1000张识别图。 |
| 云端图像识别 | 通过云端相同图检索触发AR场景，云端部署方案不限制识别片数量。 | |
| 图像跟踪(2D tracking) | 通过图片特征点实时检测，实现运动状态下的稳定跟踪。 | |
| 即时跟踪(单目SLAM) | 通过即时跟踪，实现实景中3D物品放置，用于虚拟形象和物品展示互动。 | |
| 空间方位感知(IMU) | 通过手机陀螺仪（IMU），实现手机姿态实时检测和周围空间方位的感知。 | |
| ARKit平面检测和跟踪 | iOS端支持调起ARKit能力，实现水平和竖直平面检测和跟踪。 | |
| AI人机交互和对话 | 语音识别 | 调起百度开放的语音识别能力，用于AR场景中识别用户的语音指令。 |
| 语音合成(TTS) | 调起百度开放的语音合成（TTS）能力，用于AR场景中文本信息转语音播报。 | |
| 3D互动和特效渲染 | 渲染系统 | 支持Pod/GLTF模型、图片、音视频、全景图等格式素材的渲染。 |
| 材质系统 | 支持Pod模型的phong材质效果，支持GLTF模型的PBR材质效果。 | |
| 动画系统 | 支持读取Pod/GLTF模型动画；支持模型刚体动画，包括平移、缩放、旋转等。 | |
| 粒子系统 | 支持粒子效果配置，实现樱花雨、孔明灯、喷火、云雾等粒子特效。 | |
| 滤镜系统 | 支持8*8色卡色彩风格滤镜，可按素材场景需求独立配置。 | |
| 互动系统 | 支持joystick虚拟摇杆，封装常用点击、划屏等手势功能，支持自定义触屏交互。 | |
| 物理系统 | 支持速度、加速度、力、碰撞检测、射线、刚体约束等能力，实现AR物理小游戏。 | |
| 音/视频播放 | 支持本地及网络音视频播放，格式包括mp3、mp4，以及HLS协议直播流。 | |
| 脚本系统 | 支持lua脚本开发，可基于API自定义逻辑处理、互动玩法等。 | |
| SDK基础功能 | 拍摄和录制 | 支持AR特效照片拍摄和微视频录制，可存储至本地相册或分享至社交网络。 |
| 机型屏蔽 | 反馈不支持机型信息，供客户端进行入口级或功能级屏蔽。 | |
| 外链跳转 | 支持配置URL外链。 |
| 能力类别 | 能力点 | 能力说明 |
|---|---|---|
| 人脸特效 | 人脸检测及跟踪 | 精准定位脸部150个特征点，实现大角度人脸姿态追踪，适应多种复杂光线，支持暗光、强光、曝光的自由转变 |
| 2D/3D人脸贴纸 | 实现丰富的2D/3D面部贴纸 | |
| 皮肤贴纸 | 精准贴合皮肤的贴纸 | |
| 人脸变形 | 可产生趣味性，搞怪性的形变，如翠花、外星人等 | |
| 表情动作触发 | 五官可触发动效，包括挑眉、眨眼、瞪眼、张嘴、点头等 | |
| 3D动画表情 | 运用人脸关键点识别与追踪将面部表情实时映射到动画形象 | |
| 多人脸 | 支持多张人脸同时使用人脸特效 | |
| 换脸 | 支持同框最多4人的不同人之间互相换脸互动 | |
| 美化及滤镜 | 支持美白/磨皮，大眼/瘦脸等 | 实现脸部美白/磨皮，大眼/瘦脸等效果 |
| 五官精准塑形 | 实时动态调节脸型、眼镜、嘴巴、五官比例，提供瘦脸、大眼、瘦鼻、瘦下巴等16种塑形效果 | |
| 精细化美妆 | 实现口红、眼影、眉毛、腮红、眼线、睫毛、美牙、双眼皮、美瞳功能 | |
| 头发染色 | 将头发与人脸、背景等进行区分，可支持纯色、渐变、粒子等头发染色效果 | |
| 支持自定义滤镜 | 支持多种滤镜的自定义和调节 | |
| 分屏 | 多屏效果呈现，比如四屏、三屏等并且加滤镜（每个切分的屏可以单独加不同滤镜）同时支持镜像对称效果和延迟效果 | |
| 风格迁移滤镜 | 模仿艺术作品等多种风格强烈的图像，将其风格效果迁移到相机实时拍摄画面中，达到独具风格的视觉效果 | |
| 手势肢体 | 多种手势实时检测 | 支持比V、点赞、OK、单手比心、食指比1、握拳、手掌、指尖点的检测和跟踪 |
| 手势特效 | 基于不同手势的特效和展示 | |
| 肢体特效 | 实时检测、跟踪肢体关节点，精准定位肢体各部位的动作，实现跺脚触发闪电，头顶乌云等效果。 | |
| 肢体小游戏 | 肢体小游戏：肢体切水果等 | |
| 环境特效 | 粒子特效 | 粒子特效能模拟现实中的雨、雪等自然景观以及光环、火焰等游戏特效，各种效果灵活可配置。 |
| 天空顶特效 | 360°空间氛围渲染 | |
| SLAM | 将模型直接放置在真实环境中，移动手机靠近模型时有近大远小的效果 | |
| 人像分割 | 将人体与环境进行分割，可以分别变换人体和环境特效 | |
| 天空分割 | 融合了场景分割 、场景定位、全景跟踪多项技术，实现了移动端的实时天空语义识别和分割，对天空区域进行动态的特效渲染 | |
| 物体特效 | 支持杯子等5种物体识别后出特效 |
| 能力类别 | 能力点 | 能力说明 |
|---|---|---|
| 美颜滤镜SDK 了解更多 | 基础美颜 | 提供美白、磨皮、大眼、瘦脸等基础美颜能力； |
| 基础滤镜 | 提供多样化的滤镜模板，支持各种类型的照片美化需求； | |
| 五官精准塑形 | 实时动态调节脸型、眼镜、嘴巴、五官比例，提供瘦脸、大眼、瘦鼻、瘦下巴等16种塑形效果； | |
| 人像背景分割 | 通过领先的AI算法，精准提取人物信息与背景进行分离，用于实现虚拟场景替换等特效玩法； | |
| 头发分割 | 发丝级轮廓精确识别，随心所欲变换各种发型/发色。 | |
| 3D物体跟踪SDK 了解更多 | 3D物体跟踪 | 领先的3D模型注册能力，实时稳定的物体跟踪技术，支持日常生活、工业环境下丰富纹理或弱纹理的3D物体跟踪。 |
| 3D肢体关键点SDK 了解更多 | 3D肢体关键点 | 通过普通单目摄像头输入RGB图像，输出人体16个核心关键点的三维坐标信息，实时检测跟踪并精准估算人体三维姿态。 |
| 人脸表情动捕驱动SDK 了解更多 | 人脸表情动捕驱动 | 基于人脸关键点重建三维人脸模型、头部姿态估计跟踪和表情动作捕捉技术，有效提升手机、在线教育、直播和短视频等行业的趣味性和丰富度，为匿名社交和分享创造更多可能性的同时保证了安全性，具有广泛的应用场景。 |
使用流程
1.创建应用授权
正式授权，需在百度云注册账号并完成实名认证
2.下载SDK
按照开发环境和所需选择下载DuMix AR SDK
3.跑通AR Sample
实现AR功能，跑通AR Sample
4.集成／部署APP
将DuMix AR SDK部署到您的APP
5.制作AR内容
进入AR内容平台进行内容制作和分发
友情提示：
每个百度账号限100个应用授权，授权可在SDK基础版和Unity版通用，授权接口为调起AR，每应用可免费调用100,000次/天。
授权成功后自动开通AR内容平台使用权限，基础版基于百度AR渲染引擎，免费提供AR内容编辑器，并可免费使用AR内容平台提供的内容存储和分发服务，无需开通百度云BOS存储和CSN内容分发服务，不保证并发。
如需商用提升调用次数和内容分发能力，可进行合作咨询，请发送邮件至ar_business@baidu.com邮箱，说明需求。
授权成功后自动开通AR内容平台使用权限，基础版基于百度AR渲染引擎，免费提供AR内容编辑器，并可免费使用AR内容平台提供的内容存储和分发服务，无需开通百度云BOS存储和CSN内容分发服务，不保证并发。
如需商用提升调用次数和内容分发能力，可进行合作咨询，请发送邮件至ar_business@baidu.com邮箱，说明需求。
开发文档
联系我们
扫描二维码
下载DuMix View App
确定
填写信息获取使用权限
*姓名／称呼
*联系方式
取消
提交后获得二维码
填写信息获取使用权限
Android版，iOS用户敬请期待
关闭
联系我们
*请选择您的身份
请选择
*请选择您想要了解的应用场景
请选择
*姓名／称呼
*联系方式
*邮箱地址
微信账号（选填）
*我们可以帮助您什么
带*为必填项
取消
提交
提交成功
提交失败