纯净之家 > IT资讯

火山引擎DataTester：小改动带来大收益，A/B实验助力幸福里APP精准优化

更新日期：2023-05-16

来源：纯净之家

幸福里APP是抖音集团旗下开发运营的集内容、社区、工具于一体的房产信息综合平台，基于个性化推荐引擎向用户推荐优质的房产内容房源信息。本文将介绍幸福里APP应用火山引擎A/B测试DataTester完成产品体验优化，并解决实验流量过度曝光的案例。

幸福里APP在整理用户反馈时，发现了一个产品使用体验上的问题：用户在浏览房源详情页时，有时会遇到「切换头图」卡顿的情况。而对于房产APP的业务开展而言，尤其在新房、租房和二手房售卖业务上，APP详情页的头图展示是重中之重，C端的使用用户一般都会通过查看头图的图片、视频等内容，来对房屋情况进行预览，进而决定是否要继续进行咨询等操作。

针对「切换头图」卡顿的问题，幸福里APP决定新增一项技术优化：在展示头图图片时，将预先下载下一张图片，避免用户滑动时再开始下载，导致图片展示延迟;该项优化将通过火山引擎DataTester开启A/B实验，与优化前的版本进行对比，观测技术优化上线后的效果。

优化方向确认后，幸福里APP还有一个问题需要解决。由于APP详情页头图的位置入口相对较深，需要多次点击和跳转，针对比较深的入口开启A/B实验，有一个A/B实验的“坑”——实验流量过度曝光(Over Exposure)需要避开。实验流量过度曝光是指在开设实验时，由于实验入口位置较深，可能导致大量并没有体验到实验版本功能的用户被计入到了实验指标的分母中，导致指标值被稀释的情况叫做实验过度曝光。

幸福里APP在这里接入了DataTester SDK实验设置精准曝光，将“用户在进入新房、租房、小区、户型详情页时”设置为用户进组时机，达到对用户进组时机的精确把控。

火山引擎DataTester设有专门能力应对A/B实验过度曝光的场景，通过 SDK 开启实验的客户端，同样会在用户启动时从DataTester平台获取实验参数。然而在用户触达实验时，SDK 会以上报 vid 的方式向DateTester平台进行确认，DataTester收到确认后才会将该用户实际纳入最终指标的计算，从而从实验流量中过滤掉了没有实际触达实验的用户。

接下来，幸福里APP的A/B实验的技术优化方案是：

• 在展示头图图片时，预先下载下一张图片，避免滑动后再下载导致图片展示延迟

• 在显示一个图片时，先判断该图片是否下载成功优化

对照组为线上原有方案，实验组为技术优化方案，各赋予50%流量，在用户进入新房、租房、小区、户型详情页时触发实验曝光。

最终，DataTester的A/B实验结果显示，产品数据的提升超出了幸福里APP在实验设计时的预期。在优化方案上线后，用户看到头图的时间平均会缩短一半，幸福里房源曝光和点击、APP使用时长、用户留存及活跃天数，各项核心指标均有显著提升。幸福里研发人员在采访时说：“本身是一个小的技术优化，预期是提升用户体验，减少用户看见图片的等待时间，最终发现头图加载的优化也对大盘带来了正向的收益”。

根据这个方案的收益情况，幸福里也将此项技术优化推广进入了幸福里所有的业务线，同时也加入了产品的基础组件中。在最后，幸福里研发人员也分享了一些应用火山引擎DataTester开A/B实验的心得和体会：

1. 开实验前要明确实验类型、实验受众、曝光时机、技术指标统计口径等，避免实验不达预期要重开。

2. 实验指标数据不达预期时不要急，可以看看MDE值，拆维度(城市、新老用户、系统等)分析，可能会有意想不到的收获。

DataTester是火山引擎数智平台旗下产品，能够深度耦合推荐、广告、搜索、UI、产品功能等多种行业场景需求，为业务增长、转化、产品迭代，运营提效等各环节提供科学的决策依据，让业务真正做到数据驱动。目前，火山引擎DataTester已经服务了美的、得到、凯叔讲故事等在内的上百家标杆客户，将成熟的 " 数据驱动增长 " 经验赋能给各行业。