APP推广合作
联系“鸟哥笔记小乔”
【大佬讲坛】数据驱动增长-字节A/B实验揭秘(四)
2021-12-27 10:37:43

作者:张锦波

之前的三期,张锦波老师已经给我们带来关于火山引擎的精彩分享,本期重点讲述分享中的QA问答环节的内容。

QA

主持人:那么有问题的小伙伴可以在屏幕区打下你的问题,然后我们挑选三个问题进行“ QA 环节”的问题解答。在锦波老师讲座的过程中,我这边从后台已经收到一些问题,就先选中其中的几个问题,有请老师作解答。

问题1:目前的火山引擎对外(尤其是数据中台和智能套件)有什么业务?

张老师:火山引擎是字节跳动旗下的 ToB 品牌,它包含了从上层应用的 SaaS,中间层的 PaaS ,以及基础层的Laas 。综合来说,火山引擎是具备核心能力的对外输出和提供服务的平台。

先从 SaaS 层面来说,我们提供了就像讲座中提到的涉及营销管理的组合功能模块。包括我们的自动化营销的平台、关于测试实验的 AB 测试实验平台,以及用户行为分析、埋点治理的相关功能而形成的平台。还包含有,涉及全域的单个用户洞察旅程的相关的体系。

不仅如此,我们还提供了内容相关的服务,也会包含在我们的平台当中来提高用户的使用体验。关于这部分内容,如果展开来说,就比如是我们提供内容的定制服务、内容的管理、内容的分发和推送。甚至还有一些很有趣的玩法,与之相关的,比如,我们有一些 H5 或者是视频建站相关的一些工具和平台,还有包括基于 AI 算法的互动小工具,以及现在属于比较火热的,像虚拟形象的数字人 AR/VR 的一些相关的技术。同时,以及近期被大家所熟知的“元宇宙”,我们最近也收购了与“元宇宙”相关的技术,准备往这个方向输出相关的服务能力,给大家提供一些产品化方案化的能力。

那在中间的 pass 层。不知道大家是否了解字节跳动,这家公司的内部一直强调和秉承着一个小的业务前台,大的中台这样一个理念。所以,当我们面前对外输出时,我们会把自己内部沉淀多年的数据中台、 AI 的中台和研发技术的中台,将他们进行一定程度的封装之后,实现比较的效果以后,用来服务和影响我们的终端客户。


比如,我们也提供了AI-lab中台能力,包含音视频的,直播云的数据中台、研发技术的中台、算法的中台等等。在底层,包括我们的存储计算网络以及我们基于流量的像短信服务的一套的能力附着在火山引擎当中,实现了火山引擎完备的端到端的一站式的解决方案。不仅如此,在这过程当中,也为我们的用户提供更上层的基于行业、基于主题,或者是某些场景,提供方案和指导。

主持人:好的,还有一个同学问的可能稍微偏细节一点,看锦波老师这边能否回答一下,他问的是“流量是如何切分的,是选取某一天的百分之十?还是选取用户七天或者14天的进组数据?”

问题2:流量是如何切分的,是选取某一天的百分之十?还是选取用户七天或者14天的进组数据?

张老师:是这样的,关于测试实验用户流量的切分。建议是所切分中的流量能够尽可能多的覆盖整个用户场景。我们基本不建议说都是开 7 天甚至 14 天或者是更长时间以上。因为用户在他一天一周的这样一个时间周期内,往往他的行为模式是不同的,所以要收集全。

如此得到的数据,其实是一个累积进组的状态,在这样的场景下,我们对于流量的切分其实是有一个底层,遵循科学的随机分组的一个分流系统。在实验开始的时候,我们就会开启相关的配置。比如,实验中是配置 10% 或者是 20% 的流量,也可以选择其它的比例来做小流量的测试。那么我们也会选择满足整个全域流量的百分比用户数,比如,第一天新到的这个用户;比如,布控了我们自己实验代码的那个位置触发规则的相关用户。

一旦进行了实验,实现了曝光,那么这个时候会请求一次分流,我们会根据它本身 ID 信息,来判断具体落在了哪个分流桶里面,以及确定它是不是进入了实验,以及如果进到了实验里,具体是进哪一个实验组。然后,这个时候相应的对它进行实验策略的曝光。那这也是每一天新来的用户,通过这样的方式,我们就可以把它累积下来,然后去进行一个累积迭代的计算。

最开始的时候我们会分天计算,当然方式可能从整个数据科学层面来评价的话,会不是特别的完备,后续话我们更科学地优化了整个底层的统计策略,然后是按照累积的这种方式去计算每一天新进组的用户,和这些用户本身带过来的指标上的一些显著性的变化。

主持人:好的,还有一个用户比较有意思,他在问:“比如说在用户规模 DAU 为5000的情况下,AB测试实验是否还能体现出价值?”

问题3:比如说在用户规模 DAU 为5000的情况下,AB测试实验是否还能体现出价值?

张老师:其实,我们在最开始的时候也是遇到 DAU 非常少的情况,但是也是可以开启相关的一些实验的。但是说到底,确实,我们还是需要在大流量的情况下,才能更好够保证我们的抽样误差能够尽可能的更小一些。

如果在流量比较小,或者说样本比较少的情况下,有些实验的进行就会有出现一些问题。所以,我们会根据一些底层的统计策略,比如降方差等,然后同时也会有一些自动流量调优的方式,去持续和去探索我们最优化的一些策略,也会通过产品化的或底层统计策略的方式去帮助我们来处理这最开始的时候,在产品能启动的这个阶段,在 DAU 没那么高的情况下,能够尽快的拿到一些数据,这是都可以做到的。底层是有非常多统计算法、统计策略上的一些优化迭代和产品上在 AI 控流这个算法模型上的一些优化。

主持人:观众们比较热情,我最后再挑一个问题,也可能有一些 B 端的企业比较关心,这个问题是 “B 端企业的数据是否可以与火山引擎集成?如果集成都有哪些集成方式?”

问题4:B 端企业的数据是否可以与火山引擎集成?如果集成都有哪些集成方式?

张老师:在火山引擎的平台内关于企业的数据接入,平台上是已经提供了非常多的工具,支持平台接入各式各样的场景。比如。通过私有化部署等。我们的客户也是有不少来自这样的场景,希望通过平台来实现数据经营的闭环,通过套件实现量化分析,这其中用到的都是企业用户自己的数据。

比如说,通过企业用户的 SDK 埋点,采集到企业自有 App 上的数据,或者在自己的私域触点上采集到榜上的数据,在进行对应的数据加工、处理和治理之后形成数据产品的输出,比如用于经营分析的看板或者是报表。也就是说,我们保证了即使是在 SAAS 上的多租户的模式,各个不同的企业之间他们的数据的一个安全性和隔离性。那么我们同时也提供了这种 ocram 类似的私有化部署的方式,完全能够在我们整个用户自有的数据中心里面去做数据的流转,达到自主可控。

我是否可以这样理解这位提问的线上小伙伴的这个问题,其实他想问的是不是可以和自己的一些业务功能数据去做一些融合和打通,现在毕竟是“断直连”了,就有一些这种强监管的一些措施的出台。这确确实实是我们现在都需要认真考虑和面对的问题,我们也会通过向隐私计算或者联邦学习等方式去进行一些探索,会有这样的一些工具或者是能力在持续不断的输出和共创。

主持人:好的,由于时间的关系,我们QA环节就到这就结束了。然后大家如果还有问题,可以通过我们的的交流群继续进行交流。感谢张锦波老师的分享。

-END-

分享到朋友圈
收藏
收藏
评分

综合评分:

我的评分
Xinstall 15天会员特权
Xinstall是专业的数据分析服务商,帮企业追踪渠道安装来源、裂变拉新统计、广告流量指导等,广泛应用于广告效果统计、APP地推与CPS/CPA归属统计等方面。
20羽毛
立即兑换
一书一课30天会员体验卡
领30天VIP会员,110+门职场大课,250+本精读好书免费学!助你提升职场力!
20羽毛
立即兑换
顺丰同城急送全国通用20元优惠券
顺丰同城急送是顺丰推出的平均1小时送全城的即时快送服务,专业安全,准时送达!
30羽毛
立即兑换
一个数据人的自留地
数据人交流和学习的社区,关注我们,掌握专业数据知识、结识更多的数据小伙伴。
确认要消耗 0羽毛购买
【大佬讲坛】数据驱动增长-字节A/B实验揭秘(四)吗?
考虑一下
很遗憾,羽毛不足
我知道了

我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室“依法管网、依法办网、依法上网”的要求,为完善跟帖评论自律管理,为了保护用户创造的内容、维护开放、真实、专业的平台氛围,我们团队将依据本公约中的条款对注册用户和发布在本平台的内容进行管理。平台鼓励用户创作、发布优质内容,同时也将采取必要措施管理违法、侵权或有其他不良影响的网络信息。


一、根据《网络信息内容生态治理规定》《中华人民共和国未成年人保护法》等法律法规,对以下违法、不良信息或存在危害的行为进行处理。
1. 违反法律法规的信息,主要表现为:
    1)反对宪法所确定的基本原则;
    2)危害国家安全,泄露国家秘密,颠覆国家政权,破坏国家统一,损害国家荣誉和利益;
    3)侮辱、滥用英烈形象,歪曲、丑化、亵渎、否定英雄烈士事迹和精神,以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉;
    4)宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动;
    5)煽动民族仇恨、民族歧视,破坏民族团结;
    6)破坏国家宗教政策,宣扬邪教和封建迷信;
    7)散布谣言,扰乱社会秩序,破坏社会稳定;
    8)宣扬淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪;
    9)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序;
    10)侮辱或者诽谤他人,侵害他人名誉、隐私和其他合法权益;
    11)通过网络以文字、图片、音视频等形式,对未成年人实施侮辱、诽谤、威胁或者恶意损害未成年人形象进行网络欺凌的;
    12)危害未成年人身心健康的;
    13)含有法律、行政法规禁止的其他内容;


2. 不友善:不尊重用户及其所贡献内容的信息或行为。主要表现为:
    1)轻蔑:贬低、轻视他人及其劳动成果;
    2)诽谤:捏造、散布虚假事实,损害他人名誉;
    3)嘲讽:以比喻、夸张、侮辱性的手法对他人或其行为进行揭露或描述,以此来激怒他人;
    4)挑衅:以不友好的方式激怒他人,意图使对方对自己的言论作出回应,蓄意制造事端;
    5)羞辱:贬低他人的能力、行为、生理或身份特征,让对方难堪;
    6)谩骂:以不文明的语言对他人进行负面评价;
    7)歧视:煽动人群歧视、地域歧视等,针对他人的民族、种族、宗教、性取向、性别、年龄、地域、生理特征等身份或者归类的攻击;
    8)威胁:许诺以不良的后果来迫使他人服从自己的意志;


3. 发布垃圾广告信息:以推广曝光为目的,发布影响用户体验、扰乱本网站秩序的内容,或进行相关行为。主要表现为:
    1)多次发布包含售卖产品、提供服务、宣传推广内容的垃圾广告。包括但不限于以下几种形式:
    2)单个帐号多次发布包含垃圾广告的内容;
    3)多个广告帐号互相配合发布、传播包含垃圾广告的内容;
    4)多次发布包含欺骗性外链的内容,如未注明的淘宝客链接、跳转网站等,诱骗用户点击链接
    5)发布大量包含推广链接、产品、品牌等内容获取搜索引擎中的不正当曝光;
    6)购买或出售帐号之间虚假地互动,发布干扰网站秩序的推广内容及相关交易。
    7)发布包含欺骗性的恶意营销内容,如通过伪造经历、冒充他人等方式进行恶意营销;
    8)使用特殊符号、图片等方式规避垃圾广告内容审核的广告内容。


4. 色情低俗信息,主要表现为:
    1)包含自己或他人性经验的细节描述或露骨的感受描述;
    2)涉及色情段子、两性笑话的低俗内容;
    3)配图、头图中包含庸俗或挑逗性图片的内容;
    4)带有性暗示、性挑逗等易使人产生性联想;
    5)展现血腥、惊悚、残忍等致人身心不适;
    6)炒作绯闻、丑闻、劣迹等;
    7)宣扬低俗、庸俗、媚俗内容。


5. 不实信息,主要表现为:
    1)可能存在事实性错误或者造谣等内容;
    2)存在事实夸大、伪造虚假经历等误导他人的内容;
    3)伪造身份、冒充他人,通过头像、用户名等个人信息暗示自己具有特定身份,或与特定机构或个人存在关联。


6. 传播封建迷信,主要表现为:
    1)找人算命、测字、占卜、解梦、化解厄运、使用迷信方式治病;
    2)求推荐算命看相大师;
    3)针对具体风水等问题进行求助或咨询;
    4)问自己或他人的八字、六爻、星盘、手相、面相、五行缺失,包括通过占卜方法问婚姻、前程、运势,东西宠物丢了能不能找回、取名改名等;


7. 文章标题党,主要表现为:
    1)以各种夸张、猎奇、不合常理的表现手法等行为来诱导用户;
    2)内容与标题之间存在严重不实或者原意扭曲;
    3)使用夸张标题,内容与标题严重不符的。


8.「饭圈」乱象行为,主要表现为:
    1)诱导未成年人应援集资、高额消费、投票打榜
    2)粉丝互撕谩骂、拉踩引战、造谣攻击、人肉搜索、侵犯隐私
    3)鼓动「饭圈」粉丝攀比炫富、奢靡享乐等行为
    4)以号召粉丝、雇用网络水军、「养号」形式刷量控评等行为
    5)通过「蹭热点」、制造话题等形式干扰舆论,影响传播秩序


9. 其他危害行为或内容,主要表现为:
    1)可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好影响未成年人身心健康的;
    2)不当评述自然灾害、重大事故等灾难的;
    3)美化、粉饰侵略战争行为的;
    4)法律、行政法规禁止,或可能对网络生态造成不良影响的其他内容。


二、违规处罚
本网站通过主动发现和接受用户举报两种方式收集违规行为信息。所有有意的降低内容质量、伤害平台氛围及欺凌未成年人或危害未成年人身心健康的行为都是不能容忍的。
当一个用户发布违规内容时,本网站将依据相关用户违规情节严重程度,对帐号进行禁言 1 天、7 天、15 天直至永久禁言或封停账号的处罚。当涉及欺凌未成年人、危害未成年人身心健康、通过作弊手段注册、使用帐号,或者滥用多个帐号发布违规内容时,本网站将加重处罚。


三、申诉
随着平台管理经验的不断丰富,本网站出于维护本网站氛围和秩序的目的,将不断完善本公约。
如果本网站用户对本网站基于本公约规定做出的处理有异议,可以通过「建议反馈」功能向本网站进行反馈。
(规则的最终解释权归属本网站所有)

我知道了
恭喜你~答对了
+5羽毛
下一次认真读哦
成功推荐给其他人
+ 10羽毛
评论成功且进入审核!审核通过后,您将获得10羽毛的奖励。分享本文章给好友阅读最高再得15羽毛~
(羽毛可至 "羽毛精选" 兑换礼品)
好友微信扫一扫
复制链接