美团O2O广告营销中的机器学习技术
总第274篇
2018年 第66篇
AI(人工智能)技术已经广泛应用于美团的众多业务,从美团App到大众点评App,从外卖到打车出行,从旅游到婚庆亲子,美团数百名最优秀的算法工程师正致力于将AI技术应用于搜索、推荐、广告、风控、智能调度、语音识别、机器人、无人配送等多个领域,帮助美团数亿消费者和数百万商户改善服务和体验,帮大家吃得更好,生活更好。
基于AI技术,美团搭建了世界上规模最大,复杂度最高的多人、多点实时智能配送调度系统;基于AI技术,美团推出了业内第一款大规模落地的企业应用级语音交互产品,为50万骑手配备了智能语音系统;基于AI技术,美团构建了世界上最大的菜品知识库,为200多万商家、3亿多件商品绘制了知识图谱,为数亿用户提供了精准的用户画像,并构建了世界上用户规模最大、复杂度最高的O2O智能推荐平台。
美团这个全球最大生活服务互联网平台的“大脑”是怎么构建的?我们已经连续发表数篇“AI in 美团”系列文章,希望给大家全面揭开各项技术的内幕(文末附有链接)。
另外,业界第一部全面讲述互联网机器学习实践的图书《美团机器学习实践》也即将上市,敬请期待,本文选自书中第十一章。
背景
美团作为国内最大的在线本地生活服务平台,覆盖了餐饮、酒店、旅行、休闲娱乐、外卖配送等方方面面生活场景,连接了数亿用户和数百万商户。如何帮助本地商户开展在线营销,使得他们能快速有效地触达目标用户群体提升经营效率,是美团的核心问题之一,而机器学习相关技术在本地在线营销场景下发挥着非常关键作用。
本文将从5个方面来介绍。首先,介绍O2O场景下广告业务的特点,及其与B2B和B2C广告业务的差别;其次,从商户效果感知、用户体验和媒体平台收益三个维度,介绍O2O广告业务的最重要的考量指标;第三,从前两节阐述的业务特点和考量指标出发,介绍O2O场景下在线广告营销的机制设计;第四,介绍O2O特有的实时场景化下的推送广告;最后,简要介绍O2O广告系统相关的工具。
O2O场景下的广告业务特点
在O2O业务模式和相关的平台崛起之前,大品牌的商家由于收入规模大、营销费用充分,为了提升品牌知名度依靠如下的途径开展宣传:传统媒体(如电视、广播、报纸);互联网流量(如传统搜索引擎、门户网站等);户外广告(如公交地铁车身、广告牌、灯箱等)。通过上述媒介,商户能快速接触大量的用户,宣传品牌的形象。上述营销方式也有其局限。首先广告投放的资金门槛较高,营销预算有限的商户无法承担相关费用;其次对于以直接效果为导向的商家来说,上述投放形式过于粗放且无法形成直接的购买转化效果闭环。
对于大多数的中小商家来说,他们营销预算有限且更加注重直接的购买转化,获取潜在客户的主要途径是散发传单、派发礼物、沿街喇叭广告。但是,这些线下的营销手段覆盖到的潜在消费者较为有限,并且这些方式无法长期持续开展。
以美团为代表的O2O本地生活服务平台快速成长壮大,逐渐成为广大本地服务商户在线营销的最重要的手段之一。美团平台上聚集了上亿的消费者,他们使用平台寻找商家、查询优惠信息、浏览评论。对于商户而言,他们是最直接的潜在消费者。通过在美团平台开展在线营销,商户能够获得更多的展示机会吸引更多客户到店消费。借助于便利的在线咨询、预定和支付手段,平台上的广告业务可以形成了效果闭环,商户能清晰准确掌握广告投放的效果并以此优化广告投放策略。
对于美团而言,平台可以基于对用户大数据的挖掘和分析,在由时间、地点、用户和关系构成的特定场景下,连接用户线上和线下行为,理解并判断用户情感、态度和需求,为用户提供实时、定向、创意的信息和内容服务。
O2O场景下的在线营销广告相较于传统的B2C和B2B商业模式下的广告有其独特属性,独特性主要体现在移动化、本地化、场景化以及多样性4个维度。
随着宽带无线接入技术和移动终端技术的飞速发展,人们逐渐开始使用手机等移动设备随时随地从互联网上获取信息和服务。在这个时代,无论是新闻阅读、社交通信还是电子购物,人们都习惯于通过手机应用来直接满足自身的需求。事实上,美团在移动互联网发展的初期就主动适应了这一历史潮流,大力发展移动服务能力,目前已经有超过90%的交易行为是通过移动互联网服务达成的。O2O广告作为连接人和服务的本地化生活服务营销模式,它有鲜明的移动化和本地化的特点。
- 移动化。它主要体现在精确性、即时性和互动性三个方面。通过移动设备的传感器,我们能精确了解用户所处的地理位置,推送更加精准的广告。绝大多数用户随时都把手机带在身边,所以广告信息能及时推送给用户。功能强大的各种移动应用,为广告提供了多种互动可能性,例如在美团App上,用户直接可以完成推广商户的信息查询、排队和交易。
- 本地化。以转化效果为导向的O2O广告营销,营销的目标用户是提供服务的本地商户附近的人群。在淘宝上,一双皮鞋可以对全国的用户开展推广和售卖,无论消费者在何地,物流和快递都会准确地把货物送达到消费者的手上。而在美团上,一家在五道口的火锅店最佳的推广对象是五道口附近的食客,这些食客才最有可能直接到火锅店来消费。实际上,通过观测实际的交易数据,我们发现超过90%的交易中用户和商户的距离小于3公里。营销活动要取得好的效果,必须针对性地选择目标群体,在O2O广告中目标群体就是本地化的用户人群。移动设备的精确定位为商户发现目标人群提供了保证。
- 场景化。消费者、移动设备、时间、空间构成了用户消费需求的精准场景。PC时代,用户的标识以Cookie为载体,但Cookie极易清除,同时一台电脑可能会被多人使用,这导致用户信息很难有效串联,连受众年龄、居住地等基础信息都无法准确把握。而在移动互联网时代一机一人的模式下,通过分析和挖掘用户在平台上留下的各种行为足迹,我们能对用户方方面面的属性和偏好进行解析和重构,产出十分精准的用户画像。在了解用户的地理位置、消费意图和行为轨迹等用户信息前提下,O2O广告营销能在由时间、地点、用户和需求构成的特定场景下,为用户提供实时、定向和富有创意的营销内容,连接用户线上和线下的行为。例如在一个阳光明媚的下午,对一个在CBD上班并有喝下午茶习惯的白领,平台可以适时地推送下午茶或者咖啡店商户。
- 多样性。O2O商业模式面对的是各式各样的本地生活服务业务,不同的业务有着不同的特点,并对O2O广告营销也提出了不同的需求。举个简单的例子,不同的服务业务对目标用户的本地性要求也大相径庭:餐饮类服务对距离比较敏感,这一类服务商家的目标用户群体是商户周边的食客;婚纱摄影类服务对距离就没那么敏感了,这一类服务商家的目标群体是全城的新婚夫妇。
商户、用户和平台三者利益平衡
广告系统和搜索系统、推荐系统,有着十分相似的系统架构:它们大都采用了检索加排序的流程体系。基于这一点,有很多人认为广告业务和搜索推荐业务没有区别。实际上,广告业务有其独特规律。广告首先是一项商业活动,它的出现远远早于互联网。作为一种商业活动,商户、消费者和媒体平台三者的利益都要被重视和考虑,这些利益指标是广告业务得以可持续健康发展的启明灯。本节将从商业活动的角度出发,分析美团O2O广告营销中的商户效果感知、用户体验和平台收益这三项重要指标。
商户效果感知
商户在美团广告平台上进行广告营销的根本目的,是通过美团触达更多的潜在消费者,获得最大的增量利益。
本地生活服务类型的商家的成本可以分为两个部分:变动成本和固定成本。变动成本是随着业务量变动而线性变动的成本,主要来自原料消耗。而固定成本是在一定时期内是不会随着业务量的改变而改变的成本,如门面装修的投入、店铺的租金、店铺服务人员的基本工资等。商户如果没有足够的业务量,不能招揽足够多的消费者,则单位业务量的成本会居高不下,导致严重亏损。因此,对于餐饮行业,商家的首要目标是提升翻桌率、减小空座率,而对于酒店行业,商家的首要目标是提升满房率、减少空房情况。固定成本的存在是本地商户开展O2O广告营销的基本前提。
从商户的角度出发,O2O广告营销的效果可以从三个维度来衡量:广告的可见性、广告带来的线上增量收益和广告带来的整体增量收益。
对于商户来说,可见性是最初步且最直接的营销结果,是商户得到的最快的效果反馈。广告的可见性表示商户的营销信息已经开始通过媒体平台去触达潜在的消费群体。因此,稳定可靠的广告展现预期是赢得广大商户对O2O广告营销信任的最基础要求。
广告带来的线上增量收益是指通过在美团等媒体平台上的广告投放带来的线上收益。这一部分收益可以分为两类:一类是直接的在线订单带来的收入,例如团购、酒店预订等;另一类则是在线预约等非直接交易带来的收益。对这一部分收益,平台方能给出准确的统计、分析并反馈给广告商户。对于外卖、婚纱摄影和酒店旅游等对线上流量、线上交易依附度很高的行业来说,它们的线上收益占整体收益的比例非常大,这个比例直接反映了商户的经营活动的状况。
除了直接使用在线交易,用户使用美团的另一种场景是通过平台查看商户菜品、评价和地理位置等信息,然后直接到店进行消费。广告给商户带来的整体增量收益即包含了这部分离线客户引流带来的收益。餐饮类的商户的线上交易只占门店整体收益的一小部分,因此,对广告效果的衡量需要综合考虑在线和离线两部分收益。离线引流部分收益相对于在线交易收益较难准确统计,但是平台可以通过用户的实时地理位置准确统计部分用户的到店情况,或者通过曝光、点击至到店的数据漏斗模型对到店数据进行估计。未来随着电子化支付方式的普及,平台将能更好地对商户的整体收益进行统计。
了解了O2O广告营销效果的主要衡量指标后,要确定商户的广告投放成本是否真的较低,需要用到投入产出比(Return over Investment,ROI)这一常用的评价指标,即某次广告活动的总产出与总投入的比例。对应于两种广告收益指标,ROI也可以分为在线支付ROI和整体ROI:在线支付ROI等于在线增量交易额除以广告费消耗,整体支付ROI等于整体门店收入增量除以广告费消耗。在广告费预算有限的情况下,商户总是寻求优化广告投放,提升ROI。
用户体验
有效地保障用户体验,是美团开展O2O广告营销的基本前提条件。平台只有保障用户体验、对用户有用,它的价值才能得到体现。美团通过让更多的用户留存并活跃在平台上,才能吸引更多的本地生活服务商户来进行广告投放,才能生成更大的流量用以广告变现。
美团主要从短期和长期两个维度来进行用户体验指标的设计和度量。从信息曝光、用户点击和用户交易这个用户行为漏斗出发,短期用户体验指标主要考虑了点击和交易情况。第一个短期用户体验指标是点击率(Click through Rate,CTR),其数学表达为点击次数(Click)除以曝光次数(Impression)。
点击率反映了给用户展示的商户信息的质量和相关性,与用户意向无关的、与用户所处时间地点场景不匹配的广告信息展示,不能满足用户的需求、吸引用户的点击,从而导致较低的点击率。点击率这一指标又细分为广告曝光的点击率和整体页面的点击率,前者度量了广告本身的优劣,后者反映了广告对整体信息呈现效果(自然结果加广告结果)的影响。劣质的广告除自身点击率较低之外,还会搅扰用户整体浏览行为,使得用户不能愉悦获取需要的本地生活服务信息。
CTR=点击次数/曝光次数
为了获得真实的曝光,一般会在移动端进行埋点监控每个POI在手机屏幕上实际展现的比例和时间,将超过一定展示比例和时间阈值的POI纳入曝光次数的统计。
第二个短期用户体验指标是转化率(Conversion Rate,CVR),其数学表达为交易次数(Order)除以点击次数(Click)。转化率同样反映了商户信息展示的相关性和质量,和用户需求不相匹配的商户展示将不能促成交易的达成,从而导致较低的转化率。和点击率指标类似,转化率指标亦可分为广告转化率和整体页面转化率。其中广告转化率还和商户的在线交易ROI成正比,准确有效的广告投放,不仅可以提升用户体验,还能提升商户的ROI。
CVR = 交易次数/点击次数
长期用户体验指标以更长的时间跨度为出发点,评价广告对用户的长期持续影响。长期用户体验指标主要包括回访率和复购率两个指标。回访率是一个反映用户长期留存的指标,其意义为一定时期内用户是否还会重新登录和使用美团平台。回访率指标包括周回访率、月回访率等。
低质量的广告投放,搅扰了用户使用平台方便获取商户信息的感受和体验,使得用户脱离平台以致流失,从而导致回访率降低。复购率则反映了用户消费体验的指标,其意义是一定时期内用户是否会重新购买某一个商家的服务。同样,低质量的商户服务会损害了用户的消费体验,使得用户不再进行同样的消费,进而导致了复购率的下降。
为了准确衡量广告投放带来的用户体验影响,除了进行策略变更对比测试之外,平台会长期保留一小部分流量作为对照组,不对这部分用户开展广告投放,通过比较整体流量和对照组上相关用户体验指标的差异,来确定广告对用户体验的长期影响,进而督促和指导平台优化广告投放策略。
平台收益
美团作为媒体平台的目标是,在保障商户ROI和用户体验的情况下,优化流量变现效率,实现商户营销诉求和用户消费诉求的最佳连接。
前两节已经介绍了商户ROI和用户体验的基本概念。我们知道只有保障商户的ROI,才会有更多的商户、更多的预算进入到广告投放系统内;只有保障用户的体验,才会有更多的用户、更多的流量用于广告变现。这两者决定了广告业务这一块奶酪的大小。
流量变现效率衡量单位流量所能带来广告收益。对于展示广告业务,流量变现效率主要用千次广告展示收益(Revenue per Mille,RPM)来表示。对于搜索广告,流量变现效率主要用单次搜索广告收益(Revenue per Search,RPS)来表示。
从流量供给端来看,广告收入(Revenue)是广告曝光次数、点击率和点击单价(CPC)的乘积;从流量需求端来看,广告收入是广告主数量和每用户平均收入(Average Revenue Per User,ARPU)的乘积。在广告商户数、预算和流量情况稳定的前提条件下,流量变现效率的提高主要通过点击率和点击单价两个关键指标驱动,而这两个指标的良性提高依赖于广告投放的机制设计和投放算法,详细内容将在下文展开陈述。
O2O广告机制设计
前面介绍了美团O2O广告营销的特点,分析了商户、用户和平台三者的利益情况。本节将从上述特点和利益情况出发,阐述美团实际业务中O2O广告机制的设计原理,包括广告位设定、广告召回机制和广告排序机制。
广告位设定
在移动端,美团的自然结果以列表的样式进行信息呈现,而广告占用列表中的固定位置(区间浮动固定位置)进行展现。从商户的效果感知角度出发,固定位广告形式能给商户以较为确定的广告展现预期,使得商户有明确的竞价标的(即固定展现位置)。
广告位的设定,需要综合考虑和平衡商户、用户和平台三者的利益关系。过于密集的广告位置设计和广告展现会降低用户寻找商户信息的效率,影响用户使用体验。过于稀疏的广告位置设计导致广告展现机会过少,导致平台流量变现效率能力不足。头部广告位对用户体验影响较大,但是能获取更多的曝光,更有价值,更能激发商户的出价意愿。腰尾部广告位对用户体验影响较小,但是广告位曝光概率小,不能有效刺激商户出价。
美团的实际广告位设定,一方面考虑了各个展位和业务的自身特点,另一方面通过A/B测试进行多种方案的比较和选择,最终选择能有效兼顾用户体验、商户效果和平台收入的设计方案。
广告召回机制
广告召回在技术上与搜索和推荐十分相似。搜索场景广告会使用用户的查询词去广告商户索引中去寻找匹配的商户,推荐场景广告会根据用户的意图、位置等场景信息去匹配合适的商户。
搜索广告匹配中,一项重要技术是查询改写。一方面,我们使用传统的自然语言处理方法,对查询进行有效分析(例如成分分析),完成同义和近义改写;另一方面,我们使用深度语义相似度神经网络模型(DSSM)和序列到序列模型(Sequence to Sequence)进行查询的改写,进一步提升广告匹配的覆盖率和准确性。
针对O2O商业模式的特点和广告业务各方的利益,广告召回机制在传统搜索推荐召回机制基础上进行了优化改进。我们在召回中引入了逐层召回的理念,各层依次设置由紧到松的相关性水准(Match Level)控制召回广告的质量,在当前相关性水准已经召回足够数量广告候选的情况下,不再进行后续召回。
相关性水准考虑多种相关性因素:查询匹配模式、距离和星级等。例如针对Query匹配模式,广告召回时会优先使用Query精确匹配模式召回,其次选择模糊匹配模式,最后才尝试采用语义匹配模式。针对距离因素,广告召回会优先召回距离3公里内的商户,其次选择5公里内的商户,最后尝试全城召回。
相关性水准的设置应该充分考虑到不同O2O业务的特点。例如距离的设置上,对于餐饮类流量,系统会优先召回3公里内的商户,而对于距离相对不敏感的婚纱摄影类流量,系统则会放宽限制,优先召回10公里内的商户,或者直接采用全城召回策略。
广告排序机制
和传统的搜索广告业务一样,美团的广告是按点击计费(Cost Per Click,CPC)广告,广告主依据广告的点击价值进行出价(bid),广告系统按照RankScore(RankScore为出价和广告质量度的乘积)进行广告排序。在广告系统中,广告质量度一般用广告的预估点击率来衡量。
广告按照RankScore排序后,会依据广义第二价格(Generalized Second Price)进行计费。
由此可知,准确的预测广告的点击率是保障广告收入和用户体验的前提。广告点击率预估问题是一个典型的监督机器学习问题,它的目标是在给定广告商户、用户和查询上下文的前提下准确预测点击行为发生的概率。这个监督学习问题的特征我们用x表示,目标用y∈{1,-1}表示(广告曝光后获得点击为1,否则为-1)。通过收集线上的广告曝光和点击日志,我们可以获得大量的标注样本{(?i,?i)}作为监督学习的训练数据。
我们使用参数模型拟合这个概率:
其中,?监督学习问题即是搜索?使得目标损失函数最小的一个优化问题:
其中,?(?, ?(?, ?))是模型的损失函数,在点击率预估问题中一般使用负Log似然函数(Negative Log-Likelihood)作为损失函数。优化问题(公式1)是原始的点击率预估问题,优化问题(公式2)引入了正则项?(?),用以控制模型的复杂度,防止模型过拟合。此外当我们选择L1范数作为正则项的时候,我们能获得稀疏解,缩减模型大小,进而减少线上服务加载模型的内存需求,提升模型的预测速度。下面我们简要介绍几种常用的点击率预估模型。
逻辑回归模型
逻辑回归模型是广泛应用的点击率预估模型,它是一种线性模型,相应的优化问题有非常好的性质。它是一个无约束的凸优化问题,有全局唯一的最优解。它支持大规模的特征,通过常用的梯队方法能较快收敛到最优解。逻辑回归模型的可解释性十分优良,通过特征对应的权重我们能很好分析各个特征的重要性以及它们对点击率的影响关系。
逻辑回归也有它的劣势:首先,作为线性模型,它的表达能力相对较弱,需要通过大量的特征工程工作(例如,特征组合)来弥补和提升模型的表达能力;其次,它需要进行大量的特征预处理工作,例如特征归一化、离散化等。
逻辑回归作为基础模型和其他模型相结合,扬长避短,充分发挥其作用。例如逻辑回归和梯度提升决策树结合,通过梯度提升决策树解决特征离散化和特征组合问题,并充分发挥逻辑回归对大规模特征的支持和良好的优化问题性质。
因子分解机FM模型和场感知因子分解机FFM模型
FM模型和FFM模型是非线性模型,它们对特征进行两两组合,提升了模型的表达能力。此外FM和FFM模型都对特征进行向量化的表达和学习(Wi,Wi,fj)提升模型的泛化能力。FFM相对于FM引入了域的概念,在FM中特征i和其他特征组合用的是同一个向量表示,而在FFM中特征i和不同域的特征组合会使用不同的向量表示,进一步提升了模型的复杂度和表达力。
人工神经网络(Artificial Neural Network,ANN)
近几年神经网络模型强势复兴,以深度神经网络为代表的方法,在图像识别、语音识别以及自然语言处理等领域超越传统浅模型,取得了突破性的进展。在点击率预估这个任务上,最近也涌现出一批深度神经网络模型,取得了明显的效果,其中典型的模型是Wide & Deep模型。
Wide & Deep模型包含Wide和Deep两个部分。Wide部分可以类比逻辑回归模型,能对相关特征的作用进行很好的记忆。Deep部分类似FM模型和FFM模型,它们都对相关特征进行了向量化的表示(Embedding)和学习,但是Deep部分通过复杂的网络结构可以表达更复杂的特征交互和组合关系,提供了更好的泛化能力和表达力。
梯度方法是模型的优化(优化问题的求解)的基础方法。公式3是使用标准梯度方法求解点击率预估优化问题公式1的迭代步骤。在点击率预估问题中,由于训练样本数量庞大(十亿、百亿),直接应用公式3计算量巨大,迭代速度受限。因此在点击率预估问题中,我们一般使用随机梯度下降法(Stochastic Gradient Descent,SGD)进行问题求解。在SGD方法(公式4)中,我们使用一小部分样本上的梯度对整体优化目标的梯度进行近似估计,加快参数迭代速度。其中b是样本集合大小,当b=1时,我们用单样本的梯度来近似整体目标函数的梯度值。
在美团我们使用参数服务器框架(Parameter Server)实现模型并行和数据并行,以解决包含大规模训练数据和特征的复杂模型求解问题,如图1所示:
特征工程方面,点击率预估特征主要从广告、用户和查询这三个方面来挖掘和刻画广告展现场景(见图2),特征需要包含影响点击率的方方面面,是模型成败的重要因素。特征的选取需要从业务场景出发。在O2O场景下,一个影响点击率的重要特征就是商户和用户之间的距离。
O2O推送广告
在O2O场景下,除了搜索推荐广告,推送广告也非常重要。推送广告就是媒体在合适的时机将合适的广告以消息的形式推送给合适的人群。推送广告的主要目标是:提升用户活跃度、实现人群精准触达。美团注册用户有3.5亿,但是日活跃用户只有3000万,年活跃用户也只有1亿,还有很大一部分用户平时不登录美团App,或者登录次数很少。给这部分用户推送广告,引导用户打开App,有助于提高用户活跃度。
另一方面,推送广告通过丰富的人群定向,实现精准投放。要实现精准触达,需要做到两点:有完整的用户画像,用户画像包含属性标签、偏好标签和行为标签,我们以此来判断用户对广告的兴趣;智能匹配技术,将广告精准定位到合适的用户上。
推送广告的特点是:主动触达、用户意图不明确。理论上来说,推送广告可以在任意时间给任意用户推送任意广告,而搜索广告只能在用户搜索或者筛选的时候给用户展示广告。但推送广告的劣势是用户意图不明确,而搜索广告具有搜索词或者明确的筛选条件,这些都是明确的用户意图。所以相比搜索广告,推送广告更需要精准的受众定向。
受众定向
常用的定向方式有下面几种:
- 时间定向。时间定向能够让品牌根据消费者行为、营业时间,甚至是季节性活动或特殊事件来进行广告投放。举个例子,美发沙龙只有白天营业,如果定向时间包括了晚上非营业时段,那么用户在晚上非营业时间看到广告后,无法通过打电话来预约,这样就没有转化。
- 重定向。它指根据用户的历史行为,将曾在商家发生过浏览、收藏、购买等行为的用户作为商家的精准定向人群,进行广告推送,拉回用户完成转化。通常情况下,消费者不会看过就能记住,你需要重定向。根据重定向推送广告是通过视觉方式提醒消费者有关商家产品信息的好方式。消费者看到后可能会想:“啊,我忘了要买这双鞋……”而这种面包屑式的提醒方式往往能够诱使他们点击并购买。重定向方式是所有定向方式中最精准、投资回报率最高的。
- 地理位置类定向。它指的是根据用户实时地理位置(一般是蜂窝信息或者GPS经纬度)做一些定向,有助于帮助商家触达那些正在前往商家所在区域的消费者,包括距离定向、商圈定向等。这种定向方式在移动设备上投放广告时有着非常重要的作用。比如本地的一家美发沙龙,想要招揽本地生意,那么就可以使用地理位置定向技术在特定半径内进行宣传。如果这家店在三角区内有发廊的特许经营权,那么它就可以使用该技术进行一个以上定位。当然针对各区域进行定向的时候,商家可以根据区域内业务发展状况调整出价。
- 人口属性定向。人口属性标签包括性别、年龄、收入水平、婚姻状况、是否有车、是否有小孩等。通过人口属性标签,可以将广告推送给相关消费者,就是可能购买的人群,具体选择什么标签主要取决于商家销售的是什么产品。例如婚纱摄影类商家会选择婚姻状况标签为“未婚”的人群进行广告投放,美甲美睫类商家会选择性别标签为“女性”的人群进行广告投放。这些标签里面,性别、年龄这种标签比较容易得到,因为用户注册的时候就提供了相关信息;而收入水平这种标签需要通过预估得到。使用人口属性定向的时候,标签既不能过于笼统,也不能太过细分。例如美甲美睫商家选择年龄标签的时候,一方面,不能选择0~60岁,这种人群太泛了,低年龄段和高年龄段人群可能没有很强烈的美甲美睫需求。另一方面,也要防止对人群太过细分,例如,尽管最终可能需要选择一个更细化的年龄标签,但却不能仅仅定位为一个具体年龄,若只选择22岁的人群,这可能导致人群覆盖不完整。时刻记住目标受众,但在定位的时候得找到一个折中的办法。
- 行为定向。它是从用户的行为数据中挖掘用户兴趣偏好,从而推送相应的广告。行为数据包括频道、商家详情页、团单详情页的浏览和点击,用户评论和打分等。兴趣偏好一般分为长期、短期和实时偏好。当我们挖掘用户长期偏好的时候,使用的是“一段时间内的行为”,需要对不同时间的行为计算不同的权重,因为用户的兴趣是动态变化的,三个月前用户商圈偏好是A,可能现在搬家了商圈偏好变成了B。为了衡量不同时间行为权重,将行为累计控制在一段时间内,一般使用滑动窗口法和时间衰减法。兴趣偏好包括品类偏好、价格偏好、商圈偏好等。品类偏好指的是用户偏好的商品和服务的品类,例如,用户喜欢吃川湘菜还是江浙菜,喜欢火锅还是自助餐;价格偏好指的是用户的消费水平,例如用户点外卖价格区间是偏好0~20元价位,还是偏好20~40元价位。
- 新客推荐。即Look-alike,以广告主的老顾客作为种子信息,结合广告平台的大数据,寻找出老顾客具有的某种特征或规律,为广告主找到具有相同特征或规律的潜在顾客。这种方式可在保证精准定向效果的同时,扩大用户覆盖面。例如一个川菜馆广告主想投放广告,目标人群除了在本店消费过的顾客外,还可以选择在别的川菜馆或者湘菜馆消费过的顾客,因为他们可能口味差不多。
用户在平台上的搜索、浏览、收藏、购买等行为会被记录下来,形成用户日志。通过对用户日志的分析和挖掘得到用户画像,包括用户基本属性、兴趣偏好、行为标签等。广告定向是广告和用户匹配的过程,为每个广告找到适合的受众群体。广告投放后,需要统计定向效果,包括定向精准程度和覆盖率。精准定向广告的运作流程如图3所示:
为了实现广告和用户的匹配,首先需要为广告的受众人群进行初步假设,即确定广告感兴趣的人群,并将其与用户画像标签映射起来,这一步要靠产品调研和分析得到。然后根据这个初步假设确定广告投放的定向条件,匹配到符合条件的人群。
- 单个定向条件的表示。每一个定向条件都用一个<Key, Value>对来表达。比如,职业分为学生和白领两种,定向条件为学生时表示为 <"Professional", "Student">。
- 组合定向条件的表示。广告主设定的定向条件组合往往非常复杂,是各种不同定向条件的组合,涉及交、并、取反等操作。我们采用析取范式(Disjunctive Normal Form,DNF)的形式来存储广告的定向条件。下面以几个例子来说明DNF的表达方式。
- * DNF1: (30岁 男性)∪(25岁 女性)
- * DNF2: (广东人 广东男性)∪(北京人 北京品牌新客)
- * DNF3: (非男性)∪(男性 实时位置在店铺周围2公里范围)∪(喜欢美食的)
在这样的表达形式中,有两点需要说明:第一,每个DNF可以分解成一个或者多个合取范式(Conjunction Normal Form,CNF),DNF1 = C1∪ C2,其中,C1 =(30岁 男性), C2 =(25岁 女性);第二,每个CNF可以分解成一个或者多个条件的交。上例中的C1 = A1 ∩ A2,其中A1 = 30岁,A2 =男性。
- 定向条件匹配。定向匹配过程如图4所示。一个定向请求包括用户ID和广告投放ID,首先根据用户ID去取用户标签,根据广告投放ID取定向包,将定向包解析表达成DNF的形式,然后与用户标签进行匹配。
- 定向效果评价。定向效果一般从质和量两个方面进行评估。质指的是精准程度,主要指标是点击率和转化率。量指的是覆盖程度,主要指标是用户覆盖率、广告主使用率以及定向方式对应的流量占比。
在美团推送广告中,重定向方式点击率和转化率最好,但覆盖率最低;地理位置定向和人口属性标签拥有更广泛的人群,效果相对较差。实际采用哪种定向,需要看广告主的推广需求,广告主需要综合考虑精准程度和覆盖率的平衡。
O2O广告系统工具
“工欲善其事必先利其器”,有效的工具是一个优秀高效的广告生态的重要组成部分。本节我们从面向开发人员、面向广告主和运营人员两个角度进行简述。
面向开发人员的系统工具
面向开发者的工具主要包含三个方面:离线数据分析工具、实时数据分析工具以及在线广告系统调试工具。
离线数据分析工具支持从各个维度(广告位、广告类型、时间、区域、算法策略等)统计广告业务的各项关键指标(召回率、点击率、转化率、RPS/RPM、CPC等),检视广告系统的短板和漏洞,帮助广告算法和工程团队发现问题和寻找潜力。
实时数据分析工具从时效性角度弥补离线数据分析的缺点,帮助开发者尽早发现数据异常,更快地响应和修复问题。在背后支撑这些分析方法的是Hive、Spark、Elasticsearch和Druid等大数据处理工具。如图5所示是实时消耗数据分析工具:
在线广告系统调试工具是针对单个广告主或单个查询等具体问题的排查。通过调试工具可方便构造模拟请求并查看单个服务处理详细信息,收集各个广告流程步骤(召回、排序和创意优选等)的信息,跟踪和定位线上实时环境中各步骤的问题。除了线上问题排查之外,调试工具也是开发阶段用于验证策略效果和算法正确性不可或缺的手段。如图6所示是在线广告调试工具的基本界面:
面向广告主和运营人员的工具
面向广告主和运营人员的工具包括广告主出价预估和排名预估、商户效果漏斗分析、账户诊断等相关工具。面向广告主的工具帮助广告主更好地衡量和感知广告效果,让其了解市场竞争情况,协助其有效主动地优化广告投放效果。面向运营人员的工具能让运营人员对广告主的投放情况有更清晰的了解,进而帮助其更好地指导和服务广告主。
1. 效果漏斗分析工具
如前文所述,O2O广告从在线展示到用户进店消费需要经过点击和转化多个流程,为了帮助广告主优化整体投放效果,我们在推广后台提供了效果漏斗分析工具。效果漏斗分析工具主要包括曝光/访问量/感兴趣/到店三层漏斗,同时给出相应的问题诊断和优化建议,如图7所示:
图7 效果漏斗分析工具
2. 推广实况工具
感知广告展示位置以及竞价实况是投放中的广告主核心需求之一。但个性化智能排序技术体系和带有地理位置限制属性的O2O广告场景下,由于用户个性标签、地理位置等原因会导致广告主看不到自己投放中的广告在客户端曝光,广告主难以分析原因,也不知道如何优化现有的广告投放。
推广实况工具提供查看排名、模拟出价和诊断优化功能。广告主可以查看选定商圈、类目、地理位置等特定条件下的实时排名,也可以查看去个性化后一般情况下的平均排名。同时工具对于广告展现位次过低或得不到展示的情况会给出具体的原因和相应提示。广告主可根据提示调整投放设置,比如对出价过低导致排名靠后情况建议调高出价,通过工具可以实时查看调整后的新排名情况,如图8所示:
3. 流失订单分析工具
流失订单分析工具基于门店流失订单记录提供对比分析功能。流失订单是指最近一周内用户对商家A进行了点击,但实际去B、C商家下单的流量算作A的流失订单。分析工具根据用户的点击下单行为数据帮商家分析自身与用户最终下单商家之间的差距在哪里。比如对酒店商家,工具会提供商家平均房价、平均评分、商家首图等信息对比,广告主从中可以分析出订单流失原因,如图9所示:
4. 广告收益模拟器
为吸引潜在新广告客户入驻,广告收益模拟器为商家提供广告收益预估功能。该工具基于门店的历史非广告时期点击转化率、门店所在商圈流量以及竞争对手状态等信息,预估门店投放广告后能够带来的新增流量和订单量,帮助新客户快速了解广告产品,建立投资回报预期。同时通过该工具,商户可以方便地跳转到推广通平台进行注册和投放。此外,模拟器也可协助销售人员对商圈流量以及商圈可承载广告数进行预估,让销售人员更有针对性地开拓市场,提升新签成功率,如图10所示:
总结
本章从O2O广告的特性出发,介绍了O2O广告利益相关方的主要关注指标。O2O广告是美团的核心问题之一。本章着重介绍了如何应用机器学习方法提升广告投放的效果和效率,以及本地场景化的推送广告。此外,还简要展示了O2O广告平台相关的工具。
参考文献
[1] Huang, P.-S., He, X., Gao, J., Deng, L., Acero, A., & Heck, L. (2013). Learning deep structured semantic models for web search using clickthrough data. In Proceedings of the 22nd ACM international conference on Conference on information & knowledge management (pp. 2333-2338).[2] Sutskever, I., Vinyals, O., & Le, Q. V. (2014). Sequence to sequence learning with neural networks. In Advances in neural information processing systems (pp. 3104-3112).[3] Juan, Y., Zhuang, Y., Chin, W.-S., & Lin, C.-J. (2016). Field-aware Factorization Machines for CTR Prediction. In Proceedings of the 10th ACM Conference on Recommender Systems (pp. 43-50).[4] Cheng, H.-T., Koc, L., Harmsen, J., Shaked, T., Chandra, T., Aradhye, H., . others. (2016). Wide & deep learning for recommender systems. In Proceedings of the 1st Workshop on Deep Learning for Recommender Systems (pp. 7-10).[5] Li, M., Zhou, L., Yang, Z., Li, A., Xia, F., Andersen, D. G., & Smola, A. (2013). Parameter server for distributed machine learning. In Big Learning NIPS Workshop (Vol. 1).[6] Edelman, B., Ostrovsky, M., & Schwarz, M. (2005). Internet advertising and the generalized second price auction: Selling billions of dollars worth of keywords.
作者简介
2013年6月加入美团,目前负责美团搜索广告算法策略,曾负责美团搜索排序工作。
如果有问题,可以扫描下方二维码,加入美团计算广告俱乐部,跟作者直接进行交流。(如群已满,加美团小助手微信 MTDPtech,回复【计算广告】,小助手拉你入群 )
团队简介
美团点评算法团队是整个美团点评技术团队的“大脑”,涵盖搜索、推荐、广告、智能调度、自然语言处理、计算机视觉、机器人以及无人驾驶等多个技术领域。帮助美团点评数亿活跃用户改善了用户体验,也帮助餐饮、酒店、结婚、丽人、亲子等200多个品类的数百万商户提升了运营效率。目前,美团点评算法团队在人工智能领域进行积极的探索和研究,不断创新与实践,致力于应用最前沿的技术,给广告大消费者带来更好的生活服务体验。
图书推荐
我们“美团技术团队”公众号之前已经发布过很多AI和算法方面的文章,但从中很难了解算法工程师完整的工作流程。
告诉大家一个好消息,美团算法团队多位技术专家集体编写的《美团机器学习实践》一书即将出版。这本书详细地讲述了最热门的人工智能技术如何应用于搜索、推荐、计算广告、风控、图像处理等各种场景,如何在美团这个全球最大生活服务互联网平台实际落地,敬请期待。
预售链接
>> 京东商城 <<
>> 当当网 <<
>> 天猫商城 <<
下一章:Flutter原理与美团的实践
Flutter是Google开发的一套全新的跨平台、开源UI框架,支持iOS、Android系统开发,并且是未来新操作系统Fuchsia的默认开发套件。自从2017年5月发布第一个版本以来,目前Flutter ...