为什么人工调控是企业级推荐系统必备条件之一?
随着移动互联网的深入发展,推荐系统越来越得到企业界的认可,成为toC互联网公司的标配技术。推荐系统借助机器学习技术,基于对用户行为的挖掘,能够洞察用户的兴趣偏好,自动化地为用户生成个性化的内容推荐,整个推荐的过程基本可以做到完全自动化,不需要人工干预。虽然很多方面机器可以比人做得更好,但机器也有自身的问题和缺点。目前的人工智能在情感、应急处理、复杂问题决策等很多方面还根本无法与人相比,这些方面都可以很好地体现人类的价值。在推荐系统中,这一情况也存在,推荐系统需要借助人工来进行策略调控,以获得优质的用户体验、更好地实现商业目标。利用人工对推荐系统进行策略调控,除了用户体验的考虑外,还有安全性、商业价值等维度的权衡。
什么是推荐系统的人工调控
企业级推荐系统进行推荐的流程一般可以分为召回、排序、业务调控3个阶段(见下面图),这其中的第三个阶段业务调控就涉及到人工调控策略,这只是其中一种可行的干预方式,也是比较重要的一种干预手段,后面我们会详细讲解在这里可以进行哪些干预。
一般来说,一切对推荐系统运行过程中的策略和模块进行人工调整的方法都叫做人工干预。广义地说,选择什么样的数据集、选择什么模型、怎么定义参数、对模型结果的干预等等都属于人工干预的范畴。这些干预的过程很多是算法人员进行的干预(如特征构建、模型选择、参数选择等),在本篇文章中我们指的干预是指产品运营人员对推荐系统进行的产品策略、运营策略层面的干预,后面统一称为运营干预。作者在《推荐算法团队介绍》,至少包括如下3种干预方式:
(1) 调整位置与展示;
(2) 干预具体的推荐结果;
(3) 对算法逻辑的干预;
这只是一部分干预方式。一般来说,运营策略的干预包括算法之前的干预、算法过程中的干预、生成推荐结果之后的干预三大类,我们在第三节会进行更细致的讲解。上面提到的运营人员的三种干预属于结果和过程的干预。
为什么要进行人工调控
推荐算法与人工调控的关系,类似于经济学中的市场机制(market mechanism)和宏观调控机制(macro-control mechanism)。推荐算法根据用户的行为构建模型进行推荐,是用户在平台上的自然行为的有效挖掘,这与市场机制是通过市场竞争配置资源(即资源在市场上通过自由竞争与自由交换来实现配置)的机制是非常类似的。人工调控是通过引进人工策略对推荐系统的运行加以优化、调节、引导,这与宏观调控机制是在国家层面统一协调下以计划、财税、金融手段为主,通过间接手段调控、引导市场活动也是非常类似的。
人工调控的作用是非常巨大的,也是非常有必要的。就拿肆虐全球的新冠病毒来说,中国进行了大量的政策和人工层面的干预,比如隔离、封路、封交通工具、医疗物资的定向供给等等,通过这些干预很好地控制了疫情,而西方国家由于政治体制的不一样,很难做到中国这样的有效干预,因此,疫情控制不容乐观。
在推荐系统中,人工调控的作用同样不容小觑,人工调控的主要目的是解决机器学习算法比较难解决的问题而进行的有效策略补充。一般说来,之所以进行人工干预,主要是满足如下5类需求,下面我们来分别详细介绍。
1.用户体验
推荐系统除了需要精准地挖掘出用户的兴趣,推荐用户感兴趣的标的物外,还需要满足惊喜度、多样性、新颖性等需求(读者可以参考《推荐系统评估》这篇文章了解更多推荐系统评估指标及细节)。这些需求很多都是比较抽象的,机器学习算法很难量化,因而很难做好,需要人工增加一些策略上的补充和控制。
在视觉上也可能需要根据特定情况进行调整,下面图2中绿色矩形框住的部分就是在双十一这个特定时间点做的特殊配色和UI,图中这一区域也是淘宝个性化推荐的一种产品形态。通过在双十一做这种调整,烘托出节日的气氛,提升用户的视觉体验,让用户更有点击的冲动。一般在重大节日、重大事件或者运营活动时,都可以做UI方面的调整,以营造气氛,提升用户感知度,优化体验。
对热点事件的把握、对内容的深度思考和深度关联,有专业素养的编辑运营人员是强于机器的,通过整合专业人员的理性思考,并将这些思考整合到推荐系统中,有助于提升标的物的浏览、点击、分发与转化,最终提升用户的满意度。
2.安全性
在某些行业(如视频、食品等)安全性至关重要,需要对待推荐的标的物进行人工把关,避免推荐不合适的标的物。比如一般电影都是有分级策略的,电影分级策略是指根据发行的电影中包括的性爱、暴力、毒品、粗俗语言等在内的成人内容的量和程度将其划分成特定级别,并给每一级定义好允许面对的观众群,以便运营人员有参照地、选择性地进行内容运营,避免在不合适的时机给不合适的用户推荐不合适的内容,起到促进所有观众身心健康的作用(读者可以看看参考文献3了解今日头条和Facebook在这方面遇到的麻烦)。绝大部分国家和地区如美国、英国、日本、中国香港等都有完善的电影分级制度。在部分国家,电影分级制度不具有法律效力,但在行业内部具有约束力,只对观众起提示的作用,由观众实行自我保护。对于这类内容需要制定一些人工的策略,比如在家庭电视上,偏向成人的内容需要在晚上十点以后进行选择性推荐等,避免小孩看到,影响儿童身心健康。
随着手机摄像头技术的成熟及智能手机的普及化,UGC内容是非常重要的一块内容补充,现在主流的APP基本都提供了用户上传内容的功能,比如快手、B站、淘宝等,内容的可控性变得越来越困难也越来越重要。UGC内容的安全性把控是这些产品的推荐系统必须要谨慎思考和有效控制的问题。
对于这些涉及到安全问题的内容,虽然算法可以做到一定程度的识别(比如通过AI算法进行鉴黄等),但是由于互联网信息的非结构特性(特别是图片、视频、音频等),机器处理难度较大,准确率有待提升,最终还是需要人工来处理。不过机器可以提供很好的辅助,最终减轻人的工作量。
3商业价值
有时需要人工制定一些推荐的策略,让推荐系统可以获得更大的商业价值。通过制定一些人工的策略,对具备不同购买力的人推荐不同价格的商品,从而获得更多的商业价值。比如对于商务人士推荐头等舱而对于一般的人士推荐经济舱等。这样做也是道德的,是可以提升用户体验的。而根据不同用户对价格的敏感度不一样,对同一件商品给不同的人提供不同的价格,从而让企业获得更多的商业利润,这种做法可能就是不道德的,就是所谓的“大数据杀熟”。
获取商业价值是公司生存的基础,也是运营人员最重要的日常工作和行动目标之一,推荐系统作为一个成熟的有商业化价值的技术手段,是运营人员在进行商业化决策中的有效工具。
4.运营需要
有时为了运营的需要也需要进行人工策略的调控。通过人工策略的引导,让资源达到某种程度的倾斜,最终让整个生态更加健康成熟,良性发展。比如淘宝等平台方在引进某些新品类的商品时,需要对它们进行一定的资源支持和流量倾斜,这时在推荐策略上会对该类商品增加更多曝光的概率,最终让该品类获得更大的市场空间。快手作为短视频平台,希望提供普惠的价值观,所以在快手中的推荐策略是给普通人平等的曝光机会,而抖音更多的是运营导向,只有爆款内容才能得到好的资源,头部效应更加明显。
对于某些重大事件、节日、运营活动等,也会采取一些策略来对推荐系统进行一定的干预和引导,以配合这些事件和活动。策略的调整既可以是算法策略,也可以是UI交互方式,种类可以非常丰富。比如下面图3,头条在推荐中置顶了两条推荐,都是与新冠病毒疫情相关的新闻,就是在当下特殊时期的人工干预策略。这种策略可以让更多的人对疫情有更好地了解,起到信息普及和告知的作用。
5.减少内容运营人员数量,降低人力成本
如果在推荐系统中可以增加足够多的人力调控策略和手段,让调控手段更加灵活多样,将人的优势和机器的优势结合起来,那么所有的位置都可以给到推荐系统(或者说,所有的人工运营板块都可以整合算法能力),这样内容运营人员的工作量就会减少,也不需要这么多内容运营人员参与了,从而可以减少运营人员的人力成本。这时只需要花更少的钱招聘少量足够优秀的、对内容有深度理解的高级运营就可以了。
总之,对于推荐系统来说,人工调控是非常有必要的,不管是提升公司自身利益,还是帮助提升用户体验,亦或是构建完善的内容生态,都有极大的价值。既然人工调控这么有价值,那么大家一定想知道该从哪些方面进行调控,其实前面已经零碎地讲了一些,下面一节我们来系统性地介绍。
怎样进行人工调控
推荐系统是一项非常专业化的系统软件工程,我们可以大致将推荐系统分为6个大的模块(阶段),分别是(生成)数据、(构建)特征、(训练)推荐模型、(生成)推荐结果、(渲染)前端展示的结果、(评估)推荐效果(参见下图)。其实,人工调控可以在这6个阶段中的每一个阶段进行控制。