大数据实践之路：数据中台+数据分析+产品应用

作者简介

林泽丰，笔名小风，某国有企业的数据中台产品负责人。UBDC全域大数据峰会“灯塔人物”，“友盟杯”数据大赛三等奖获得者，公众号“一个数据人的自留地”的课程讲师。在电商、社交、交通、直播等领域担任过产品、运营、数据等部门的负责人，有7年多的互联网从业经验。跨领域、跨部门实战经验丰富，曾从0到1搭建过企业数据中台、大数据平台、智能营销平台，擅长埋点模型设计、指标质量治理、数仓架构、数据运营等。许秋贵，笔名阿北，贝壳找房的高级数据分析师，毕业于东北农业大学。在校期间主导开发了校园拼车等应用，帮助大学生拼车省钱出行。曾就职于百度、滴滴等互联网“大厂”，有多年数据分析经验。陈斌，笔名小诺，某互联网“大厂”的策略产品经理，毕业于大连东软信息学院。人人都是产品经理网站的“20年度热文作者”，公众号“一个数据人的自留地”的联合创办人。先后就职于百度、小米，在搜索引擎、资讯、电商等领域从事过搜索、推荐、BI、画像、反作弊、消息触达等产品工作，涉猎范围较广，经验丰富。陈丽媛，笔名草帽小子，自如画像数据产品经理，拥有两项发明专利。人人都是产品经理网站的专栏作家，公众号“一个数据人的自留地”联合创办人。在用户画像、数据埋点、指标体系、BI等方面具有丰富的实战经验，所著系列文章深受广大读者喜爱。

内容简介

小诺在完成需求阶段的梳理之后，其状态焕然一新，从最开始的大脑一片空白，变成现在成竹在胸的状态。 要做好用户画像的规划，需要紧抓整体规划，绘制蓝图，自上而下地梳理业务架构和产品架构。 10.3.1 用户画像的业务架构 从框架层来看，梳理清楚用户画像的业务架构，有助于产品经理清晰地了解用户有哪些，需要解决用户的什么问题，产品的价值、产品的功能优先级，以及要完成这个产品需要投入哪些资源。 下面我们来看如何采用六层次方法梳理用户画像的业务架构，如图10-11所示。 图10-11 用户画像的业务架构围绕两个方面展开：一方面是用户需求，用户在什么场景下使用用户画像、解决什么问题，或者说使用用户画像给用户带来了哪些价值；另一方面是用户画像实现，要实现用户画像需要哪些资源、需要哪些部门协同配合。 1．用户场景价值层 我们要明确目标用户，要清晰地知道用户画像体系是给谁用的。通常，用户画像体系的目标用户有精准营销人员、产品经理、搜索推荐人员、用户运营人员、客服人员等。用户画像体系的应用场景包括精准广告投放、个性化推荐、智能运营、客服话术分级等。 2．产品运营资源层 （1）产品/服务层：产品/服务层要梳理清楚用户在哪些场景使用用户画像。这样，用户画像能提供的核心功能就会变得十分清晰。其核心在于数据采集、用户ID标识、标签管理、用户画像系统。 （2）运营管理层：运营管理层要实现这个庞大的用户画像体系，需要多方协作完成。在组织层面，组织包括产研团队、运营团队；在绩效层面，需要分析清楚组织的绩效目标（职能绩效目标、业务绩效目标），多方协作发力；在系统层面，需要列举出与用户画像体系相关联的系统（push/短信系统）；在流程层面，需要考虑研发流程、用户画像体系与其他业务系统的对接流程。 （3）资源层：资源层需要考虑由哪些人员来做、数据采集预算和服务器资源预算是多少、需要哪些数据资源、是否需要购买第三方数据等。 10.3.2 用户画像的产品架构 业务架构比较宏观，并注重自上而下，从业务场景应用层面来进行整体架构的搭建；而产品架构则更注重落地，从自下而上地盘点清楚数据现状角度来建设用户画像体系，以满足核心业务场景的需要。用户画像的产品架构如图10-12所示。 图10-12 1．数据采集层 数据采集讲究大而全，要想更全面地描绘用户画像，我们需要想方设法采集与用户相关的所有数据。 （1） 业务数据：伴随着业务产生，包括用户的基础信息，用户在平台上的购买业务数据、评价数据等。 （2） 埋点行为数据：通过埋点的方式采集到的一些行为数据，如浏览数据、点击数据、停留时长等。 （3） 日志数据：一般是Web端日志记录的数据。 （4） 第三方数据：在业务线较为单一的情况下，能拿到的用户数据不多，这时我们可以考虑接入第三方数据。 2．ETL 对一些不符合标准的数据进行抽取、清洗、转换、装载，得到标准数据。 3．数据分析与挖掘层 对标准数据进行标签建模，得到具有商业价值的标签。 （1） 统一用户ID标识：很多人不了解用户ID标识，在用户画像体系建设之初，往往会漏掉这个关键步骤。举个简单的例子，阿里巴巴是一个拥有多条业务线的企业，其业务涉及电商、金融、广告、文化、教育、娱乐、设备和社交等领域。若消费者路飞在支付宝上进行了基金理财操作，同时在钉钉上发布了自己的动态，并在淘宝上浏览了棉花糖商品。在这个过程中，路飞登录了不同的账号，你如何把这些行为关联到路飞身上呢？这个问题留给读者自己去思考吧。 （2） 用户档案建设：前期可进行数仓主题层的建设，将与用户相关的表汇集在一起，建设一个用户集市，包括用户基础信息表、用户行为表、用户交易行为表等基础表。 （3） 标签建模：计算不同类型的标签，如事实类标签、规则类标签、预测类标签。 （4） 标签宽表存储：主要将标签数据统一落在几个大宽表中，如用户基础信息宽表、用户行为宽表、用户偏好宽表等。 4．服务层 服务层需描述清楚用户画像体系能对外提供的服务，包括业务服务和系统服务两大类。 （1） 业务服务：包括用户画像系统需具备的能力，如画像看板、单用户画像、群体用户画像、相似性人群拓展、标签市场、人群洞察、标签管理（如标签上下架、标签规则）等。 （2） 系统服务：主要为接口服务，将用户分群以接口的形式对接至各个业务系统。 在绘制完用户画像蓝图之后，接下来我们需要制订切实可行的项目计划、梳理版本等，以便后续申请相关资源。 5．应用层 用户画像应用为整个用户画像体系中十分重要的一环，用户画像服务可对接广告投放系统，支持广告精准投放，提升广告投放转化率；可对接营销系统，支持个性化营销信息推送；可对接推荐系统，支持个性化推荐；可对接用户分析平台，深度洞察用户行为，拓展现有商机或挖掘新的商业机会。 10.3.3 用户画像的版本计划 用户画像体系的建设涉及面很广，无法一蹴而就，应当循序渐进。在制订用户画像的版本计划的过程中，我们既需要结合业务当前的需要，争取快、准、狠地在业务上有所应用，又需要考虑系统基础建设，如此才能走得更快、更远。 用户画像的版本计划可分阶段进行，设定每个版本的目标及进度计划，如V1.0、V2.0、V3.0的建设目标、迭代时间等，如图10-13所示。并依照“二八定律”，建设MVP版本，先推出一版，快速满足业务需要。 1.由七位一线互联网公司资深数据人编写，内容丰富，实战性强。 2.全书包括数据中台、数据分析、数据应用三篇，详细解决数据人工作中遇到的问题。