saas埋点抽样(埋点数据怎么分析)

埋点数据怎么分析

数据分析这算是一个比较大的一个框架，单从字面意思来讲就是从数据中提取有用的规律或背后的逻辑。

工作中数据分析的职能主要分为以下6个步骤：

数据收集

数据清洗

数据储存

指标计算

数据统计分析与建模

数据可视化

第一步数据收集：在前期我们数据尚未形成特定的体系的时候亦或者是我们的业务正在进行的时候，需要我们通过各种各样的途径去获取数据。数据收集的方法多种多样，其中可以用程序自动收集（数据埋点、网络爬虫、ERP或CRM系统自动生成等）、手工统计（Excel统计）、第三方网站提取（通过公开数据网站下载，API等）等诸多方法，方法的选择跟随业务形态进行。

第二步数据清洗：收集来的数据是脏数据，需要通过数据清洗，也就是取其精华去其糟粕，这样的数据才是我们能够正常使用的数据。这一步的操作主要使用的是正则表达式进行数据清洗，收集来的数据各种格式都有，需要转码成特定的格式以及编码。

第三步数据存储：由于现在的公司数据越来越大，互联网时代已经从IT转变为DT的时代，现在每个公司的业务数据都是呈现几何倍数的增长，那么在存储数据的时候肯定不可能还用以前那种用纸笔记录的时代。现在对于小数据量的公司一般也是用Excel文件进行数据存储，许多公司以及采用数据库产品进行数据存储，市面也有很多性能很好的数据库产品，例如Oracle、MySQL、SqlServer，现在对大数据还专门有对应的hive数据仓库产品。这些产品都很好用，并且部分还是开源产品。就我们公司而言，之前使用的Oracle和MySQL以及SqlServer数据库，目前因为业务线条的调整，已经将数据从单一的数据库转向hive数据仓库存储，更方便了技术、业务、分析师等角色对数据的应用提取。

第四步指标计算：在进行指标计算之前，需要数据分析师建立当前部门的KPI指标，对应着业务部门针对不同的业务场景反馈出业务好坏的数据与规则。这一步繁杂而持续，并且可能这项工作会贯穿整个数据分析生涯。什么是指标？指标就是衡量目标的方法，比如商品管理常用的库存周转率、毛利率等，运营常看的路径转换，maketing常看的ROI等等，对应的指标反映出不同的业务场景的好坏，随着业务的变换，企业阶段的变换，指标也会一直在跟随着变换。

第五步数据统计分析与建模：这个环节是整个数据分析流程中最有意思的一个环节，没有之一。相比于之前的环节，在此环节你将会面临各种各样的挑战。什么假设检验，什么线性回归、什么特征工程、什么贝叶斯等都会遇到，在这里你将会看到各种数据背后的逻辑以及数据所产生的价值。并且在数据分析的过程中可能会遇到第二步的数据清洗过程，处理缺失值、处理异常值等。

第六步数据可视化：也就是数据展现，需要将第五步统计分析及建模的结果使用图的形式体现出来，俗话说字不如表，表不如图。市面上使用的比较多的数据可视化产品主要是Tableau、PowerBI、finebi、PPT等几种。其中前三种主要是呈现交互式表格，也就是存储于线上的报表，而PPT主要是以报告的形式呈现。

现在的数据分析可按照职能简单划分为几个方向：

商业数据分析师

数据挖掘工程师

大数据开发工程师

以上几种是当前的招聘时长相对比较常见的几种岗位，各岗位之前各有不同。商业数据分析师主要是以业务为导向，将数据应用到企业的决策中，主要的工具是Python、R、Excel、SPSS、tableau、PowerBI等；数据挖掘工程师比较侧重技术方向，主要反欺诈、垃圾邮件识别等数据应用，主要的工具是Python、Java、C、C++等；大数据开发工程师主要负责搭建数据平台，利用hadoop、hive、spark、Python、Java、C、C++等工具开发适合公司数据流的数据平台。数据分析是一个目前为止比较新兴的岗位，因此大多数人都是在不断的学习改进。

以上为我的一些拙见，有什么不足的地方欢迎补充交流。

如何分析埋点数据

1) 首先，需要把数据埋点的思想纳入到项目的整体设计中，这样才能使得数据埋点有条理化并且高效率地应用。2) 其次，具体的埋点规范要根据不同的产品设计进行修改，以使数据更加准确。3) 还要考虑数据埋点的时效性，埋点数据太老旧可能对产品的分析不利；另外，需要清楚地知晓不同平台下获取到的数据以及怎么处理不同设备的数据，从而让数据更有参考价值。4) 通过测试验证埋点数据的准确性，以保证正确的分析。5) 通过建立数据埋点的报表，对不同活动及流程的埋点数据进行总结，以此来指定需要重点关注的节点，提高收集的数据的有效性并提高节点的抽取概率。

埋点数据主要解决的问题

Midjourney是一种绘图规范，旨在确保绘制的图形能够在多个平台上进行显示和编辑，为图形的可移植性和互操作性提供了基础。Midjourney出图原理如下：

1. 定义图形元素：Midjourney定义了一组基本的图形元素，包括线段、文本、矩形、椭圆、弧线等。这些元素被分成逻辑组，例如“矩形”逻辑组可能包含“实心矩形”和“空心矩形”等元素。

2. 划分图形对象：Midjourney将绘制的每个图形对象分成一个或多个逻辑组，并为每个逻辑组分配一个唯一的标识符。

3. 定义对象属性：Midjourney使用属性定义来描述每个图形对象和每个逻辑组的特征，例如线宽、线型、填充模式、文本字体等。

4. 定义坐标系：Midjourney使用矩形作为坐标系，而不是以像素为单位的绝对坐标系，以确保图形的可伸缩性和可移植性。

5. 编写Midjourney代码：Midjourney代码将图形元素、对象属性、坐标系和逻辑组组合在一起以描述图形对象。Midjourney代码可以用任何文本编辑器编写，并遵循Midjourney规范。

6. 解析Midjourney代码：Midjourney代码可以被解析为二进制流，以在不同的应用程序和平台上使用。

总之，Midjourney出图原理利用了统一的图形描述语言和规范，以确保图形对象的可移植性和互操作性。使得不同平台上的应用程序和设备可以更容易地共享和编辑图形，方便了工程师或设计者在不同平台上对同一件事物进行处理。

数据埋点流程

步骤s1、以钻铤的横截面为工具面并将该工具面沿其周向均匀划分为n个分扇区，对每个分扇区分别定义一用于区分的扇区号；

步骤s2、电控模块分时驱动第一发射线圈和第二发射线圈发射电磁波，并持续采集接收线圈上接收到的电磁波，将采集的电压波形与驱动的电压波形进行对比计算，得到第一发射线圈和第二发射线圈每个发射时点所对应的幅度值和相位值，再结合传感器采集的方位数据，将得到的幅度值和相位值统计到各自对应的分扇区内；

步骤s3、对各个分扇区内的幅度值和相位值进行数据处理，并获得与地层边界和方位电阻率探边工具的距离及角度有直接相关性的参数。

埋点数据不准的原因

一，房屋设计工作的失误。

许多设计人员对地基基础问题的重要性认知不足，常把复杂的地基问题简单化处理。据建设部重大工程事故统计，由于设计工作失误导致建筑物发生质量事故的约占事故总数40%。

二，房屋施工方面的失误。基础工程施工质量低劣，施工部门偷工减料，随便减少配筋，降低混凝土强度等级，采用劣质钢材乃至缩小基础尺寸，减少基础埋深，基础施工放线不准确等。

还有，地基处理方面的原因：目前地基处理手段多，这方面的问题也很多。

三，工程勘察方面的失误  ，如若勘测点布置过少，或只借鉴相邻建筑物的地质资料，对建筑场地没有进行认真勘察评价，提出的地质勘察报告不能真实反映场地条件，如岩溶土洞、墓穴等没有被发现，甚至旧的人防地下道也被忽视，使新建的建筑物发生严重下陷、倾斜或开裂。

埋点数据分析案例

前端埋点是一种用来收集和分析用户在前端页面操作行为的数据收集方法。实现前端埋点的一般步骤如下：

1. 选择合适的前端埋点方案：目前有很多前端埋点方案可供选择，如Google Analytics、神策数据、友盟等。可以根据自己的需求和技术能力选择适合自己的前端埋点方案。

2. 在前端页面中加入埋点代码：在页面中插入埋点代码是实现前端埋点的关键步骤。可以使用现有的埋点方案提供的SDK或者JavaScript代码实现。在插入埋点代码时需要考虑到代码的可读性、可维护性以及与其他代码的耦合性等因素。

3. 分析和处理收集到的数据：当埋点代码被触发时，前端埋点方案会收集页面的操作行为数据并将其上传到服务器端。收集到的数据包括用户的访问时间、访问来源、页面浏览量、点击率等。可以通过分析和处理这些数据来了解用户的行为模式，优化产品和提高用户体验。

需要注意的是，在进行前端埋点时需要遵循相应的数据隐私保护政策和法规，确保收集到的数据不侵犯用户的隐私权益。

数据埋点方案

搭框架、定流程、扣细节，这是从一名产品前辈那了解到的产品设计流程，写PRD，也可以按照这个思路。

1、搭框架。首先遍历出所有用户角色，再针对每个角色，提供相应的系统/功能，然后按照某种维度进行结构划分。这个步骤完成后，就可以输出产品的系统架构图及系统的功能结构图。

产品由一个个功能组成，功能是逻辑结构，一个完整的功能具备输入、处理、输出三大特性。

从大到小的划分是：系统>功能模块>功能，用户+功能组成了用例，用例是PRD文档里描述占比70%以上的内容，所以合理的功能结构，是写好PRD的前提。

2、定流程。每个产品都有一个核心业务流程，这个核心业务流程涉及多个角色，这个步骤就是把各个角色和功能联系起来。通过核心业务流程，阅读者可以了解产品全貌，对产品有个宏观的认识。

此外，每个系统也有各自的核心业务流程，全业务流程+子系统业务流程，可以概括产品的业务逻辑。

这个步骤输出产品核心业务流程图，子系统核心业务流程图，活动图，状态机图，与外部系统交互可能还有时序图。

3、扣细节。这一步的核心的画原型和功能设计，通过原型表达产品的界面和交互。功能设计主要是从输入处理输出三个方面去考虑，用户执行输入指令后，系统会进行逻辑处理，然后输出结果。

此外，还要考虑功能涉及到哪些数据，表结构怎样设计，这些会涉及大量细节，PRD大部分内容，都是在描述这些细节。

步骤1和步骤2没有严格的顺序，也可以先梳理业务流程，再根据流程中的具体场景梳理出实际功能或系统结构。

05. 文档的组成部分

1、修订记录

记录每次文档更新的时间、作者、修订内容，便于追溯历史变动；

2、全局说明

包括名词解释、统一异常处理、列表默认数据规则等。

名词解释：每个行业都有专业术语，可以提前将晦涩难懂的术语提前做好解释，便于达成共识，更好沟通；

统一异常处理：网络异常、后台服务异常的交互逻辑；

列表默认数据规则：默认列表的排序方式，默认显示条数，超过多少条翻页，缺省值展现方式；

所有涉及全局的描述，都可以罗列在这里。

3、项目背景

每个产品，都有一套价值模型。以信贷产品为例，针对用户的价值指标有放款额、审批时长、是否上征信等；

针对后台业务人员，有审批时效、通过率、放款率、坏账率等指标；针对老板，有投资回报比、员工成本、净利润等价值指标，每一个需求，应该都是围绕某个价值指标展开。

背景从现状、方案、目标3方面描述。

现状：描述当前需求方遇到的问题，最好能跟价值模型关联；

方案：针对这个问题，所提供的解决方案概述；

目标：期望获得多少价值指标提升；

通过项目背景的描述，可以让项目参与者感受到自己的工作价值。

4、项目范围

项目范围对应搭框架部分，将功能结构图在此处罗列；

5、业务流程

业务流程对应定流程部分，将核心业务流程、子系统业务流程在此处罗列；

6、功能需求

这个部分在PRD中占比最大，搭框架部分，已经将产品功能点全部梳理出来了，这部分就是对功能点进行逐一描述。

功能是从系统的角度来看，我们还要考虑用户角度，所有我们采用用户+功能的方式来描述需求，这就是用例。

完整用例名称一定是动宾结构，如添加文章、删除文章、修改文章、查看文章列表。一个完整的用例包含：

描述(非必须)

前置条件

后置条件

界面交互

业务流程

异常和分支流程

数据字典(非必须)

描述

功能的简要描述。

前置条件

要操作此功能，需要具备什么角色、权限或状态。

后置条件

执行完这个用例后，关联的数据会有什么变化，页面怎么跳转。

界面

每个界面都可以拆分成多个元素，如表单、文本、链接、图片等；

表单的每个元素要描述是否可为空、是否有初始内容、是否默认选中、是否有字数限制等，还有对应的错误提示；

文本要考虑最大显示长度，超过怎么处理；

链接一定要指定点击后跳转到哪个页面；

图片要考虑显示的比例，如果未加载出来该显示什么；

还要考虑界面的内容是写死还是通过后台配置；

业务流程

当用户完成输入并提交时，后端应该做什么校验，不同输入该怎么处理，不同结果该返回什么值，最好通过业务流程图+文字来描述，确保逻辑完整。

异常和分支流程

异常流程如网络错误、接口返回异常、服务器内部错误等；

以登录为例，分支流程包括找回密码、密码登录等，分支流程非必须，简单的分支流程可以直接通过主流程体现，具体可以视情况按照一定颗粒度进行拆分。

数据字典

这个用例涉及哪些数据，可以通过数据字典描述，这一步非必须，最终表结构也不一定就是这样，只是给开发一个参考。有技术背景的产品，也可以做得更细。

产品经理一定要懂基本的数据库知识，程序=数据结构+算法。用户使用产品时，本质上是在和数据进行交互，只是在用户和数据之间，加了一些列算法。

7、非功能需求

数据需求。常见的就是数据埋点，产品经理需要梳理出埋点事件表，告知开发，让开发在编码过程中进行埋点。

监控需求。需要监控某个接口或某些服务，当出现异常时，可以发送报警信息至相关人员。

性能需求。需要支撑多大的并发，运维人员可以提前准备部署方案。

06. 最后

一定要用正确的思路去写PRD，更要想清楚PRD所呈现方案的价值。方向不对，努力白费。记住，找准问题比解决方案更重要。