June 2, 2019 1 min to read

成长反思

2018.1 ~ 2019.1

对数据挖掘工作有了更深一点的认识

数据挖掘工作的的意义：
数据挖掘即从数据中发现有价值的信息，为决策提供数据支持。是发挥数据价值的手段之一。
更通俗具体一点来说就是帮助我们清楚、准确、全面的认清楚某些个客观事实。

数据的作用：
数据的作用是用来描述客观事实的。

为什么需要专门的数据挖掘岗位：
1.大数据时代下的数据挖掘往往需要具备大数据处理能力，绝大部分人不具备大数据处理能力，所以需要专人来做。
2.数据挖掘需要统计学的知识，不同的统计指标有不同的含义、不同的特点以及不同的优缺点，用数据准确的描述一件事情并不是很容易。比如：某公司平均工资很高，不一定表示大部分人的工资高。那么要描述大部分人工资情况，使用中位数可能更合理

如何把数据挖掘工作做好：
需要具备统计学知识 以及 敏感的业务认知。
数据统计尽可能的严谨，准确；从多个维度，多个指标去审视和评估同一件事。如：员工工资的平均值与中位数、员工的税前工资与到手工资、员工的工资构成等

数据挖掘工作中的一些痛点：

1. 非结构化数据中信息的缺失 造成信息缺失的原因有很多，比如数据来自不同的生产端，各个生产端的数据有一些相同的信息字段，也有一些不同的信息字段；或者来自不同的APP版本，新版本和旧版本打点数据不一致；或者由于各种限制，某些用户只能上传部分字段；或者网络原因导致的数据丢失等。

2. 数据的准确性问题
   有原始数据的准确性问题，也有基于原始数据处理过程中一些环节有问题导致输出的统计结果不准；由于数据量大并且非结构化，数据字段复杂，处理逻辑复杂以及是事先没有靠谱的认知，往往准确性问题不易被发现，也不易被评估。
   实践过程中的一点心得：同一个数据指标可以用两种不同的方式统计，或者两个人分别按照自己的逻辑统计；多个数据指标之间往往有一定的联系，当这种联系从数据来看有异常的时候，就需要排查数据指标值是否准确。

2019.1 ~

团队建设，包含以下三个方面：

1. 流程/制度建设：比如 周会、周报、开发流程等

2. 队伍建设：团队成员能力的培养与提高。

3. 技术储备：团队的技术栈

个人能力模型：