数据分析师,就是明确分析目的并对数据进行,收集、处理、分析和可视化的专业性人员。
在此,我们将数据分析更详细的给读者朋友进行一下展示,数据分析需要懂什么知识,才能够参与这个样一个流程,并为企业的数据带来商业价值呢?
数据分析知识结构图
数据分析能做什么?为了方便大家理解,我们从时间轴上对数据分析进行一个说明。
过去性分析,通常指过去发生了什么?比如,过去十年的房价涨幅。
现在性分析,当前房价统计出来价格处于一个什么价位,相比于过去情况怎么样。
预测性分析,根据过去和现在的数据,利用一些机器学习的算法去预测未来的价格走势。
分析房地产价格案例在此我们将结合数据分析的整个流程,来讲述一下,如果想对当前楼市价格进行统计、分析哪个城市楼价、预测,我们的数据分析流程该是怎样:
第一步,明确目标:我们根据刚才的题目已经很明确了,通过数据来统计当前价格、分析哪个城市楼价平均价最高,以及预测未来的楼价走势,这是我们这个案例中需要解决的问题。
第二步,收集数据:根据我们需要解决的问题,我们有针对性的去收集房地产的数据,数据的收集的渠道有,公司内部的数据、各大房企网站数据、通过爬虫收集数据、或者付费购买数据等。
第三步,数据清洗:当我们收集足够多的数据之后,可能这些数据有的残缺不全、有的存在异常值等,那这时我们可以使用python、excel、sql、powerbi等工具进行数据的清洗。
第四步,数据预处理:举个栗子,我们对数据要进行建模、但是我们模型可能只能处理数值型,但是我们的数据是字符串,我们就要对数据进行预处理,处理成我们模型可以处理的数据。模型的建立,这一步可以说是数据分析的关键一步,模型的建立。我们要对未来的数据进行预测,如何将我们影响因子加入到模型,权重如何设置、函数的阶数如何设置都是我们要解决的问题。
第五步,数据可视化:哪怕我们对我们已经有的数据进行了模型的建立,但是到目前为止我们所做的工作都是只有我们自己能看懂或者相关人员能看懂。所以我们需要进行数据的可视化,来更直观更方便的对数据进行解读。
第六步,描述性报告/报表:我们做数据分析就是帮助上层决策人员进行一个更好的决策,所以我们需要对我们的工作进行一个报告。来报告给决策人员。
一些常见问题的答疑:关于数据分析、机器学习、统计建模的关系
根据这个图,我们可以将我们所要分析的结果做两种分类,大概分为:简单问题、复杂问题,而在数据分析中对简单的问题和复杂的问题,进行分析采取的方法也是不一样的,毕竟杀鸡焉用宰牛刀是吧。
1、什么是简单问题?
比如公司领导想知道每周的销售情况,这种就是简单问题。简单问题可以用数据分析来处理,通过分析数据来分析出有用的信息。
2、什么是复杂问题?
比如我们天天使用的淘宝,它会根据你的历史购物习惯(数据),来给推荐你可能感兴趣的商品。淘宝是如何做到的呢?对于这种复杂问题,淘宝背后使用的就是机器学习。
关于如何界定简单问题和复杂问题?
我个人认为是在这个工作中,所设计到变量的大小、计算的整体步骤、模型的大小。
,