数据分析利用-数据分析利用,促进成果转化

nihdff 2024-07-06 数据分析 13 views

扫一扫用手机浏览

文章目录 [+]

大家好,今天小编关注到一个比较有意思的话题,就是关于数据分析利用的问题,于是小编就整理了2个相关介绍数据分析利用的解答,让我们一起看看吧。

  1. 如何准确的抓取身边的小数据,分析并利用转化成对自己有用的资讯?
  2. 当excel不够用时,如何利用Access进行数据分析?

如何准确的抓取身边的小数据,分析并利用转化成对自己有用的资讯?

数据分析利用-数据分析利用,促进成果转化

感谢邀请,这个问题是一个比较有技术含金量比较高的一个问题!个人意见欢迎大家一起探讨沟通!

相信很多人都能感觉到信息的爆炸性!甚至有些人感受到了互联网带来的便利同时也带来了危险性!前段时间官方还点名批评了弄知名大V进行煽动性***传销!

那么针对身边数据狂轰乱炸,我们是否有什么技巧针对性的吸收我们想要的数据,然后加以分析转化成我们有用的资讯呢?

首先,我们要学会先分析自己的优劣势,然后根据自己想要了解或者需要深造的行业进行分类,那么自然的我们就可以相对应的对我们的圈子,信息开源进行分类!要想很好的转化数据一定要有干净的思维,同一事情或事物每个人的看法都不同,但是现在社会传播消极情绪的人非常之多。进行自我分类,自我净化才能消化优秀的资讯和数据!

比如,想学习某个软件,可以直接寻找行业网站进行自我分析和学习,千万不要看BBS评论,真正学进去的人是不会去BBS瞎扯淡的。

所以自我净化很关键,擅长使用表格进行数据分类,然后进行提炼!比如需要电商行业的数据,那么可以先自己分类,你想了解某个产品或者某个行业,那么就直接去分析这个行业的数据就好。切记不要盲目的跟风。猪在风口可以飞起来,但是没有翅膀的猪只能靠风,风停了自然就摔死了!

当然,现在很多的平台都开始使用AI技术,也就是当你经常浏览某些行业就会相应的推荐某个行业的资讯和数据。另外的数据开源就是线下朋友,一个优秀朋友圈一定是传播优秀的资讯和数据。

所以,要想准确的抓取数据,首先的知道自己想干什么,在没有目的的情况下,就算机会在你面前,你也无法获取更谈不到抓住机会!

excel不够用时,如何利用Access进行数据分析?

当excel不够用时,如何利用Access进行数据分析?

我们知道Excel2007及以上版本的数据存储量为1048576,但是要处理这么大量的数据,Excel本身就会非常卡,那么如何解决以上问题呢?我们现将数据存储进Access中,用Excel来调用Access中的数据来进行统计分析,非常的方便

接下来,我们就看具体实现步骤:

示例文件有4万多行数据,百万级以上数据可以轻松处理!

【Step1】任意新建一个新的工作表,点击数据选项卡--自Access

【Step2】找到Access目标数据存放的路径,点击打开

【Step3】在弹出的数据连接属性消息框中,直接点击确定

【Step4】在弹出的数据库引擎消息框中,直接点击OK

【Step5】在弹出的选择表格消息框中,选择我们储存数据的表

【Step6】在弹出的选择表格消息框中,选择我们储存数据的表双击,在弹出的导入数据消息框中,点击属性

此步可以选择输出类型为表、***表、***图等

【Step7】在弹出的连接属性消息框中,选择定义选项卡,在命令文本中输入SQL代码<select * from Sheet1 where month(日期)=1>

此处以数据***表为例,提取数据表中1月份数据进行分析

【Step8】点击确定后,就可以对当前数据进行***操作,按需求进行布局汇总

【SQL语句解释】select * from Sheet1 where month(日期)=1 选择全部数据来自sheet1表中,条件为对日期求月份等于1月的数据

如有帮助,请点赞并关注本号,有任何疑问,欢迎评论区中留言讨论!

利用Access进行数据分析通常不是因为Excel不够用,因为,现在Excel能分析的数据远不止你所能看到的一个表里的1048576行——因为,现在Excel有了Power Query和Power Pivot两项极其强大的功能:

一、逆天给力的Power Query

二、引爆Excel数据分析、20年来最大革新的Power Pivot

没有尝试前先不要说Excel用不了

来看看大神用Power Query和Power Pivot做的1亿行的数据测试:

Excel 一亿行数据分析实践

高飞 PowerBI极客

分析人员常用的大数据处理方式

本次演示的方式

这种方式的优点

  • 降低成本。减少工具间的切换成本,直接使用Excel作为存储和分析工具。

  • 展现灵活。展现端继续使用Excel,发挥它灵活、自定义程度高的优势。

  • 便于交付。其他方式得到的结果为了便于交付,还要导出为Excel,而现在整个分析流都在Excel内部完成。

  • 结果可交互。PowerPivot相当于一个存储了源数据的OLAP引擎,通过控制切片器等外部筛选条件,可以迅速、动态的查看结果,使用其他方法,可能需要返回分析端改变计算条件重新导出。

数据导入和耗时

向Excel导入大数据,有两种方式:

  1. PowerPivot导入,直接导入,不支持数据转换和清洗操作。

  2. PowerQuery导入,在导入前可以对数据做预处理。

为了直接对比PowerQuery和PowerPivot的加载效率,增加了一个*号方式,这种方式不对数据做任何清洗转换,直接加载到模型,与PowerPivot步骤相同。

  • 对比前两行结果,PowerQuery的数据导入效率与PowerPivot不分伯仲。

  • PowerQuery没有数据量的限制,而PowerPivot不到导入超过2G的文件。

  • 清洗步骤和数据量的增多,都会显著增加PowerQuery的导入时间,比如一亿行数据,即使三个简单的清洗步骤,用时已经超过了30分钟

结论

  1. PowerPivot导入方式使用的是Access连接器,受限于Access文件本身的限制,不能导入超过2G的数据,这也说明,PowerPivot数据存储能力超过了Access。

  2. PowerQuery是轻型ETL工具,处理大数据集性能不强(基于Excel版本的 PQ)。

如果尝试使用Buffer函数缓存数据,会发现这个缓存过程非常漫长,实际上,Buffer函数并不适合缓存大数据集,因为无法压缩数据,内存可能会很快爆掉。

简单分析的效率

我们真正关心的内容是,Excel能否快速、高效的对大数据集开展分析。

简单分析定义的场景是,逐月统计有多少位顾客发生了购买。做法是把年和月拖入***表行字段,将CustomerKey拖入值区域,修改值汇总方式为统计不重复值。

测试发现,即便使用一亿行数据,这个计算过程的用时也很短,小于1s。于是我增加了一点难度,加入两个切片器对结果做交叉筛选,计算用时仍然小于1s,看来PowerPivot处理这类分析比较轻松,最终此项测试没有计时。

复杂分析的效率

新客统计:逐月计算当月产生购买的顾客中,有多少是新客户(第一笔购买发生在当月)

为了获取到PowerPivot引擎的计算时间,测试在DAX Studio内完成,同时为了模拟***表的计算结果,需要对公式做一点改动。

计算用时(毫秒)

二次运算的用时指的是首次运算结束后,不清空缓存再次执行重复计算所花费的时间。相比第一次运算,节约时间在30%左右。原因是DAX的两个引擎中,有一个可以缓存计算结果,被缓存的内容可以在之后被公式内部调用,也可以跨公式调用。

结合这个知识,对DAX的表达式进行优化,可以获得更好的性能表现,下面是新客统计优化之后的写法,我们来对比计值时间的变化。

优化后计算用时(毫秒)

可以看出引擎的缓存起到了显著效果,二次计算直接调用首次运算的结果,计算时间不随数据量的增加而增加。

以一亿行数据集的结果为例,对比算法优化前后的用时:

复杂统计测试项目二,流失客户统计

与新客的呈现方式相同,依然是逐月计算当月的流失客户,不同的是流失客户的定义更为复杂。

自定义一个流失天数,被判定流失的客户需同时满足以下两个条件:

  1. 所有在当月之前最后一次购买的日期+自定义流失天数,落在当前时间区间内。

  2. 当月如果发生购买,第一次购买日期不能早于判定流失的日期。

流失客户公式和计算结果

计值流如此复杂的一个公式,PowerPivot会耗时多久呢,我只用了一亿行数据的文件做测试,结果是首次计算4093ms,二次计算1720ms。

说明:

1. 以上测试模拟了***表的呈现布局,而且你可以加入切片器改变公式的上下文条件,迅速得出特定产品、特定商户和特定促销活动的新客户以及流失客户,非常方便。

2. 时间统计基于少量的测试结果,存在一定偶然性,仅供参考。

测试环境

电脑配置也是影响计算性能的重要因素,需要说明的是,以上进行的所有测试都基于台式机,在做现场分享的时候,我在笔记本电脑上重新运行了一遍流失客户公式,两个环境的用时如下:

结合平时其他测试,我的笔记本执行同样的计算,用时平均在台式机的两倍左右。两台电脑的配置如下

注意:提升CPU主频、核心数、1、2、3级缓存;内存的大小和频率都会提升引擎的性能表现。

总结

对于本地化大数据集的分析,本文提供了一种新的可能,严格来讲,2010年的时候你已经可以使用,只不过彼时它羽翼未丰,计算性能和稳定性难堪大任。

而现在,你已经见识到了这套工具(PowerPivot+PowerQuery)的能力,无论大数据还是复杂运算,Excel公式和VBA已经无法望其项背

建议

从提问的方式来看,你本身应该就一直在用Excel做数据分析,只是现在当数据量变得更大了,如果真是这样,那么你完全可以去尝试使用新功能Power Query和Power Pivot来解决,而不需要考虑Access。


【私信“材料”直接下载系列训练材料】

  • 【Excel必备基础小动画】

  • 【60+函数汇总案例】

  • 【数据***基础精选10篇】

  • 【Power Query入门到实战80篇】

  • 【Power Pivot 基础精选15篇】

我是大海,微软认证Excel专家,企业签约Power BI顾问

让我们一起学习,共同进步!

【您的关注和转发铸就我前行的动力!谢谢支持!】

到此,以上就是小编对于数据分析利用的问题就介绍到这了,希望介绍关于数据分析利用的2点解答对大家有用。

[免责声明]本文来源于网络,不代表本站立场,如转载内容涉及版权等问题,请联系邮箱:83115484@qq.com,我们会予以删除相关文章,保证您的权利。 转载请注明出处::http://www.lzkypy.com/37264.html

相关文章

数据分析 培训班-数据分析培训班排名

大家好,今天小编关注到一个比较有意思的话题,就是关于数据分析 培训班的问题,于是小编就整理了3个相关介绍数据分析 培训班的解答,让...

数据分析 2024-10-23 阅读0 评论0

数据分析培训班-数据分析培训班排名

大家好,今天小编关注到一个比较有意思的话题,就是关于数据分析培训班的问题,于是小编就整理了2个相关介绍数据分析培训班的解答,让我们...

数据分析 2024-10-23 阅读1 评论0