数据分析一定要学爬虫吗-数据分析需要学爬虫吗

大家好，今天小编关注到一个比较有意思的话题，就是关于数据分析一定要学爬虫吗的问题，于是小编就整理了2个相关介绍数据分析一定要学爬虫吗的解答，让我们一起看看吧。

1. 不学网络爬虫，用Excel抓取数据，可以吗？
2. 学习python的爬虫用先学习html吗？

不学网络爬虫，用Excel抓取数据，可以吗？

当然是可以的，但是使用起来不是很灵活，没有python等语言抓取数据好处理，下面我大概介绍一下excel抓取数据的过程，实验环境win7+office2013，主要内容如下：

1.新建一个excel文件，双击打开这个文件，分别选择“数据”->“自网络”，如下：

2.在弹出的子窗口输入所要抓取的页面，这里以抓取***://***.pm25.in/rank页面的数据为例，分别点击“转到”->“导入”，如下：

3.成功导入后，数据如下，已经成功抓取到我们所需要的数据：

4.如果想定时刷新数据的话，这里可以点击“全部刷新”->“连接属性”，自定义刷新的频率，默认是60分钟：

在弹出的“选择属性”窗口，设计刷新频率，定时刷新数据：

至此，我们就完成了利用excel抓取数据。总的来说，整个过程挺简单的，只不过灵活性不是很高，而且如果页面比较复杂，抓取的数据量又比较多，后期直接在excel处理起来不是很方便，题主已经都会python了，建议还是用python直接抓取，更灵活，python提供了许多爬虫包和框架，像requests,bs4,lxml,scrapy等，可以快速的抓取数据，也方便后期的处理（像pandas,numpy等），学的话，很快就能上手，网上也有相关资料和教程，希望以上分享的内容能对你有所帮助吧。

我是大海，微软认证Excel专家，企业签约Power BI顾问，喜欢研究无需VBA的Excel报表自动化及数据分析问题。

对于数据抓取的问题，一般来说得看数据源本身的情况，如果数据源本身没有防爬，那用Excel抓取完全没有问题，而且也不需要VBA，因为现在Excel的新功能Power Query提供了网抓的基本功能。具体用法举例如下：

一、抓取imdb网站电影数据

二、抓取国际燃油价格信息

本例中虽然用的是Power BI，实际上跟Excel里用Power Query操作是完全一样的。

三、相关知识及其他案例

另外，我还在一个关于Power Query和Power Pivot的***课程里录制了一个用Excel进行网络数据抓取的内容。有兴趣的朋友也可以了解一下。

欢迎在评论中发表不同观点，共同学习，一起进步。

私信“材料”下载系列文章配套材料100+份

可以的，既然楼主已经懂Python相关的代码，说明已经了解了爬虫的基本原理，而楼主的主要诉求是不想写代码就可简单实现数据爬虫，并完成数据分析，换句话说就是：使用界面操作代替爬虫代码去实现数据爬取。

目前Excel可以实现简单的数据爬取，在菜单栏的数据栏下有自网站功能，可以输入目标网页进行数据爬取（对于一些顽固的网站，可以在高级功能中选择浏览器的标头参数并设置响应时间来完成数据爬取）

最后获取的数据在Power Query中清洗后，可以在Excel内设置定时刷新的时间，全程不需要额外的操作及代码的编写

其次，Excel的升级版Power BI可以实现翻页网页的数据爬虫，整个环节更为简单（全程界面操作，无需编写代码）、也可下钻到具体的详情页内进行数据或文本的爬取，就看楼主的具体需求了

Excel完成数据爬虫

如果对这方面感兴趣的话，可以关注：憨憨少年小木木

憨憨少年小木木（戳我了解详情）

后面会有完整的爬虫系列，全部是非代码完成，同时获取数据后可直接进行数据清洗及数据可视化仪表盘的制作哦

有时需要从某个网站获（爬）取一些数据，并且能够时时更新，这是后就需要 爬虫了，不会敲代码用 Excel 也可以简单实现这个功能，步骤也很简单，可别小瞧了 Excel！

基本步骤：

1. 双击图标，打开 Excel

2. 依次点击，数据 >> 从网站(自网站)

3. 在弹出的对话框中，输入目标网址，Games sales ，点击转到，go

4. 等待网页加载，点击你需要的数据区域，点击导入，import

5，然后会弹出一个数据存放区域的对话框，随便找个地方，点击 ok

6. 等待数据加载(本次无需点击)

7. 大约等待 10 秒钟，可以看到了，大概爬取了 600 行的数据

利用Excle自动获取网页数据，譬如从网页中自动获取基金净值数据，取得所关注基金的净值，列出当日涨幅最高的基金。其他用处还有很多，看你怎么解放双手了。

学习python的爬虫用先学习html吗？

您好！很高兴在这里交流！

在Python爬虫的学习过程中，有很多内容需要了解，比如，常见的网络爬虫库，经典的爬虫框架，还有正则表达式等等。

正则表达式的学习，可以参考：***s://docs.python.org/zh-cn/3/library/re.html

菜鸟教程：***s://***.runoob***/w3cnote/python-spider-intro.html

经典爬虫框架scrapy教程：

***s://docs.pythontab***/scrapy/scrapy0.24/

《Python爬虫学习系列教程》学习笔记：***s://***.cnblogs***/xin-xin/p/42***852.html

一切顺利，加油。

最好学习一下，不要求熟悉，但必须要会，我们爬虫所爬取的网页数据大部分都会直接或间接嵌套在html标签或属性中，如果你对html一点都不了解，也就无从谈及数据的解析和提取，下面我简单介绍一下python爬虫的学习过程，感兴趣的朋友可以尝试一下：

基础html知识

这个是最基本也是必须的，首先，学习网络爬虫，你就需要学习html知识，网页是用html写的，数据自然也会嵌套在其中，无非就是某一个标签或属性，如果你对html一点都不了解，也就无从谈及解析规则的编写，数据也就无从提取，不要求多么熟悉、精通html，但基本的标签、属性必须要能看懂，如果你没有这方面基础的话，建议学习一下，初学入门html，也主要以记忆为主，很快就能掌握：

基本爬虫库

基础的html知识掌握后，就是网络爬虫的编写，这里可以从一些简单易用、容易上手的爬虫库开始，比较常见的就是urllib、requests、beautifulsoup、lxml，官方教程非常详细，先获取网页数据，然后再编写解析规则提取即可，对于大部分静态网页来说，都可以轻松爬取，动态网页数据的提取可能需要抓包分析（数据不会直接在网页源码中看到），但基本原理类似，也是先获取数据，然后再解析提取：

专业爬虫框架

基本爬虫库熟悉后，大部分网页数据都可以爬取，但需要反复造轮子，效率不高，也不易于后期维护和扩展，这里可以学习一下专业强大的爬虫框架，python来说，比较受欢迎、也比较流行的就是scrapy，框架成熟、稳定，可扩展性强，只需编写少量代码即可快速开启一个爬虫程序，初学入门来说也非常友好，官方文档丰富，社区活跃，资料齐全，各个模块组件都是独立开源的，后期研究学习也非常不错：

总之，python爬虫对html要求不高，但必须要了解，能看懂基本的网页结构、标签和属性，后期才能编写具体的解析规则提取数据，建议多看多练，熟悉一下scrapy框架的使用，网上也有相关教程和资料，介绍的非常详细，感兴趣的话，可以搜一下，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言进行补充。

首先以我个人学习爬虫亲身体经历说下我的个人观点，学习Python爬虫是需要一定程度上了解html语言的，但还远不够，具体针对html语言，无需学到能够独立开发网站网页的技术程度，而是要了解其原理和常用语法。

网页与html语言

爬虫是模拟用户访问网络的行为，对网络中服务器信息进行搜集并存储的一种数据***集技术。爬虫一般可以分为通用网络爬虫（General Purpose Web Crawler）、聚焦网络爬虫（Focused Web Crawler）、增量式网络爬虫（Incremental Web Crawler）、深层网络爬虫（Deep Web Crawler），但实际上多为上面几种爬虫技术的结合体。网络爬虫爬取的对象就是网页，早期的网站前端多是***用html语言开发的静态网页。

HTML（Hyper Text Markup Language，超文本标记语言）是用于在Internet上显示Web页面的主要标记语言。网页由HTML组成，用于通过Web浏览器显示文本，图像或其他***。HTML文件的文件扩展名为.htm或.html。

爬虫必备的知识基础

• 需要学习html 相关知识，还有*** 协议知识
• 爬虫基础知识，包括爬虫理论基础、爬虫实现原理和技术、爬虫请求requests库、网页解析库、headers属性和代理服务器设置。

下面是爬虫的工作过程

希望我的回答对您有帮助！刚加入头条号，后面本人会陆续发布算法编程、大数据和AI等相关文章和免费教程，敬请关注！

到此，以上就是小编对于数据分析一定要学爬虫吗的问题就介绍到这了，希望介绍关于数据分析一定要学爬虫吗的2点解答对大家有用。