slgyyq.com — 领先的中文存储网络媒体 | 51CTO旗下网站

新闻资讯 > 商用办公 > 正文
这些不用编程的爬虫工具,你一定要知道
作者: DC学院 2019-06-05 16:27 【今日头条】

随着Scrapy等框架的流行,利用编程语言写爬虫已经成为一种时尚,好像每个互联网人都会一点爬虫。

大神利用爬虫将学校所有重要的在线服务集合成了一套JSON API ,然后开发成了App;

爬了知乎12万用户的头像,把长得像的头像放在一起,方便浏览:然后搜集了知友们的点击,预测出来这是你们(平均)最喜欢的人长的样子;

网友写了个爬虫按标签爬下来豆瓣所有的书,按现有标签来分类检索豆瓣图书,并按分数从高到低排序。

......

这些有趣的故事均来自知乎上的一个热门话题:利用爬虫技术能做到哪些很酷很有趣很有用的事情?

人人都会爬虫

初期的互联网,写爬虫是门技术活,往大的方向说,爬虫技术是搜索引擎的组成部分。

随着互联网技术的发展,写爬虫的门槛一降再降,一些编程语言甚至直接提供爬虫框架,例如python的Scrapy框架,它们让写爬虫走入“寻常百姓家”。

我们已经发现,写爬虫是一件炫酷的事情,但即使是这样,学习爬虫仍然有一定的技术门槛。

当前的主流爬虫手段是用Python编程,Python的强大毋庸置疑,但初学者学习Python还是需要一两个月时间的。

有没有一些更简单的爬取数据方法呢?答案是有的。

一些可视化的爬虫工具通过策略来爬取特定的数据, 虽然没有自己写爬虫操作精准,但是学习成本低很多,下面就来介绍几款可视化的爬虫工具。

国内工具

01 Microsoft Excel

首先教大家一个用Excel爬取数据的方法,这里用的Microsoft Excel 2013版本,下面手把手开始教学~

(1)新建Excel,打开它,如下图所示

这些不用编程的爬虫工具,你一定要知道

(2)点击“数据”——“自网站”

这些不用编程的爬虫工具,你一定要知道

(3)在弹出的对话框中输入目标网址,这里以全国实时空气质量网站为例,点击转到,再导入

这些不用编程的爬虫工具,你一定要知道

选择导入位置,确定

这些不用编程的爬虫工具,你一定要知道

(4)结果如下图所示,怎么样,是不是很赞?

这些不用编程的爬虫工具,你一定要知道

(5)如果要实时更新数据,可以在“数据”——“全部更新”——“连接属性”中进行设置,输入更新频率即可

这些不用编程的爬虫工具,你一定要知道
这些不用编程的爬虫工具,你一定要知道

02 八爪鱼

一款可视化免编程的网页采集软件,可以从不同网站中快速提取规范化数据,帮助用户实现数据的自动化采集、编辑以及规范化,降低工作成本。

这些不用编程的爬虫工具,你一定要知道

简易模式采集步骤

是一款适合小白用户尝试的采集软件,云功能强大,当然爬虫老手也能开拓它的高级功能。

网址:https://www.bazhuayu.com/

03 火车头

火车头是一款互联网数据抓取、处理、分析,挖掘软件,采集功能完善,不限网页与内容,任意文件格式都可下载,号称能采集99%的网页。

这些不用编程的爬虫工具,你一定要知道

软件定位比较专业而且精准化,使用者需要有基本的HTML基础,能看得懂网页源码,网页结构,但软件提供相应教程,新手也能够学习上手。

网址:http://www.locoy.com/

04 集搜客

一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素。

这些不用编程的爬虫工具,你一定要知道

操作较简单,适用于初级用户,功能方面没有太大的特色,后续付费要求比较多。

网址:http://www.gooseeker.com/index.html

05 神箭手云爬虫

一款新颖的云端在线智能爬虫/采集器,基于神箭手分布式云爬虫框架,帮助用户快速获取大量规范化的网页数据。

这些不用编程的爬虫工具,你一定要知道

类似一个爬虫系统框架,具体采集还需用户自写爬虫,需要代码基础。

网址:https://www.shenjian.io

06 狂人采集器

一套专业的网站内容采集软件,支持各类论坛的帖子和回复采集,网站和博客文章内容抓取,分论坛采集器、CMS采集器和博客采集器三类。

这些不用编程的爬虫工具,你一定要知道

专注论坛、博客文本内容的抓取,对于全网数据的采集通用性不高。

网址:http://www.kuangren.cc/

国外工具

01 Google Sheet

使用Google Sheet爬取数据前,要保证三点:使用Chrome浏览器、拥有Google账号、电脑已翻墙。如果这三个条件具备了的话,下面我们就开始吧~

(1)打开Google Sheet网站:google.cn/sheets/about/

这些不用编程的爬虫工具,你一定要知道

(2)在首页上点击“转到Google表格”,然后登录自己的账号,可以看到如下界面,再点击“+”创建新的表格

这些不用编程的爬虫工具,你一定要知道

新建的表格如下:

这些不用编程的爬虫工具,你一定要知道

(3)打开要爬取的目标网站,一个全国实时空气质量网站pm25.in/rank,目标网站上的表格结构如下图所示

这些不用编程的爬虫工具,你一定要知道

(4)回到Google sheet页面,使用函数=IMPORTHTML(网址, 查询, 索引),“网址”就是要爬取数据的目标网站,“查询”中输入“list”或“table”,这个取决于数据的具体结构类型,“索引”填阿拉伯数字,从1开始,对应着网站中定义的哪一份表格或列表

对于我们要爬取的网站,我们在Google sheet的A1单元格中输入函数=IMPORTHTML("pm25.in/rank","table",1),回车后就爬得数据啦

这些不用编程的爬虫工具,你一定要知道
这些不用编程的爬虫工具,你一定要知道

(5)将爬取好的表格存到本地

这些不用编程的爬虫工具,你一定要知道

是不是感觉超级简单?

02 you-get

这是一个程序员基于python 3开发的项目,已经在github上面开源,支持64个网站,包括优酷、土豆、爱奇艺、b站、酷狗音乐、虾米……总之你能想到的网站都有!

还有一个黑科技的地方,即使是名单上没有的网站,当你输入链接,程序也会猜测你想要下载什么,然后帮你下载。

当然you-get要在python3环境下进行安装,用pip安装好后,在终端输入“you get+你想下载资源的链接”就可以等着收藏资源了。

这里给一个you-get的中文使用说明,按照说明上写的按步骤操作就可以啦。

03 import.io

Import.io是一个基于Web的网页数据采集平台,用户无需编写代码点选即可生成一个提取器。相比国内大多采集软件,Import.io较为智能,能够匹配并生成同类元素列表,用户输入网址也可一键采集数据。

这些不用编程的爬虫工具,你一定要知道

Import.io智能发展,采集简便,但对于一些复杂的网页结构处理能力较为薄弱。

网址:https://www.import.io

04 Octoparse

Octoparse是八爪鱼的海外版,采集页面设计简单友好,完全可视化操作,适用于新手用户。

这些不用编程的爬虫工具,你一定要知道

运行并获取数据

Octoparse功能完善,价格合理,能够应用于复杂网页结构,如果你想无需翻墙直采亚马逊、Facebook、Twitter等平台,Octoparse是一种选择。

网址:https://www.octoparse.com/

05 visual web ripper

Visual Web Ripper是一个自动化的Web抓取工具,支持各种功能。

这些不用编程的爬虫工具,你一定要知道

它适用于某些高级且采集难度较大的网页结构,用户需具备较强的编程技能。

网址:http://visualwebripper.com/

06 content Grabber

Content Grabber是功能最强大的Web抓取工具之一。它更适合具有高级编程技能的人群,提供了许多强大的脚本编辑,调试界面。允许用户编写正则表达式,而不是使用内置的工具。

Content Grabber网页适用性强,功能强大,不完全为用户提供基础功能,适合具有高级编程技能的人群。

网址:http://www.contentgrabber.com/

07 Mozenda

Mozenda是一个基于云服务的数据采集软件,为用户提供许多实用性功能包括数据云端储备功能。

这些不用编程的爬虫工具,你一定要知道

适合拥有基础爬虫经验的人群。


标签:商用办公 

LecVideo

澳门威尼斯人平台网址