网页数据爬取功能有吗

数据准备发表于 2023-8-7 08:46

李小玲 Lv2 关注ta

发表于 2023-8-7 08:46:33

网页数据爬取有吗

没必要理会 Lv8 关注ta

发表于 2023-8-7 09:46:16

不能哦，这种功能怕是容易违法呢

李小玲

不会呀，比如证券网站的公开信息，本来就是不限制下载的

2023-8-7 10:14| 回复

使用道具赞举报

李小玲 Lv2 关注ta

发表于 2023-8-7 10:14:10

不会呀，比如证券网站的公开信息，本来就是不限制下载的

君茗

下载不限制，遵循Robots协议没啥大问题，但是不遵循 爬取就可以被定义为违法，抓不抓看爬取的网站懒不懒的搭理（当然还有其他的 尽量看网站发布的爬取协议。。。。。。）。
想玩的话，可以在数据挖掘里面自己写python代码。
不过一般这类爬取的都是单独的代码程序，不会放在某个系统里面，而且为了效率单个网页会定单独的库而不是全库，也会定期去规避反扒机制。

2023-8-7 10:27| 回复