网页数据爬取功能有吗

数据准备发表于 2023-8-7 08:46

李小玲 Lv2 关注ta

发表于 2023-8-7 08:46:33

网页数据爬取有吗

没必要理会 Lv8 关注ta

发表于 2023-8-7 09:46:16

不能哦，这种功能怕是容易违法呢

李小玲

不会呀，比如证券网站的公开信息，本来就是不限制下载的

2023-8-7 10:14| 回复

使用道具赞举报

李小玲 Lv2 关注ta

发表于 2023-8-7 10:14:10

不会呀，比如证券网站的公开信息，本来就是不限制下载的

君茗

下载不限制，遵循Robots协议没啥大问题，但是不遵循 爬取就可以被定义为违法，抓不抓看爬取的网站懒不懒的搭理（当然还有其他的 尽量看网站发布的爬取协议。。。。。。）。
想玩的话，可以在数据挖掘里面自己写python代码。
不过一般这类爬取的都是单独的代码程序，不会放在某个系统里面，而且为了效率单个网页会定单独的库而不是全库，也会定期去规避反扒机制。

2023-8-7 10:27| 回复

没必要理会
回复君茗
2023-8-7 10:45| 回复
李小玲
回复君茗
2023-8-7 18:08| 回复

使用道具赞举报

返回列表

6回帖数	0关注人数	516浏览人数
最后回复于：2023-8-7 10:14

邀请回答

邀请麦粉解答问题，每天可以发送10次邀请！请勿重复邀请~

头像	昵称	操作
	茶语	邀请TA
	我的小宝贝	邀请TA
	麦本麦	邀请TA
	ekko	邀请TA
	Xichen	邀请TA
	红茶可乐	邀请TA