银行与大数据公司合作引监管关注 违规“爬虫”遭围堵

华夏时报（chinatimes.net.cn）记者冉学东 徐晓梅 北京报道

回顾10月发生的大事，多家大数据公司被爆“违规爬虫”必须位列其中。北上广深杭地区的多家大数据公司、爬虫公司、放贷公司等被查。

目前监管层的监管曾经进入银行层面。银行外部人士泄漏，银行曾经收到了告诉，称监管层要求银行填写能否与第三方数据公司展开合作。

有业内资深分析人士告诉《华夏时报》记者，大数据公司爬取明白制止或未被授权的信息，都算是违规的，爬取数据时会有一个robots协议，明白了网站中哪些内容是不应被抓取的，哪些是可以抓取的。

大数据公司被查

根据百度百科引见，网络爬虫（又称为网页蜘蛛），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常运用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

“粗浅点来讲，爬虫它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。” 一位从业者王哈鲁对本报记者表示。

理想上，爬虫技术是具有相关数据业务的公司常用的一种技术。上述业内人士对本报记者坦言，百度、谷歌搜索最基本的技术就是爬虫，自动抓取网页及相关信息，然后做整合输入。

至于会抓取到什么程度呢？“基本上能看到的都能被抓到。”该业内分析人士还对记者补充说，不显示并不代表不存在，用户曾经运用的有留存记录，即便删除能够还会保存在某数据库或服务器上，所以仍有被爬虫到的能够，不过对爬虫技术会有很高的要求。

大概是9月中旬前后末尾，多家大数据公司出现大大小小的事情，原因大都是违规运营爬虫业务。多家大数据公司被警方调查，高管人员被带走，也中止了爬虫服务。

9月6日，杭州魔蝎科技的一位核心高管人员被警方带走调查。同一天，新颜科技CEO也被警方要求协助调查。之后，还有多家大数据公司被警方调查，包括公信宝、集奥聚合、同盾科技、立木征信等，相应的爬虫业务也被迫关停。

行业也嗅到了风险，纷纷自动中止爬虫服务。在魔蝎科技、新颜科技被查后，第三方数据服务公司聚信立做出反应，并于2019年9月6日中止对外提供用户授权的运营商爬虫服务。爬虫服务平台白骑士、天机数据也曾经暂停爬虫服务。

值得一提的是，“爬虫”早在2017年下半年就曾经堕入言论的漩涡，源于一些大数据公司被曝出违规爬虫窃取现金贷放贷数据。

2017年现金贷发展迅猛，乱象丛生，暴露的成绩也越来越多。现金贷成为众人口诛笔伐的对象。直到监管在2017年12月1日下发整理现金贷的141号文，行业才有了改善。

现金贷行业出现的成绩之一是部分现金贷公司开发了“同业爬虫”产品，可以直接将其他现金贷公司的包括放贷额度、风控等相关数据爬取过来。这样一来，现金贷公司大大的减少了放贷成本，经过同业爬虫就可以处理成绩，大数据公司的“爬虫技术”却日渐式微。

为了加强本身的竞争力，不少大数据公司打“擦边球”甚至不惜违规爬虫。2017年11月，有文章爆出大数据公司聚立信、魔蝎科技有偿为现金贷公司爬取放贷数据等，被爬取的公司包括支付宝、微信、其他现金贷公司。

随后，魔蝎科技COO张俊九发布外部信表示，将来2个月，将逐渐关停爬虫业务，同时会启动向已签约客户的赔偿机制。这算是承认了公司存在的违规爬虫成绩。

为防止个人信息泄露，行业内也出现了反爬虫技术。不过上述业内分析人士对本报记者坦言，爬虫、反爬虫、反反爬虫，永远是一个此消彼长的过程，只需爬数据产生的利益大于成本，就会有人去做。所以反爬虫的关键是加强技术晋级，添加爬数据的成本，同时重点监控爬数据的对象，必要时诉诸法律。

可怕的是，很多时分，我们根本不知道是谁在爬取数据。

在移动互联网迅猛发展的时代，数据和流量对于互联网公司至关重要，为了两者甚至不惜一遍遍应战监管的底线，最终将会遭到监管的重罚。

监管趋严

监管也许会迟到，但一定不会出席。

据财新报道，10月22日，北京金融局窗口指点摸排区内一切大数据公司能否存在违规爬虫业务，假如没有则要求公司做出承诺函，假如存在违规爬虫业务，要上报并尽快整改。

另外21世纪经济报道称，中国人民银行、中国银保监会已组成调查组，摸底大数据的运用边界和采集边界，将会触及外包催收公司管理办法。首批排查和调研的机构包括一诺银华、万盛金融和安全普惠。

其中，一诺银华是上海的一家资产处置公司，曾在2015年10月高调挂牌新三板，在获得挂牌赞同函、全国建设分公司后，却因政策限制悄然退市。如今，另外一家催收公司湖南永雄又欲赴美上市，结果如何记者无从得知。

相关监管文件集中迸发。有银行外部人士泄漏，银行曾经收到了告诉，称央行发文紧急调研要求银行填写能否与第三方数据公司展开合作。排查内容触及数据采集、信誉欺诈、信誉评分、风控建模方面，央行要求上报第三方数据公司的名字、股东背景、能否触及爬虫。

总归一句话，大数据公司将面临严监管，用户的个人信息也会得到维护。

中国社会迷信院金融研讨所法与金融研讨室副主任尹振涛曾接受本报记者采访时表示，催收不是一件大事情也不是新颖事，如今出台了《网络安全法》，能够还会有《数据安全管理办法》、《个人金融信息（数据）保护试行办法》相继出台。

《网络安全法》于自2017年6月1日起正式实施，明白规定任何个人和组织不得从事非法侵入别人网络、干扰别人网络正常功能、窃取网络数据等危害网络安全的活动；不得提供专门用于从事侵入网络、干扰网络正常功能及防护措施、窃取网络数据等危害网络安全活动的程序、工具；明知别人从事危害网络安全的活动的，不得为其提供技术支持、广告推行、支付结算等协助。网络数据，是指经过网络搜集、存储、传输、处理和产生的各种电子数据。

2019年6月，网信办发布的《数据安全管理办法（征求意见稿）》是对《网络安全法》的细化，对网络运营者在数据搜集、处理运用、安全监督管理等方面提出了要求，同时对公众关怀的个人敏感信息搜集方式、广告精准推送、账户登记难等成绩做出了回应。

即将出台的《个人金融信息（数据）保护试行办法》则侧重于完善征信机制体制建设，将对金融机构与第三方之间征信业务活动等进一步做出明白规定，加大对违规采集、运用个人征信信息的惩处力度。

违规爬虫的成本提升，网络数据环境或许会有所改善。

责任编辑：孟俊莲 主编：冉学东

楼主呀，，，您太有才了。。。

一直在看

看起来不错