知名数据公司被查,你的爬虫会送老板进监狱吗?

来源:51CTO 作者:魅力北方网 人气: 发布时间:2019-09-17

导读:9 月 6 日下午,多位业内人士称,杭州知名大数据服务公司杭州魔蝎数据科技有限公司,疑似被相关执法人员控制,其中一位周姓核心高管人员被警方带走。

9 月 6 日下午,多位业内人士称,杭州知名大数据服务公司杭州魔蝎数据科技有限公司,疑似被相关执法人员控制,其中一位周姓核心高管人员被警方带走。

 

知名数据公司被查,你的爬虫会送老板进监狱吗?

 

 

图片来自 pexels

以上是前几天技术圈传播的一则新闻,又一家数据公司被调查,很多数据从业者、爬虫开发者发出了“感叹” —— 「爬虫用得好,XX 进得早;数据玩得溜,XX 吃个够」。

 

知名数据公司被查,你的爬虫会送老板进监狱吗?

 

 

知情人士现场拍摄

魔蝎科技作为一家数据服务公司,曾在 2017 年一篇『爬虫凶猛:爬支付宝、爬微信、窃取现金贷放贷数据』的文章中,被指出存在开发使用恶意爬虫的行为。

 

知名数据公司被查,你的爬虫会送老板进监狱吗?

 

 

目前魔蝎科技官网、后台均无法打开

当然关于魔蝎科技为什么被查,这个等待执法部门的调查结果即可,咱们不在这里无端猜测。

我今天要说的是关于爬虫的合法性,我希望通过一些案例来探讨:怎样做一个不触碰红线的爬虫开发者。

 

知名数据公司被查,你的爬虫会送老板进监狱吗?

 

 

爬虫作为一种计算机技术,具有技术中立性,爬虫技术在法律上从来没有被禁止。

爬虫的发展历史可以追溯到 20 年前,搜索引擎、聚合导航、数据分析、人工智能等业务,都需要基于爬虫技术。

但是爬虫作为获取数据的技术手段之一,由于部分数据存在敏感性,如果不能甄别哪些数据是可以爬取,哪些会触及红线,可能下一位上新闻的主角就是你。

如何界定爬虫的合法性,目前没有明文规定,但我通过翻阅大量文章、事件、分享、司法案例,我总结出界定的三个关键点:

  • 数据的采集途径
  • 数据的采集行为
  • 数据的使用目的

数据的采集途径

通过什么途径爬取数据,这个是最需要重视的一点。总体来说,未公开、未经许可、且带有敏感信息的数据,不管是通过什么渠道获得,都是一种不合法的行为。

所以在采集这类比较敏感的数据时,最好先查询下相关法律法规,特别是用户个人信息、其他商业平台的信息等这类信息,寻找一条合适的途径。

个人数据

采集和分析个人信息数据,应该是当下所有互联网都会做的一件事,但是大部分个人数据都是非公开的。

想获得必须通过合法途径,可参见『网络安全法』第四十一条:

网络运营者收集、使用个人信息,应当遵循合法、正当、必要的原则,公开收集、使用规则,明示收集、使用信息的目的、方式和范围,并经被收集者同意...

也就是必须在提前告知收集的方式、范围、目的,并经过用户授权或同意后,才能采集使用,也就是我们常见的各种网站与 App 的用户协议中关于信息收集的部分。

相关反面案例:

8 月 20 日,澎湃新闻从绍兴市越城区公安分局获悉,该局日前侦破一起特大流量劫持案,涉案的新三板挂牌公司北京瑞智华胜科技股份有限公司,涉嫌非法窃取用户个人信息 30 亿条,涉及百度、腾讯、阿里、京东等全国 96 家互联网公司产品,目前警方已从该公司及其关联公司抓获 6 名犯罪嫌疑人。

......

北京瑞智华胜公司及其关联公司在与正规运营商合作中,会加入一些非法软件用于清洗流量、获取用户的 Cookie。

节选自澎湃新闻:『新三板挂牌公司涉窃取 30 亿条个人信息,非法牟利超千万元』[1]。

公开数据

从合法公开渠道,并且不明显违背个人信息主体意愿,都没有什么问题。但如果通过破解、侵入等“黑客”手段来获取数据,那也有相关法律等着你:

刑法第二百八十五条第三款规定的“专门用于侵入、非法控制计算机信息系统的程序、工具”:

(一)具有避开或者突破计算机信息系统安全保护措施,未经授权或者超越授权获取计算机信息系统数据的功能的;

......

违反 Robots 协议

虽然 Robots 协议没有法规强制遵守,但 Robots 协议作为行业约定,在遵循之下会给你带来合法支持。

因为 Robots 协议具有指导意义,如果注明 Disallow 就说明是平台明显要保护的页面数据,想爬取之前应该仔细考虑一下。

数据的采集行为

使用技术手段应该懂得克制,一些容易对服务器和业务造成干扰甚至破坏的行为,应当充分衡量其承受能力,毕竟不是每家都是 BAT 级。

高并发压力

做技术经常专注于优化,爬虫开发也是如此,想尽各种办法增加并发数、请求效率,但高并发带来的近乎 DDOS 的请求,如果对对方服务器造成压力,影响了对方正常业务,那就应该警惕了。

如果一旦导致严重后果,后果参见:

《刑法》第二百八十六条还规定,违反国家规定,对计算机信息系统功能进行删除、修改、增加、干扰,造成计算机信息系统不能正常运行,后果严重的,构成犯罪。

所以请爬取的时候,即使没有反爬限制,也不要肆无忌惮地开启高并发,掂量一下对方服务器的实力。

影响正常业务

除了高并发请求,还有一些影响业务的情况,常见的比如抢单,会影响正常用户的体验。

数据的使用目的

数据使用目的同样是一大关键,就算你通过合法途径采集的数据,如果对数据没有正确的使用,同样会存在不合法的行为。

超出约定的使用

一种情况是公开收集的数据,但没有遵循之前告知的使用目的,比如用户协议上说只是分析用户行为,帮助提高产品体验,结果变成了出售用户画像数据。

还有一种情况,是有知识产权、著作权的作品,可能会允许你下载或引用,但明显标注了使用范围。

比如不能转载、不能用于商业行为等,更不能去盗用,这些都是有法律明文保护,所以要注意使用。其他情况就不列举了。

出售个人信息

关于出售个人信息,千万不要做,是法律特别指出禁止的,参见:

根据《最高人民法院最高人民检察院关于办理侵犯公民个人信息刑事案件适用法律若干问题的解释》第五条规定,对“情节严重”的解释:

(1)非法获取、出售或者提供行踪轨迹信息、通信内容、征信信息、财产信息五十条以上的。

(2)非法获取、出售或者提供住宿信息、通信记录、健康生理信息、交易信息等其他可能影响人身、财产安全的公民个人信息五百条以上的。

(3)非法获取、出售或者提供第三项、第四项规定以外的公民个人信息五千条以上的便构成“侵犯公民个人信息罪”所要求的“情节严重”。

此外,未经被收集者同意,即使是将合法收集的公民个人信息向他人提供的,也属于刑法第二百五十三条之一规定的“提供公民个人信息”,可能构成犯罪。

不正当商业行为

如果将竞品公司的数据,服务自己公司的商业目的,这就可能存在构成不正当商业竞争,或者是违反知识产权保护。

这种情况在目前涉及爬虫的商业诉讼案中比较常见,两年前比较知名的案件,“车来了” App 抓取其竞品 “酷米客” 的公交车数据,并展示在自己的产品上:

虽然公交车作为公共交通工具,其实时运行路线、运行时间等信息仅系客观事实,但当此类信息经过人工收集、分析、编辑、整合并配合 GPS 精确定位,作为公交信息查询软件的后台数据后,此类信息便具有了实用性并能够为权利人带来现实或潜在、当下或将来的经济利益,已经具备无形财产的属性。

元光公司利用网络爬虫技术大量获取并且无偿使用谷米公司“酷米客”软件的实时公交信息数据的行为,实为一种“不劳而获”、“食人而肥”的行为,构成不正当竞争。

节选自『深圳市中级人民法院(2017)粤03民初822号民事判决书』。

 

知名数据公司被查,你的爬虫会送老板进监狱吗?

 

 

“爬虫法”即将出台

好消息是,相关办法已经在路上了。

5 月 28 日零点,国家互联网信息办公室发布了《数据安全管理办法》征求意见稿。

我也查阅了这份意见稿,里面对数据的获取、存储、传输、使用等都做了一些规定,包括关于爬虫行为的若干规定(还在征求阶段,因此后续可能会有变化)。

比如,第二章第十六条:

网络运营者采取自动化手段访问收集网站数据,不得妨碍网站正常运行;此类行为严重影响网站运行,如自动化访问收集流量超过网站日均流量三分之一,网站要求停止自动化访问收集时,应当停止。

第三章第二十七条:

网络运营者向他人提供个人信息前,应当评估可能带来的安全风险,并征得个人信息主体同意。

下列情况除外:

(一)从合法公开渠道收集且不明显违背个人信息主体意愿。

(二)个人信息主体主动公开。

(三)经过匿名化处理。

(四)执法机关依法履行职责所必需。

(五)维护国家安全、社会公共利益、个人信息主体生命安全所必需。

节选自『数据安全管理办法(征求意见稿)』[2]

结语

在此声明:以上所有内容仅是个人分析,可能存在错误之处,不能作为任何依据,具体以相关法律法规为准。

希望能给各位爬虫开发者,也包括其他开发者一些启示:技术虽中立,使用有善恶,一定要合理合规、严格谨慎地使用技术。

打赏

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,你说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

责任编辑:魅力北方网

 

 

热门标签

农科院火箭呼伦贝尔石油人叙政府军深圳最终幻想7中国历史李克强龙凤区家长介入歌唱祖国阿里人工智能市生态环境局救援双汇暴雷黄金毕业生国际航线瘦腿方法下水管道瞭望塔拍戏苏57沐浴露排行榜租赁合同宝宝的营养王菲内地记者项目签约杂技巩俐回家美妇健身俱乐部按摩乳最新体育赛事张艺兴天天向上希拉里孕妇体操通车魅力北方网济川药业未成年人养肤首款碰瓷诈骗麒麟990农民杜尔伯特泰国菜市场股民宝格丽中卫新角色牛油果营养价值重点工作塑身中国卫星把脉作文高考报名项目城乡居民杭州乐伽爆雷乡村教师蒂芙尼经典珠宝首饰国内新闻热点彭斯赛跑田径世锦赛学位论文答辩墨镜手机像素蓝色预警白宫海洋垃圾消费者柯文哲新娘造型报停使命国家公务员激瘦食物泥膜夜场母乳营养成分油价传销三胞胎停水流程伤亡山东67岁产妇胡塞武装太空游乐场城市新地标南京信托公司大雪清除顾操毛里求斯车震经历晚婚晚育同房黄海波流行趋势言语低俗偏见齐齐哈尔巴士司机农村学校龙凤湿地中国特色社会主义制度孕妇四维彩超气温黑色诱惑运载火箭紫霞仙子污染沈腾耍大牌头像公告牌星座配对大阅兵沙特市场白菜价日美贸易旺角獐子岛美臀方法保健品审查调查野鸟封神故事发言摘编阿里董事无花果功效送温暖身份验证大批军火美国制裁欧盟圆通股市新闻侵权群众利益暴风金融效益首尔氢动力出租车猪头肉配方脱毛膏保质期饮食提示琅琊榜油建二公司王者荣耀新英雄石化河南牛肉汤中油电能气电公司土鸡涉事千里挑一健康养老最新汽车新闻祖国庆生军队三国志战略版转学保养卵巢方法总书记服务员出炉化解流感听证会无花果巾帼营养师幕后萨尔图纪念币投诉电话大庆萨尔图区避高峰iPS细胞回归祖国袁泉孕妈咪小吃检测加工方便面新吃法国际学校电脑软件大庆今冬菜价智慧屏净资产吸油烟机中途岛煮玉米财政部涉嫌套路贷西城开国前夜一年级奥数寻人LEPEBBLE北大荒公益活动游戏公司香奈尔包帮扶保健食品子弟兵医疗专业时代楷模拜泉县商品剖腹产爱立信大米城乡居民基本医疗保险景峰医药萨尔图机场鼎盛保险经济发展学习走路马来西亚吉隆坡朝鲜代表抓捕未发生泰康镇民族企业iPhone11信号差行业贵族学校孕妈身体锻炼网站采集文章伊朗大阅兵女儿的恋爱刘德华用户信息腱鞘炎淞沪会战研究生复试注采效率表现调味品探索发现永生之路世界一流大学首飞沙特军乐团文章砸手机王菲献唱电影主题曲健康面部妆容公平竞争贷款买车英雄机长张宏民死馒头户籍高速公路天象双胞胎物业管理肿瘤筛查固井重患腾讯财付通被罚全能电动皮卡齐齐哈尔机场山东卫康财富育婴师温度涉嫌操纵市场军事行动蜂蜜萨尔图区流产后多久可以同房消防员分析会郑州AB型血哥伦比亚高雷雷炮轰足协故事伤害去角质的产品涉嫌无证施工爱国者导弹主题敏感肌肤文物新一代东风天龙KL重卡受孕小米电视报假警KO进京证卢伟冰足球冰雪交流坑洼路面网吧汽水指数排名美国宣战国足行政服务中心拍卖会中国空军卡其色 配色海航集团,海航控股美军袭击IS外省招聘飞利浦照明青海茶卡盐湖攻略外交关系职业技能提升性补贴监督举报戴口罩毕业生卤蛋的制作方法俞渝违纪违法脱贫致富候鸟迁徙巩俐素颜大国外交新西兰开幕式连环杀人案京剧油画展绥棱语言竞赛朱茵5G环众泰护肤品牌少妇降血压偶像学校翻唱5G网络广汽祛斑霜排行榜央视交通委未审验新会战行业标准团结腐败干部老街基安全防范龙江银行印度王牌部队癌症林狗邓肯做饭绿色名片福田中国乡村报名退休健康产业温州世园会教师同房姿势倒行库尔德央视名嘴张宏民门禁金针菇潘多拉的奢华单品人民网公布空气污染国际时装周黑发人性报警器无锡垮桥事故两项冠军考古挖掘小区汽车哈尔滨路易基鬼屋3李小璐网店开业货船难倒燃烧的旋律袁隆平刷脸登机育儿专家炼化罚单通勤线路iPadOS 13.1正打砸贫困儿童我和我的祖国线索台湾游行中国移动袁隆平海水稻小众美食大全天然气武警部队肝癌基因美食做法装修房子中国男篮外运菜黄金周苹果平板电脑鞋子海立方瑜伽师火箭军装备涉嫌传销解放牌六代卡车雪莉福田图雅诺塔利班伊斯兰运动黑龙江总队大庆支队气帘纪检监察机关紫辉时代广场美甲教程超不忘初心牢记使命献血商品房绥化俄军事专家华为Mate 30售价大庆中院统计表专项检查打卡山东金锣秋粮收购城市环境5G 套餐目标冻龄国航淡季旅游党委副书记待产包需要准备什么90Hz电竞屏跨越时代日常补水保湿省委网信办科学技术奖塔利班访华香坊区利润素质欠费旷课中国银行人脸识别值机小东江自由行降温降雨私募高校招生摆渡人安置最新国内新闻中远海能等你来摩托车诈骗大庆市农业农村局第一作业区自卫队特斯拉出厂量猪肉市场隧洞卵巢早衰大庆男子美中贸易小胖墩最新手机选调婚纱照井下作业分公司未成年人犯罪英国油轮快递员日料重大刑事案件手术