今日头条反爬措施形同虚设,论多平台协同在安全方面的重要性一二一二一

想当年,头条刚问世,正愁长辈看新闻没合适且方便的工具,虽然不爽头条的自动推荐算法,但还是安利出一个忠实用户。

现如今,头条已成巨头,刚将互动百科纳入囊中,百度百科估计吃不了,若把维基百科吃掉那绝对神奇。

头条系在内容巨头的路上,越走越远,文有头条守江山,武有抖音打天下,多媒体王者得到了4G时代的最大红利,这严重依赖于头条领导系统性建设的眼光。

今日头条,抖音,西瓜,悟空问答,内涵段子,懂车帝…

今天,这里要讲的不是头条产品之间的协同棒棒的,而是,产品内部不同需求之间的协同没有做到和产品一样棒。

虽然现在是巨头相互封闭的时代,但大家如果用心使用一个App,比如今日头条,一定会发现,在一定角度,它们并没有封闭到完全密不透风,它们会努力让你把App里的内容传播出去,为App导流。

这些出口,就是攻破App严密堡垒的基础。不同的平台,不同的应用,不同的开发人员,稍有疏忽,就出现漏洞。

再叠加部署不同功能的不同服务器之间的缺乏沟通,很容易就会导致精心设计的防线形同虚设。

对头条这类内容大佬而言,它的安全,一个重要的方面就是内容安全,既要防止不合规内容的产生,这依赖于数量庞大的审核员产业大军,又要防止内容被扒过度,这依靠的是在爬虫路上设置的重重障碍。

这直接导致一个内容app,如果想支持不同的平台不同访问端,就需要对各个平台和访问端进行个性化定制。个性化定制开发人员的最低水平将决定安全水桶的高度。

在本质上,网络安全问题就是人的问题。由于开发者、维护者、使用者能力和项目侧重点的差异,使各个大小单元之间出现协同的不匹配,导致最终出现安全问题。

继续回到头条,虽然号称App工厂,产品开发流水线化,技术先进性相比其它巨头有很大优势。但不可避免的仍然需要对不同访问手段进行定制化开发,这必然会导致短板出现。

在内容安全的反爬方面,头条的一个重要措施,就是各种数值的特征校验,它贯彻得很好,各个平台都在使用,阵型相当统一,再次体现了技术理念的领先性。

上一次,吭哧吭哧地分析的头条signature算法,就是这个特征校验的过程,建议大家看看:

虽然算法分析的文字里已经将算法描述透彻,可以轻易利用起来,但真心的,对这个算法的设计我还是蛮佩服的,它利用了好多种平台特性,对多种爬虫手段例如Selenium进行了检测,看得出开发者经验非常丰富,配得上头条高大威猛的待遇。

技术上,这里继续以今日头条内小视频和西瓜视频为靶子来给大家讲故事。毕竟这个视频占了今日头条APP版面的2/3,看得出这是字节跳动的更广阔未来。

按常理,这么多使用场景,再财大气粗,也不可能都被重视,对不对?这将必然导致大大小小的安全问题出现。

在只考虑各个单一使用场景,这段签名验证算法应用得很好,都用到了,并且都达到了算法的目的,再夸一次。

夸完了,接下来应该就是批了。

下面来看下用到签名算法的场景。

首先移动浏览器端访问的签名算法:

里面获取的是一个视频的描述信息,例如视频资源id,视频标题描述等。

再看PC端浏览器访问的签名算法:

里面获取的是一些与视频关联的信息。

它们都是由访问视频网页页面时自动触发的。对同一个URL,头条服务器会根据不同的UA参数返回不同的跳转。

移动端浏览器访问的302跳转是这样:

PC端访问的302跳转是这样:

这两个是不同的页面,里面的内容有差异,导致最后需要从服务器获取的关键数据不同。

其中,移动端浏览器需要获取的是一个视频资源的ID,有这个ID,就能获取到视频资源在CDN中的最终资源地址。

这个资源ID在移动端的获取自然是需要使用签名验证算法进行保护的。

但是,在PC端浏览器的页面中,这个资源ID却直接被请求下来了。

两边对同一个数据处理不一致,移动浏览器端被保护的内容在PC浏览器端一点都没有被保护。

这不就相当于没有进行保护吗?

层层安全防护,结果由于各个平台的相互分隔,没能做到数据处理的完全一致,导致安全措施形同虚设。

这白白浪费了好多的资源,都是白花花的银子呀,看着都心疼。

这种由于不同平台的差异,从而实现不同,导致安全出现问题的情况,很普遍。不仅实力强劲的今日头条这样,其它大大小小的公司也一样。

技术上,不分肤色人种,不分派系层次,所有的企业都会犯这个类型的错误。

THE END
1.iso管理体系审核员岗位职责(工作内容,是做什么的)iso管理体系审核员是做什么的?有前途吗?工资待遇怎样?71.5%的岗位拿¥10-20K/月。招聘要求高吗?学历本科最多占60.6%,经验不限最多占39.4%。 切换地区、行业 招聘 岗位职责 工资待遇 iso管理体系审核员岗位职责 ISO管理体系审核员 @ 明涛知识产权集团有限公司 岗位职责: 1.执行公司安排的审核任务,https://m.jobui.com/gangwei/isoguanlitixishenheyuan/
2.Contents/premium.mdatmaster·Newslab2020/Contents·GitHub风纪委员会:将审核权“外包”; B站作为政府和年轻人之间的“双向中介”。 630 Z-Library 2022/11/10 发生了什么? 是TikTok导致了这次的封禁吗? 出版业的暴利,以及重新想象的可能。 629 内参 2022/11/7 等级制的信息特权; 内参如何传递信息; 强人政治之下,内参的局限。 https://github.com/Newslab2020/Contents/blob/master/premium.md
3.如何才能获得高的点击率和阅读量头条审核员决定推荐量今日头条在尝试第一次推荐一定数量之后,第二次推荐将会根据推荐的点击率和阅读量来决定是否第二次推荐,推荐数量是多少?点击标题并读完文章的人越多,推荐越高。文章发布的时间越长了,推荐的数量就越低了,理论上有72小时的推荐时间,事实上大部分不会超过48小时,而且80%以上的推荐量是在24内完成的。 https://blog.csdn.net/hqb0010/article/details/78052565
4.内容审核形势严峻,FacebookYouTube和今日头条都是怎么解决的?不过,今日头条的人工智能实验室王长虎也提到,AI暂时还是有缺陷的,今日头条现在有将近万余人的审核团队在辅助AI的审核。 比如对于低俗内容,它的定义本来就相对笼统难以*,这项工作即使对人来说也不容易,交给机器做更难实现。 比如世界名画中常常出现裸体女子,如果完全交由机器判断,机器通过识别画中人物的皮肤裸露面积,https://www.eatui.cn/xinxiliu/29799.html
5.今日头条审核岗面试经验面试题(共12条)还有能力强的人不建议呆,给我的感觉就是这些人在他们看来都是流水线上的机器人,不要说什么晋升,估计99%的人也就干个3月就走了,所以他们的工资看起来不错,实际上性价比不高,不推荐,要面试去凑一下热闹可以。 赞( 4) 踩查看面试题参考答案>> 最新今日头条审核岗招聘【名企 - 每日更新】 hsf审核员面试https://m.job592.com/pay/comms31947823.html
6.我这段文字被头条审核员定性为传播国家分裂言论,让我反复修改,我我这段文字被头条审核员定性为传播国家分裂言论,让我反复修改,我不想修改了。我突然意识到这个审核员可能有支持台独,再怎么修改,也不会通过审核。建议国家新闻局关闭头条这个平台。https://www.toutiao.com/w/1818117286261002/
7.揭秘今日头条“网络安全委员会”,人工智能如何让网络更安全“盲审”环节,充分体现了机器+人工审核的优势:机器根据规则和比例抽取文章,将同一篇文章同时分配给两位审核员,如果两人判断一致则通过,判断不一致会再分配给第三个人进行把关,通过这种模式最大程度降低了因审核员主观原因、个人问题造成的误放、漏放。 那么,最为头疼而且隐蔽的标题党,又是怎样拦截的呢?今日头条技术负https://m.tmtpost.com/2619447.html
8.内容审核平台腾讯云开发者社区是一种基于云计算技术的软件系统,用于自动化地检测、分析和过滤各种类型的内容,以确保其符合特定的规定、政策或标准。它可以应用于社交媒体、在线论坛、电子商务平台、新闻网站等各种互联网应用场景。 内容审核https://cloud.tencent.com/developer/information/%E5%86%85%E5%AE%B9%E5%AE%A1%E6%A0%B8%E5%B9%B3%E5%8F%B0