今日头条反爬措施形同虚设,论多平台协同在安全方面的重要性一二一二一

想当年,头条刚问世,正愁长辈看新闻没合适且方便的工具,虽然不爽头条的自动推荐算法,但还是安利出一个忠实用户。

现如今,头条已成巨头,刚将互动百科纳入囊中,百度百科估计吃不了,若把维基百科吃掉那绝对神奇。

头条系在内容巨头的路上,越走越远,文有头条守江山,武有抖音打天下,多媒体王者得到了4G时代的最大红利,这严重依赖于头条领导系统性建设的眼光。

今日头条,抖音,西瓜,悟空问答,内涵段子,懂车帝…

今天,这里要讲的不是头条产品之间的协同棒棒的,而是,产品内部不同需求之间的协同没有做到和产品一样棒。

虽然现在是巨头相互封闭的时代,但大家如果用心使用一个App,比如今日头条,一定会发现,在一定角度,它们并没有封闭到完全密不透风,它们会努力让你把App里的内容传播出去,为App导流。

这些出口,就是攻破App严密堡垒的基础。不同的平台,不同的应用,不同的开发人员,稍有疏忽,就出现漏洞。

再叠加部署不同功能的不同服务器之间的缺乏沟通,很容易就会导致精心设计的防线形同虚设。

对头条这类内容大佬而言,它的安全,一个重要的方面就是内容安全,既要防止不合规内容的产生,这依赖于数量庞大的审核员产业大军,又要防止内容被扒过度,这依靠的是在爬虫路上设置的重重障碍。

这直接导致一个内容app,如果想支持不同的平台不同访问端,就需要对各个平台和访问端进行个性化定制。个性化定制开发人员的最低水平将决定安全水桶的高度。

在本质上,网络安全问题就是人的问题。由于开发者、维护者、使用者能力和项目侧重点的差异,使各个大小单元之间出现协同的不匹配,导致最终出现安全问题。

继续回到头条,虽然号称App工厂,产品开发流水线化,技术先进性相比其它巨头有很大优势。但不可避免的仍然需要对不同访问手段进行定制化开发,这必然会导致短板出现。

在内容安全的反爬方面,头条的一个重要措施,就是各种数值的特征校验,它贯彻得很好,各个平台都在使用,阵型相当统一,再次体现了技术理念的领先性。

上一次,吭哧吭哧地分析的头条signature算法,就是这个特征校验的过程,建议大家看看:

虽然算法分析的文字里已经将算法描述透彻,可以轻易利用起来,但真心的,对这个算法的设计我还是蛮佩服的,它利用了好多种平台特性,对多种爬虫手段例如Selenium进行了检测,看得出开发者经验非常丰富,配得上头条高大威猛的待遇。

技术上,这里继续以今日头条内小视频和西瓜视频为靶子来给大家讲故事。毕竟这个视频占了今日头条APP版面的2/3,看得出这是字节跳动的更广阔未来。

按常理,这么多使用场景,再财大气粗,也不可能都被重视,对不对?这将必然导致大大小小的安全问题出现。

在只考虑各个单一使用场景,这段签名验证算法应用得很好,都用到了,并且都达到了算法的目的,再夸一次。

夸完了,接下来应该就是批了。

下面来看下用到签名算法的场景。

首先移动浏览器端访问的签名算法:

里面获取的是一个视频的描述信息,例如视频资源id,视频标题描述等。

再看PC端浏览器访问的签名算法:

里面获取的是一些与视频关联的信息。

它们都是由访问视频网页页面时自动触发的。对同一个URL,头条服务器会根据不同的UA参数返回不同的跳转。

移动端浏览器访问的302跳转是这样:

PC端访问的302跳转是这样:

这两个是不同的页面,里面的内容有差异,导致最后需要从服务器获取的关键数据不同。

其中,移动端浏览器需要获取的是一个视频资源的ID,有这个ID,就能获取到视频资源在CDN中的最终资源地址。

这个资源ID在移动端的获取自然是需要使用签名验证算法进行保护的。

但是,在PC端浏览器的页面中,这个资源ID却直接被请求下来了。

两边对同一个数据处理不一致,移动浏览器端被保护的内容在PC浏览器端一点都没有被保护。

这不就相当于没有进行保护吗?

层层安全防护,结果由于各个平台的相互分隔,没能做到数据处理的完全一致,导致安全措施形同虚设。

这白白浪费了好多的资源,都是白花花的银子呀,看着都心疼。

这种由于不同平台的差异,从而实现不同,导致安全出现问题的情况,很普遍。不仅实力强劲的今日头条这样,其它大大小小的公司也一样。

技术上,不分肤色人种,不分派系层次,所有的企业都会犯这个类型的错误。

THE END
1.线上审核员兼职:手机就能做的兼职工作!随着互联网技术的迅猛发展,线上工作已成为现代人生活中的一部分。其中,线上审核员兼职工作以其便捷、灵活的特点,吸引了众多寻求额外收入或希望实现居家办公的人群。本文将详细介绍线上审核员兼职的概念、优势、要求以及如何利用手机进行这一工作,以帮助大家更好地了解并把握这一新兴的兼职机会。 https://w.liulianga.com/article/detail/1438
2.字节跳动审核员本科招聘(工资待遇要求)北京抖音信息服务有限说明:北京 审核员 本科平均工资¥15413 ,北京外包服务行业 审核员 本科平均工资¥19710 招聘经验要求:1-3年最多 字节跳动 审核员 本科需要什么经验? 1-3年占100% 按经验统计 1-3年 ¥5.3K 字节跳动 审核员 本科工资按经验统计,1-3年工资¥5.3K,想知道其他经验工资,请点击查看。 字节https://m.jobui.com/company/17376344/salary/j/shenheyuan/edu2/
3.急招2000名内容审核员,推崇算法的今日头条为何反其道而为之那么今日头条此举如何解释呢?除了旗下的多个短视频APP也需要人工内容审核需求外,我们还可以从它的这则招聘中找到其他的线索。 内容审核、天津这两个关键词,让人很容易联想到早年的新浪微博。在几年前一篇名为《新浪微博审核员压力下的机械化生存》的新闻中,向外界描述了略有几分神秘的新浪微博内容审核员的工作和生https://www.tmtpost.com/3004435.html
4.我这段文字被头条审核员定性为传播国家分裂言论,让我反复修改,我我这段文字被头条审核员定性为传播国家分裂言论,让我反复修改,我不想修改了。我突然意识到这个审核员可能有支持台独,再怎么修改,也不会通过审核。建议国家新闻局关闭头条这个平台。https://www.toutiao.com/w/1818117286261002/
5.微信小程序定制开发郑州沃之涛科技有限公司,致力于网站开发、网站优化、网站推广、竞价托管、APP开发、wordpress插件开发、公众号开发、小程序开发等。 我们是从一个打工仔,逐步为自己梦想而走到一起的小团队,我们愿意用我们的服务品质,去决定我们的未来。 我们在成长的道路上需要很多合伙商的朋友来帮助我们走向未来,我们要用过硬的技术https://www.seohnzz.com/page/24/
6.Contents/premium.mdatmaster·Newslab2020/Contents·GitHub风纪委员会:将审核权“外包”; B站作为政府和年轻人之间的“双向中介”。 630 Z-Library 2022/11/10 发生了什么? 是TikTok导致了这次的封禁吗? 出版业的暴利,以及重新想象的可能。 629 内参 2022/11/7 等级制的信息特权; 内参如何传递信息; 强人政治之下,内参的局限。 https://github.com/Newslab2020/Contents/blob/master/premium.md
7.今日头条工资待遇(共117条)选择加入今日头条的原因是今日头条是一个很大的互联网平台,薪资待遇福利各方面都挺好,对自身职业帮助也大。 公司工作时间怎么样?(准时下班?是否加班?年假情况?单双休?) 今日头条加班是肯定的,基本上都是需要在晚上九点多到十点多下班,上班是大小周,大周六日,小周五日。 https://www.job592.com/pay/comxc30015077.html
8.从2000人“扩军”到5000快手急招审核员快手目前在全国六地建有审核中心,分别是北京、天津、无锡、武汉、哈尔滨、盐城。 快手这次紧急扩招审核员的背景之一,是短视频领域监管的深入。 此前的4月4日,国家广播电视总局发布通报称,针对社会舆论强烈关注的“今日头条”、“快手”两家网站播出有违社会道德节目等问题,国家广播电视总局高度重视,立即会同属地管理部门https://www.guancha.cn/society/2018_04_06_452858.shtml
9.今日头条账号永久封禁申诉今日头条客服售后投诉维权中心今日头条账号永久封禁申诉 网友保保_XSGeopPf 2024-09-25 已完结 头条被封,无意触犯了头条行为规范,导致账号被限制永久封禁,我已深刻体会到失误,在此我深深的向您致歉,我以后一定坚持发正能量作品,保证以后遵守头条行为规范,去发符合头条行为规范的作品,吸取教训,做一个诚实守法的公民,请官方审核员大人给我一次https://www.xfb315.com/tousu/97664635
10.抖音不能随便“抖”了!短视频审核“红线”来了一次100条!根据这次的新规,原则上,审核员人数应当在本平台每天新增播出短视频条数的千分之一以上。那么这将意味着抖音、今日头条,哔哩哔哩等头部短视频平台,至少要配备万人以上的审核员。 内容与资质双严格 短视频平台亟需办理营业资质 根据,1月9日发布的网络短视频平台管理规范,开展短视频服务的网络平台,应当持有《信息网络传播https://wap.eastmoney.com/a/201901101023865215.html
11.内容审核形势严峻,FacebookYouTube和今日头条都是怎么解决的?不过,今日头条的人工智能实验室王长虎也提到,AI暂时还是有缺陷的,今日头条现在有将近万余人的审核团队在辅助AI的审核。 比如对于低俗内容,它的定义本来就相对笼统难以*,这项工作即使对人来说也不容易,交给机器做更难实现。 比如世界名画中常常出现裸体女子,如果完全交由机器判断,机器通过识别画中人物的皮肤裸露面积,https://www.eatui.cn/xinxiliu/29799.html