数据标注员,困在大模型里数据标注AI程序员

编者按:人工智能的进步离不开数据标注。但在互联网大厂,数据标注员和程序员似乎处于两个世界。

同样是为AI工作,程序员清楚地意识到自己的工作价值,享受着算法不断进步带来的快感,但几乎没有标注员会觉得,正是自己的劳动创造了AI。而在以后,合成数据可能将取代人工标注。

在一家互联网大厂做数据标注的小颜,时常在公司感到一种隔绝。

小颜的工位,跟产品经理、程序员们挨在一起,他们能享受相同的福利:同样的工牌、苹果电脑;随时可以去健身房,或去太空舱睡一觉。

但小颜能察觉到,作为数据标注员的她和其他同事,分属于“两个世界”。

尽管大家是一个团队,但每天的早会,没人会喊上标注员,小颜只能偷偷摸摸在门外看。有一回,有人推来一车台灯,是团队正在做的AI产品样机,程序员们围了上去,很兴奋,拿在手里把玩。标注员们则坐在工位忙自己的事,毫无波澜。“他们不知道那个产品,就是靠标注的数据做出来的。”

入职时,小颜所在的公司正在开发一款教育类AI产品,需要标注大量数据以训练AI。公司买来堆积如山的中小学习题册,小颜的工作是拍下每一道题,然后在电脑上对这些题目拉框,做标注。

同样是为AI工作,程序员清楚地意识到自己的工作价值,享受着算法不断进步带来的快感,但几乎没有标注员会觉得,正是自己的劳动创造了AI。

人工智能的进步离不开数据标注。近几年自动驾驶的发展,带动了数据标注的市场。据德勤的报告显示,2022年自动驾驶领域的标注需求占整个AI下游应用的38%,预计到2027年,比例将上涨到52%。

今年大模型兴起,给数据标注行业再添一把火,大量基于大模型训练场景的订单朝数据标注公司飞去,看上去,数据标注这个枯燥的生意,再次注入活力。

一些技术公司走得更前列,正在尝试使用AI自动合成数据,供AI训练。合成数据是基于少量真实数据,用AI无限生成、无需标注的数据,而不再依赖人工标注。在自动驾驶领域,合成数据可以覆盖一些极端路况,比如行人突然闯入马路等。

在他们的畅想中,今后合成数据将取代人工标注。没有技术、只靠人力的标注公司将被逐步淘汰。一项数据显示,国外用于人工智能的基础数据中,已有70%是合成数据,这条路正在被验证。

对数量庞大的数据标注员来说,上述内容并不是好消息。然而36氪接触的一些标注员,还不清楚ChatGPT到底是什么,他们的反应像是第一次听说这个名词。

小颜说,标注员是一个随时可以被切掉的尾巴。唯一的悬念是,这一刀何时彻底落下。

训练机器的标注员们,觉得自己更像机器

小河的专业是英语系,大四那年在一家大厂实习。第一天上班,办公室在一栋写字楼里,宽敞、干净,完全符合她对互联网公司的想象。没多久她意识到,面试所了解的工作内容——“整理、分类公司语音数据”,其实就是数据标注。

后来小河承认,如果知道那是给AI打工的起始,她会立即走人。

组里有6个实习生,都是名校外语系的同学。一个女组长每天分派任务。有时是一堆英语音标,小河的任务是区分出英音和美音;有时是一份Excel,点开,满眼都是数据,往下拉,足足有一万多条。

“感觉像爬一座山。”小河说。

做过最多的“项目”,是中学生的口语标注。标注员习惯把工作说成项目,一个项目接着一个项目。小河一天要听200条带浓重口音的录音,每条两分钟。听到一般疑问句,打1分;听到特殊疑问句,打2分;都没听到就是0分。为了防止泄密,只能用办公室的有线耳机,小河听得耳朵酸胀,“不由自主的烦躁”。

她经常听到录音出现脏话。有的小孩口语没讲几句,就开始飙国骂。还有一次做地图导航的项目,有人不由分说,在录音里谩骂。“我不知道为什么有人会有那么大的怒气。”

小河说,你不能太当回事,只能给这条录音打个标“无意义”,然后翻篇,继续听下一条。

“像个机器一样”,几乎每个标注员都会这样形容自己。标注不费脑子,一位山东的标注员说,做过最困难的项目是指纹标注。她拿到一堆不知道是谁的指纹图(有些还很模糊),需要沿着指纹的边缘一点点拉框。“那天回家后,闭眼都是指纹。”

多数标注员经历过从生疏到熟练,从新鲜到乏味的过程。项目的前期是最有趣的,那时标注规则还不完善,他们经常碰到争议地方,就会互相讨论甚至争论,气氛很热闹。到了中后期,规则差不多定型,就只剩下重复的、机械的劳动,人就会陷入无意义感。

一位标注员说,这是一份“没有头脑的工作”。

图源:ICphoto

上海大学教授贾文娟做过数据标注的田野调查,她认为数据标注不是脑力劳动,也不是体力劳动,而是认知劳动,“人出售的是自己的认知”。黑色幽默的地方是,我们想让机器变得更像人,同时却把人变得像机器。换句话说,抛开人的常识,像机器人那样思考。

而一旦标注员开始思考“我为什么要做这个”,就意味着他离辞职不远了。

郑委是一家数据标注公司的老板,他直言,留不住人。公司最好的光景,也不到20人。新员工经常只能坚持半个月,不少人第一天来上班,第二天就跑了。他只好不停降低招人要求,到最后,他感到“不是我在选人,而是人家在选我”。

他不知道怎么挽留那些要走的人,“你留在这儿会越来越好,这种话其实我自己都不太相信。”郑委告诉36氪。员工流失最终压垮了公司,只剩下两名标注员的时候,他决心解散团队。没过多久,ChatGPT掀起了新一轮AI浪潮。

大模型兴起,对数据标注本是利好,然而也加剧了标注团队的内卷。

提起接活,小代说,现在市场上80-90%的标注项目,单价被压得非常低,“因为中间的转包商太多了”,“都想赚差价,不想真的干活”。他在众包平台做过两年标注员,今年创业,组建自己的标注团队。

数据标注的利润不高。以自动驾驶的2D拉框来说,大公司的派单价格是一毛一个,接活的标注团队是8分一个。“现在降到5、6分。”小代说。他算了一笔账,如果低于8分,他只能亏本。

图源:appen官网

后来,他先当兼职标注员,试标、结账没问题,才会让团队接活。有回听说平台半夜3点会放一批项目,他提前定闹钟去抢单。

人员流失、单价压低、回款不稳定,像肿瘤一样,拖垮了这行业里的多数小公司。

没有一个标注员不嫌弃这份工作,他们挣不到钱,更看不到晋升空间和发展机会,陷入漫长的沮丧和失落。

就在写这篇稿子的过程中,36氪接触的标注员大多都离职了。一个女孩说,她一共做了两个月,到手工资,只有不到三千块。

内卷的标注员:本科率100%

过去,数据标注的门槛较低。在山东、山西、河南、贵州等地,许多数据标注公司招募了大量廉价劳动力。最常见的包括宝妈、残疾人、职校学生,只要掌握电脑的基本操作,就能进入这个行业。

来到大模型时代,一场关于数据标注的洗牌和淘汰,正在候选人中悄然进行。

研究人员发现,训练数据的质量对模型性能有非常大的影响。比起数据量,拥有更高的数据质量,模型的改善效果就更明显。为了把控数据质量,一些AI公司组建了自己的标注团队,第一步就是提高入行门槛。

最明显的,标注员的学历开始卷起来。

今年四月,一家头部大模型厂商建立了数据标注基地,招募的第一批标注员,本科率达到100%。公司负责人解释,大模型数据涉及的知识面广,评判标准复杂,非常考验标注师的语言理解能力和逻辑推理能力。

小王刚从大学毕业,回老家找工作时,偶然刷到这个数据标注基地的招聘。于是他参加了面试,顺利通过。基地给他发来一份长达30万字的培训材料,只有通过培训考试,才能正式上岗。

标注员每天都在做题。新人一天40道题,熟练工则是70-80道。后台系统给每个人发放题目,大多数是真实用户和大模型的对话记录。用户的问题囊括四海,甚至千奇百怪:这三款手机哪个更好?鸡蛋好吃还是扭蛋好吃?成功人士的标准是什么?林黛玉为什么要打白骨精?

大模型会有好多个回答,而小王的工作就是阅读每一个回答,挑出错误,并按照质量逐一打分,5分是满分,1分最低,而3分以下的答案,还需要划分错误类型。答非所问,直接给最低分,要是碰到敏感问题,则不打分,判为“其他”。

排序、打分、评估,这些略显复杂的标注环节,正是所谓的RLHF(ReinforcementLearningfromHumanFeedbach,即从人类反馈中强化学习),目的是为了让大模型与人类价值观、思维方式不断对齐,更加可用。OpenAI训练ChatGPT的过程中采用了RLHF,取得了显著的效果。

和过去的数据标注相比,大模型的标注规则更加主观。一位算法工程师在面试标注员时,会问对方这样的问题:“如果你是企业领导,面对孙悟空、猪八戒、唐僧、沙僧这四类员工,你会更倾向于录用谁?”

没有标准答案,他说。这类问题是为了考察标注员有没有逻辑思维能力。

行业对人才的需求变得迫切。一家名叫恺望数据的初创公司,正在与高校合作,培训大批高校学生标注员。CEO于旭说,公司去年打造了“恺望数据学院”,已培训50所学校,超过1500名学生从事数据标注。

当小王给大模型的回答打分时,他经常需要做一些事实核查,工作量全凭运气。有一回碰到一个题目:宝马3系和奔驰C系哪个比较好?大模型分别罗列了两款车的40个参数,每个参数都需要小王查验。那道题他足足花了半小时。

小王对这份工作感到满意。他每月的底薪是1800元,全勤奖200元,房补200元,算上绩效,一个月可以拿到4000元。他说,在当地这个收入算中上水平。他还拉上了自己的发小,两人坐在相邻的工位。

与小王同期培训的大学生大约20多人,没两天就跑得差不多,只剩两三人。

但我们不必为公司担心,这里永远不缺大学生。一个CTO向36氪吐露了真相:你去看看现在大学生的就业状况嘛。

最想淘汰人工标注的,不是AI

必须承认,关于数据标注的报道有很多,人们达成的共识包括,这份工作是“互联网的流水线”,很难长期做下去,以及人工标注最终会被AI取代。

在技术世界,数据的重要性不言而喻。算法工程师小段说,如果一个AI业务没有标注过的数据,他们写出再好的算法,也会是一盘散沙。标注数据越多越好。薅尽标注员羊毛,是一件稳赚不赔的买卖。

有时,标注员们花四五天做完的数据,算法一小时就能跑完。小段供职于一家互联网大厂,部门预算充足,养了几名全职标注员。“我们尽量不想让标注员闲着。”他说,“领导会看周报,如果觉得任务不多,就让我们多投放一些任务给他们。”

一位标注员告诉36氪,虽然共事的程序员嘴上会说,每个工种都有存在的价值,但仍会不经意间流露出一丝轻视。“当然了,这群人本身就是技术至上。”标注员自我安慰道。

技术的进步速度远超所有人预期,来到大模型时代,数据质量将直接影响到模型的性能。弄明白这一点,一些AI公司毫不犹豫地告别了数据标注外包商。

“拿回来的数据质量太差,基本没法用。”一家AI公司的CTO说。他们的核心业务是做AI生成视频,为此自研了一款模型,能够无限量生成电商产品视频。为了训练模型,他们特意招了50名大学生做数据标注。

如果涉及医疗、金融、计算机等专业领域,大学生也很难被信任。国内一家互联网大厂除了自建标注基地,还会花钱请专业人士来标注。尽管专业人士在标注行业的占比仍然很小,但作用相当明显。比如,一个关于社保断缴的问题,交给熟悉政府文件的专业人士,最让人放心。

今年五月,美国一家数据公司开始招聘特定领域的专业人士。这些高级标注员的报酬不再是白菜价,比如法律数据的标注时薪是45美元,诗歌则是25美元。

不过,做标注的无论是蓝领还是白领,在一些AI公司的眼里,都是想要节省的成本。和这些公司交流时,36氪频繁听到一个词:降本增效。

最常见的办法是,利用AI进行自动化标注。一家数据公司表示,自动化标注的比例已经达到70%以上。

而算法工程师小李和同事正在做更加前沿的尝试:只要以一小部分的真实数据为蓝本,通过生成式AI技术和一系列算法,就能合成高质量的、可供训练的数据。换句话说,完全不需要人了。

“我们合成数据的售价比人工标注的要便宜一点。”小李说。

合成数据目前主要用在自动驾驶和机器人领域。小李说,当ChatGPT出来后,他便意识到标注数据可能走不通了,最后都要用合成数据。OpenAI创始人SamAltman也有类似的看法:“合成数据是解决大模型数据短缺的最有效办法”。

初创公司光轮智能主要做自动驾驶和机器人领域的合成数据。“自动化标注的终局就是没有标注,”CEO谢晨说,“大部分标注公司没有看到那么长远。”

这名同事就是小李。他表示,生成式AI的出现一度让他非常焦虑,但看到合成数据后,他重新兴奋起来。

他的工作目标之一就是“取代(标注)这行业的人”,但又不好意思把话说绝,“很可能就在短期内,可能一两年。”

最后,让我们回到标注员的世界。这里几乎感受不到由技术飞快发展而产生的焦虑。这里只有琐碎、重复的烦躁,还有一些天真的幻想。

大学生小王仍然在老家训练大模型。我们最近一次聊天,他说,这份工作是一个进入人工智能领域的机会。公司为他们设定的晋升途径是,标注员到质检员、培训师,再到主管,最后是项目经理。小王的目标是当上主管,然后跳槽去一个离AI更近的岗位。具体是什么,他还不知道。

“多亏了那个机器人。”她说。还没人告诉她,那叫ChatGPT。

作为数据驱动的互联网内容科技公司,新榜提供新媒体内容营销和企业服务系列产品,助力中国企业数字化内容资产获取与管理,服务于内容产业,以内容服务产业。

我们的客户既包括腾讯、字节跳动、阿里巴巴、中国平安、比亚迪、京东、通威、贝壳、宝洁、欧莱雅、联合利华、雅诗兰黛、迪士尼等头部品牌,也包括正在蓬勃成长的中小企业、新兴品牌和MCN机构。面向企业的内容化组织建设,新榜提供从公域流量募集分发到私域内容运营建设的各项所需。

THE END
1.抚州家教网抚州家教兼职网抚州24365家教就业信息服务网站◆教师家教平台:抚州小初高待业教师、退休教师以及全职家教教师家教招生平台; ◆全年运营支持:分享全套网站运营推广方案+全年网站技术维护、短期快速提升网站流量; ◆兼职时间自由:适合于教培机构、家教中介、大学生、高校与中小学教师、全职宝妈小本创业; ◆加盟费超实惠:独家加盟费仅3600元/年,预期每年可为您带来10-http://jxfuzhou.vipjiajiao.com/
2.抚州人才网抚州招聘网免笔试!全部有编!抚州这里开始招人了! 紧急招聘精选推荐,福利多,待遇好更多 江西云天特种设备有限公司 1天前 三次元财务会计钳工 江西达达水业有限公司 1天前 市场经理/销售经理/业务经理(会带团队)兼职推广员/宝妈市场人员/销售人员/业务人员 抚州玖月奇迹家用纺织制作经营部 https://www.0794zp.com/
3.「丹阳临时工招聘信息」丹阳招聘临时工/兼职/其他最新人才鱼泡招聘网提供2024年最新丹阳临时工招聘信息,优选大量临时工/兼职/其他高薪职位,为企业急招临时工人才,为求职者找到靠谱的工作岗位,丹阳附近找工作、找人才就上鱼泡招聘平台!https://m.yupao.com/zhaogong/a4836c95/
4.抚州招聘信息信息[招聘信息/招聘信息/抚州市]职位描述 岗位要求: 招滴滴车司机。年龄:18岁-59岁,男女不限 C1驾照,3年以上驾龄,无违反犯罪记录 无酒驾违法记录 党员… 12月13日 美容店长/兼职/可宝妈 [招聘信息/招聘信息/抚州市]职位描述 1.招聘美容师(手法简单) 2.年龄:20~60岁 3.工资:3000-10000元(上不封顶) 4.时间http://0794.com/zp/
5.抚州·招聘求职找保姆我想找一个看小孩的保姆,年龄在40招聘招聘业务员/销售(抚州) 魏大雨(个人发布) 招聘地推专员,有无经验均可,工资日结300-500,主要业务上门给各个门店和工厂置换过期灭火器,有 2024-11-12 14:54:30浏览176 招聘招聘临时工/小时工/其他(抚州)¥5千—8千 吴女士(个人发布) 抚州急聘:宝妈工作人员 多名 适合宝妈的副业、线上副业 (此副http://d1206.zqvip3.cc/0794zp/g/9je0y3d4k5/?page=3
6.“我在吉尼斯认定的中国长寿村,生活很舒服”在浙江宁波奉化,有一个“南岙长寿村”。 南岙村,隶属浙江省宁波市奉化区莼湖街道,三面环山,距今有1000多年的历史。 此前有浙江大学生命科学院、浙江林学院旅游与健康学院等组织的多个考察团对南岙村进行了科学考察,他们认为南岙长寿主要有三个原因: 一是佛文化和长寿文化深厚; https://www.jianshu.com/p/1001a9880325
7.共青城人才网共青城最新招聘信息共青城网上人才市场江西众颐堂电子商务有限公司 宝妈兼职 化妆品销售 学生兼职 图片设计 电销专员 瑞幸咖啡 大泽泰瑞幸咖啡全职店员(非暑假工) 新天地瑞幸咖啡全职店员(非暑假工) 热门职位 销售 代表 经理 +会计 +业务员 +工程师 +司机 销售 会计 代表 平面设计 经理 +电话 主管 司机 急聘专区 更多 急招 室内设计师 面议 江西恋https://gqcrc.cn/index.php?c=resume&a=resume_show&id=1835
8.抚州宝妈们,有谁在姆櫻妇科医生剖腹产生过孩子呢?想了解一下费用费用的话,您如果剖腹产的话,最少的话都是要1万多块钱的,一定要多注意准备好的。https://www.mama.cn/ask/q90529881-p1.html
9.这个江西抚州山里的90后宝妈,带着两个姑子婆婆和嫂子,5个农村女的拳击那点事 发布于:江西省 2022.06.14 00:00 分享到 这个江西抚州山里的90后宝妈,带着两个姑子婆婆和嫂子,5个农村女的,月销20万斤,努力就是让家人过得很好 推荐视频 已经到底了 热门视频 已经到底了 https://www.sohu.com/a/557000341_100114195
10.#24岁宝妈边上学边带娃#5月16日贵州,24岁来自抚州乐安发布#24岁宝妈边上学边带娃# 5月16日贵州,24岁宝妈边上学边带娃,奖学金和荣誉证书拿到手软!宝妈:从未因生娃耽误过学业。#校园恋爱也太甜了##校园恋爱的仪式感# http://t.cn/A6Ngc8t1? https://weibo.com/3551927775/N17SDxett
11.带货主播招聘(工资待遇要求)武汉纸牌科技有限公司3.一对一运营教学陪跑,提供成熟的经验与供应链,适合宝妈,上班族,应季毕业生等。可兼职,可短期,随走随做。 4.直播时间每天三到六小时,根据自己固定的作息时间即可。没有经验也无所谓,只要你愿意学,有执行力,你就能得到相应的收入。 5.无需面试,在家里,宿舍或者工作室就可以直播,简单易上手。 https://www.jobui.com/company/21880509/salary/j/daihuozhubo/
12.58同城找工作对肯用心的人格外眷顾招聘赶集网钟点工临时工2022最新招兼职群聊欢迎您!58同城找工作对肯用心的人格外眷顾招聘赶集网钟点工临时工2022最新招聘信息附近每天更新。 兼职 一、薪资 网上兼职赚钱日结 二、要求 宝妈,学生都可以参与 三、报名 https://qm.qq.com/cgi-bin/qm/qr?k=X1KQszBrd_8vBi3DhG6tET0otjivrJpw&authKey=et+OthtMsl14XTq+BnLfPR9KNIY5T6kwB5https://zhuanlan.zhihu.com/p/542071763
13.我是在月子中心做月嫂的,公司隐瞒宝妈有乙肝,不告诉月嫂,月嫂能告我是在月子中心做月嫂的,公司隐瞒宝妈有乙肝,不告诉月嫂,月嫂能告月子中心吗? [问题分析]: 您好,您所提出的是关于与单位建立劳动关系的劳动者与单位之间抚州用户2分钟前提交了咨询 吉安用户1分钟前提交了咨询 九江用户1分钟前提交了咨询 138***8140用户2分钟前提交了咨询 吉安用户2分钟前提交了咨询 https://mip.64365.com/ask/14653570.aspx