作者|游云庭上海大邦律师事务所高级合伙人、知识产权律师
编辑|布鲁斯
近日，知网向人工智能搜索服务商秘塔发送侵权通知，要求其立即断开知网内容搜索结果链接。无独有偶，一个月前拥有《纽约客》、《时尚》、和《连线》的美国杂志巨头康泰纳仕集团也曾向人工智能搜索引擎Perplexity发出过类似侵权通知。作为秘塔和Perplexity的用户，今天就来分析下：知网有权要求秘塔断开链接吗？
一、知网的robots文件并未屏蔽秘塔
搜索引擎是否有权对互联网站内容进行抓取，是由网站robots文件的设置决定的，如果网站的robots文件不允许抓取，则搜索引擎强行抓取可能有不正当竞争风险，有意思的是，虽然知网给秘塔发函要求断开链接，也就是不允许其抓取网页内容，但其网站的主站robots文件[i]网页却显示：很抱歉！您浏览的页面不存在，可能已被删除或转移。也就是说，知网主站并没有禁止任何搜索引擎爬虫。
当然，现在很多的人工智能搜索引擎的爬虫确实也不讲武德，其不像传统的百度、谷歌、搜狗、必应那样把自家的爬虫进行命名，而是默不作声的匿名爬取，比如前文提到的Perplexity公司CEO接受采访时公然表示，哪怕你禁止我的爬虫，我也不保证不抓取你的网页，因为我的工具包括匿名的第三方爬虫[ii]。但至少从技术上，知网没有屏蔽秘塔的爬虫。
二、屏蔽特定爬虫要有正当理由
可能有读者会问，我的地盘我做主，网站所有人要屏蔽别人为什么还要有正当理由？这里涉及两方面的问题，一个是《反垄断法》，另一个是行业协会的规定。
1、知网有市场支配地位
2022年国家市场监管总局曾认定知网在中国境内中文学术文献网络数据库服务市场具有支配地位，并因其其他的垄断行为，对其处以8760万元罚款。我国《反垄断法》第二十二条规定：禁止具有市场支配地位的经营者从事下列滥用市场支配地位的行为：没有正当理由，拒绝与交易相对人进行交易。所以，有市场支配地位的知网，要求秘塔搜索断开链接需要有正当理由的，否则就涉嫌拒绝交易的违法垄断。
2、行业公约规定限制搜索引擎抓取应有合理理由
多年前，中国互联网协会制定了《互联网搜索引擎服务自律公约》对搜索引擎爬取网站信息是否正当进行了规定。根据该公约第八条：互联网站所有者设置机器人协议应遵循公平、开放和促进信息自由流动的原则，限制搜索引擎抓取应有行业公认合理的正当理由，不利用机器人协议进行不正当竞争行为，积极营造鼓励创新、公平公正的良性竞争环境。这个自律公约可以看做行业对于网站屏蔽搜索引擎标准的共识，知网的限制行为需要符合这个共识。
3、法院认为无正当理由屏蔽搜索引擎涉嫌不正当竞争
三、人工智能涉及的知识产权问题可以作为正当理由吗？
如果知网可以证明秘塔的系统抓取其网站大量论文并进行批量训练的，则可以主张训练行为涉嫌侵权其整体数据权利，构成不正当竞争，法律依据是《反不正当竞争法》第二条原则性条款，经营者在生产经营活动中，应当遵循自愿、平等、公平、诚信的原则，遵守法律和商业道德。
2、秘塔索引库如包含知网内容，可能侵权
根据网上公开的报道[iii]，秘塔AI搜索的播客和文库板块是有索引库的，笔者理解的索引库可能是秘塔把批量收集的文献事先直接在内部做了一个索引数据库，当用户搜索时，秘塔会搜索网络对应的实时内容，然后利用人工智能把实时搜索结果和索引库的内容整合在一起提供答案。
3、过拟合可能导致输出结果侵权
如果出现搜索结果抄袭知网论文，或者秘塔制做索引数据库、或者向用户提供论文pdf的在线阅读功能的情况，都是侵犯信息网络传播权的行为，如果知网据此要求秘塔断开链接的，笔者认为是正当的。
4、抓取学术文献题录及摘要数据不一定侵权
笔者注意到，知网的侵权通知中称秘塔向用户提供知网的学术文献题录及摘要数据，涉嫌侵权。对秘塔抓取这两部分网页是否侵权，笔者倒是有不同意见。网页不同于论文，知网的学术文献题录（标题、作者、发表年份、期刊卷号、期号、页码以及摘要）及摘要网页都是国内用户公开可以访问的，知网作为在中国境内中文学术文献网络数据库服务市场具有支配地位的经营者，其不允许秘塔搜索抓取这两部分公开信息需要有合理的理由。如果秘塔清除了索引库中的知网论文，并且不再向用户提供知网论文的在线阅读功能，此时，知识产权侵权的争议就很小了，根据《反垄断法》和《互联网搜索引擎服务自律公约》，知网不允许秘塔搜索抓取这两部分公开信息就不再具有合理的理由。