您的位置: 首页 » 法律资料网 » 法律法规 »

　　　◇ 北京大学法学院教授、博士生导师 张 平

2012年8月，360公司与百度公司关于搜索引擎爬虫行为争议引发的“三百大战”，将互联网行业多年遵循的处于后台的行业惯例，即“爬虫协议”的法律效力问题推到了前台。

爬虫协议的概念，源自英文的“robots,txt”，即网络机器人协议。robots协议官方网站（http://www.robotstxt.org）对网络机器人（robots）所下的定义为：网络机器人（也叫网络游客、爬虫程序、蜘蛛程序），是一种自动爬行网络的程序。而爬虫协议即robots协议是指网站所有者利用robots文本文件指导他们的网站如何应对网络机器人，允许还是拒绝网络机器人抓取信息的协议。

多年来，业界一直遵循这种技术协议。现在的问题是，如果违反这一协议，是否构成违约或者侵权，是否有不正当竞争行为，而在无法寻找到直接的法律规范的情况下，能否依反不正当竞争法寻找解决问题的途径。

反不正当竞争法由于颁布时间过早，对于之后的技术发展很难有预见性，其规定的具体不正当竞争行为没有适用于互联网领域的不正当竞争现象。因此，大家都将目光投向了反不正当竞争法的一般条款，试图通过适用一般条款，对互联网的竞争行为进行规制。

反不正当竞争法的一般条款规定在第二条第一款：“经营者在市场交易中，应当遵循自愿、平等、公平、诚实信用的原则，遵守公认的商业道德。”以及第二款：“本法所称不正当竞争行为，是指经营者违反本法规定，损害其他经营者的合法权益，扰乱社会经济秩序的行为。”构成适用反不正当竞争法一般条款的构成要件是：第一，法律对该种竞争行为未作出特别规定；第二，其他经营者的合法权益确因该竞争行为而受到了实际损害；第三，该种竞争行为因确属违反诚实信用原则和公认的商业道德而具有不正当性或者可归责性；第四，扰乱了正常的经济秩序。

由上述分析可知，一般条款适用的核心点为诚实信用和遵守商业道德，二者是判断竞争行为是否正当的基础。当面临某一竞争行为是否构成反不正当竞争法意义上的不正当竞争行为时，应考量其是否违背了诚实信用原则或违背了基本的商业道德。

最高人民法院在“海带配额”案中对于反不正当竞争法意义上的诚实信用原则以及商业道德进行了具体的解释：“在规范市场竞争秩序的反不正当竞争法意义上，诚实信用原则更多的是以公认的商业道德的形式体现出来的。商业道德要按照特定商业领域中市场交易参与者即经济人的伦理标准来加以评判……反不正当竞争法所要求的商业道德必须是公认的商业道德，是指特定商业领域普遍认知和接受的行为标准，具有公认性和一般性。即使在同一商业领域，由于是市场交易活动中的道德准则，公认的商业道德也应当是交易参与者共同和普遍认可的行为标准。具体到个案中的公认的商业道德，应当结合案件具体情形来分析判定。”

互联网行业中公认的商业道德更多地体现为互联网行业的基本行为准则，相关行为准则表现为从事互联网行业的企业所普遍接受的行为规则。但这些行为准则并非法律法规明确规定，而是在具体的商业实践过程中被企业在实际经营活动中所遵循。对于这些行为准则的违反意味着对商业道德的违反，相关行为可能构成反不正当竞争法一般条款所规定的不正当竞争行为，应受反不正当竞争法的规制。

而从行业内的基本实践以及法院的相关判决中我们可以看出，遵守爬虫协议已经成为互联网行业的基本行为准则。

1994年6月30日，在经过搜索引擎技术人员以及被搜索引擎抓取的网站站长共同讨论后，robots.txt协议正式发布。协议在世界互联网技术邮件组发布后，几乎所有的搜索引擎均在商业实践中予以采用并遵循，包括最早的altavista，infoseek，后来的google，bing，以及中国的百度，搜搜，搜狗等公司。在中国国内互联网行业，大型网站也基本都将爬虫协议当作一项行业基本准则。

从法院判决的角度考察，国内存在一些具有指导借鉴意义的判例，法院在判决中对爬虫协议作为行业基本行为准则的效力进行了相应的确认。

在一起有关百度搜索侵犯隐私权的案例中，原告向万网公司发送了附有其个人信息的电子邮件，但是通过百度搜索，可以搜索到万网公司电子邮箱中关于原告的个人信息，因此，原告起诉两家公司，要求其就对其隐私权的侵害赔礼道歉并赔偿损失。北京市第一中级人民法院认为，万网公司已按行业惯例在根目录下安装了禁止链接的robots协议，即采取了安全防范措施。百度搜索引擎在进行抓取和收集互联网信息时，除非有证据证明其恶意获取相关信息，否则其行为并无不当。因此，对于搜索引擎来说，只要其在进行信息收集及抓取的过程中遵守了爬虫协议，就不会构成侵权。

北京一中院在另一起浙江泛亚电子商务有限公司诉百度著作权侵权的案件中，再一次确认了爬虫协议的相关效力。原告泛亚公司称在百度搜索其享有著作权的三首歌曲时，百度会提供可以进行免费下载该歌曲网站的链接，侵犯了其著作权。法院在判决中认为，权利人在针对搜索引擎的维权行为中，可以选择明示禁止收录的措施，比如网站可以创建robots.txt文件，以告知搜索引擎哪些内容可以收录，搜索引擎可以合法地收录未被禁止链接的网站。从这份判决可以看出，搜索引擎在提供搜索服务时，应当遵守爬虫协议。因此，遵守爬虫协议已经成为互联网行业内部的行业基本规范与准则。违反爬虫协议的行为可能构成不正当竞争。

在技术快速进步的时代，规制技术前沿领域是十分困难的，多变的互联网一夜之间就会产生出许多新的商业模式。技术开发者以技术先进性为追求目标，商人以最大盈利为目标，他们在推出新的商业模式和新技术时不会太多考虑法律的存在。于是在互联网领域，技术的快速发展与法律的严重滞后这一矛盾就更加突出。面对这一矛盾，法律的原则性条款在解决新问题方面有着得天独厚的优势，学者与司法实践人员都越来越注重原则条款在反不正当竞争领域内的作用，试图通过适用一般条款对互联网的竞争行为进行规制。

我们也应注意到，在法律缺位时，互联网也依靠她自身强大的调节作用、依靠技术标准和行业自律规则保持着良好运转：

第一，依靠技术规范管理——技术标准发挥重要作用。现代互联网是依据技术协议构建秩序的，经由各种组织和工程师们的多种汇集产生的基础协议TCP/IP协议最具有代表性，它是被用作连接计算机和网络的上百个协议的基础，其构建了信息传输的一整套技术标准。在这些技术标准中，尽管充满着创新的结晶——专利技术，但他们都被无偿地奉献给了互联网的基础设施。这些协议规范着信息高速公路上的通行者，没有警察但是有红绿灯，这是严格的技术规范世界。新的技术标准也可能会影响预料之中和预料之外的网络法律关系。云技术介入互联网，物联网的开始都是技术标准先行，工程师们继续发展新的协议去扩展互联网的容量和效率。随着新的标准的采纳，技术将继续推动法律产生变化。从这个意义上看，掌控了互联网新的技术标准，也就掌控了未来法律的方向。

第二，非正式规则与惯例——行业惯例与自律规则发挥作用。千百年来习惯法确立的是：惯例和习俗能确定什么是合理的。在缺乏强制性规则和技术标准的互联网领域，惯例和习俗形成的规律是：最初时大家各自采用不同的做法，随后某个人或某些人提出一种倡议的规范，慢慢地开始有人遵循使用。随着使用的人越来越多，逐渐演变成行业通用的惯例，大家都遵照使用。但规范本身并未被法律或行业组织确定为具有强制性，例如超文本传输协议（Http协议）、记录网民访问记录的Cookie以及前文涉及的爬虫协议等。

这些规范对于调节互联网参与各方的行为发挥着重大的作用。互联网没有国界，如果某一国家的互联网从业者不遵守国际通用的规范，将受国际互联网行业的排挤，使整个国家的互联网行业无法融入世界。因此，如果是国际通用的技术标准或行业惯例，法院应当将其确立为具有法律效力的商业习惯法，在发生违约或者侵权案件时，自愿性的规范应当被倡导，而基于商业道德和行业惯例的自律规则更应当得到法律的支持，反不正当竞争法的一般条款当为合适选择。
国土资源部


关于土地开发整理工作有关问题的通知

国土资发[1999]358号

各省、自治区、直辖市土地（国土）管理局（厅）、地矿厅（局），计划单列市土地管理局，解放军土地管理局，新疆生产建设兵团土地管理局：
　　为贯彻落实党中央、国务院有关当前经济工作的一系列政策和部署，调动社会各方面的积极性，加大土地开发整理力度，实现土地开发整理产业化，确保耕地总量动态平衡，促进国民经济增长，在总结各地土地开发整理经验的基础上，现就土地开发整理工作有关问题通知如下：
　　一、建立补充耕地储备制度，做到建设占用耕地先补后占
　　为使建设占用耕地真正做到占补平衡，必须实行建设用地项目补充耕地与土地开发整理项目挂钩的制度。在进行耕地后备资源调查，符合土地利用总体规划及土地开发整理专项规划的基础上，经过论证审查，确定补充耕地的土地开发整理项目，按不同规模建立国家、省（自治区、直辖市）、市（地）、县（市）各层次的项目库。制定建设用地项目补充耕地方案时，可在项目库里筛选。有条件的地区，运用土地开发整理资金，可以先行组织实施开发整理项目，储备补充的耕地。
　　建设用地项目占用耕地时，建设单位确实没有条例开垦或者开垦的耕地不符合要求的，按规定标准缴纳耕地开垦费，可以购买储备的耕地补偿指标，实现先补后占。土地开发整理项目增加的耕地相应核减，并反映在土地利用现状图上。收取的耕地开垦费用于新的土地开发整理项目，形成从项目组织实施到补充耕地储备，向建设项目提供补充耕地，资金回收后再投入新项目滚动开发整理的循环运行机制。
　　二、实行土地置换政策，促进农村土地整理和土地复垦
　　各地要按照土地利用总体规划和村镇规划的要求，对田、水、路、林、村进行综合整治，积极推进农村土地整理。凡有条件的地方，要促进农村居民点向中心村和集镇集中、乡镇企业向工业小区集中。在向中心村、集镇和乡镇工业小区集中时，要严格按照土地利用总体规划，在规划确定的建设用地区内选址。新址占地面积应少于旧址面积，不得占用基本农田，确需占用其他耕的，经县级以上土地行政主管部门调查核实和批准，可以与腾出来的旧址整理后增加的耕地进行置换，保证耕地面积不减少，并力争有所增加，质量有所提高。实行这种方式置换的，其建设用地可以不占用年度建设占用耕地计划指标。
　　为支持国有企业改革，减轻企业经济负担，在征得农村集体经济组织同意，并经县级以上土地行政主管部门批准，国有工矿企业可以用复垦原有国有废弃地增加的数量和质量相当的耕地，置换因生产被破坏的农村集体耕地，原土地权属相应转移。置换后，被破坏的集体耕地属国家所有，不再征用，也不占当年建设占用耕地计划指标，但需纳入土地复垦计划。
　　三、执行好“百分之六十折抵”政策，鼓励投资者整理土地
　　各地要正确理解和执行《土地管理法实施条例》第十八条关于“土地整理新增耕地面积的百分之六十可以用作折抵建设占用耕地的补偿指标”的规定和《关于贯彻执行〈土地管理法〉和〈土地管理法实施条例〉若干问题的意见》（国土资厅发[1999]97号）的精神。“建设占用耕地补偿指标的折抵”，必须在县级以上人民政府土地行政主管部门统一组织下，按土地利用总体规划和土地利用计划进行。
　　地方各级土地行政主管部门也可在上级分配下达的建设占用耕地指标内，预留少量的指标，统一掌握，用于奖励土地管理新增耕地多的地区。即实现耕地占补平衡的地区，可以用通过土地整理新增耕地面积的百分之六十指标，向上级土地行政主管部门申请一定数量的预留建设占用耕地指标，用于本地区必需的非农建设。但必须按规划用地，并要严格检查，适当控制。
　　四、多方筹集资金，推进土地开发整理产业化
　　各地要积极疏通资金渠道，争取筹集更多的土地开发整理资金。要按照财政部、国土资源部颁发的《新增建设用地土地有偿使用费收缴使用管理办法》（财综字[1999]117号）的要求，积极协调有关部门，制定地方留成部分具体使用管理办法，保证上述资金专款用于耕地开发和土地整理；要制定本地区耕地开垦费、土地复垦费具体征收使用管理办法，确保建设项目补充耕地资金落实；要积极引进利用外资，开展土地开发整理的国际合作；同时可利用信贷资金，并制定优惠政策，吸引其它社会资金投入土地开发整理。
　　各地在政府机构改革中，按照职能转变、政事分开、政企分开的原则，可成立土地开发整理专门机构，在政府主管部门的指导下，具体负责土地开发整理项目的组织实施。鼓励土地开发整理专门机构多方筹集资金，实行企业化经营，同时引入市场机制，通过招标、协议、合资、合作等方式调动公司、企业、其它经济组织和个人对土地开发整理投入的积极性，逐步形成土地开发整理的市场化、产业化。可采取将土地使用权确定给开发整理土地的单位或个人（包括国有企业及下岗分流人员）使用、新增耕地减免有关税费等优惠政策，鼓励开发整理土地。国家允许在县（市）或市（地）之间，进行易地开发整理土地，但必须依据当地土地利用总体规划和年度土地开发整理计划，在上级土地行政主管部门统一组织下进行。
　　五、采取有力措施，进一步规范土地开发整理管理工作
　　各地要按照国土资源部《关于进一步加强土地开发整理管理工作的通知》（国土资发[1998]166号）的要求，进一步规范土地开发整理管理工作。凡土地开发整理项目都要做好可行性研究论证和项目规划设计工作，必须符合土地利用总体规划，严格禁止开发不宜开发的土地资源。农业综合开发、“四荒”资源开发利用、小流域综合治理等涉及的土地开发，必须依照《土地管理法》第三十九条、第四十条和《土地管理法实施条例》第十七条以及地方土地管理法规规定的程序和权限报经批准。通过招标、协议等方式委托土地开发整理专门机构或单位具体实施的项目，必须签订土地开发整理合同，明确双方的权利和义务。土地整理、复垦中的土地置换和耕地补偿指标的有偿转让，均需按照有关规定对新增耕地面积和质量进行验收确认，以防止弄虚作假。要做好土地开发整理前土地权属、界址、面积的界定和开发整理后土地权属的调整、变更调查登记等工作，切实保护土地权利人的合法权益，避免产生土地权属纠纷。
　　各省、自治区、直辖市土地行政主管部门要加强对土地开发整理工作的组织领导，不断深入 探索，总结经验，树立典型。在基础条件好、具有一定代表性的地区，可建立土地开发整理示范区，但要坚持高起点、高标准、高水平，使其具有生命力，真正起到示范作用，防止一哄而起。对于国土资源部设立的示范区和国家投资的土地开发整理重点项目，包括农业综合开发土地复垦项目，有关地区要经常给予指导，重点增加投入，搞好基础建设，确保预期效益，以带动其他地区的土地开发整理工作。

国土资源部
一九九九年十月十八日