您好,欢迎来到12图资源库!分享精神,快乐你我!我们只是素材的搬运工!!
  • 首 页
  • 当前位置:首页 > 网站教程 > SEO教程 >
    电商爬虫机器人大战:避免被探听情报 亚马逊是行家
    时间:2019-06-06 21:51 来源:网络整理 作者:网络 浏览:收藏 挑错 推荐 打印

    导语:路透社明天撰文称,在与对手竞争的进程中,亚马逊在爬虫机器人范围的抢先位置虽然不为人知,但却对它的开展起到了重要作用。

    以下为文章全文:

    往年早些时分,担任追踪对手电商售价的沃尔玛工程师大吃一惊:他们用来每天扫描亚马逊网站的技术突然失灵了。

    这可不是大事。与少数批发巨头一样,沃尔玛也要依托计算机顺序扫描对手网站的价钱,从而展开相应的调整。即使只要50美分的差价也能够招致销量受损。

    但亚马逊却借助新策略屏蔽了这些机器人顺序,令沃尔玛措手不及。

    知情人士表示,沃尔玛技术部门用了好几个星期都无法绕过封锁,因此不得不经过二手渠道获取亚马逊的数据。

    这件之前未被曝光的事情让外界得以一窥亚马逊如何仰仗技术取得批发市场的主导位置。

    身为全球最大网络批发商的亚马逊最为人所知的就是快速的配送和完全的商品,而且提供自制剧等诸多视频内容。但该公司的后台技术异样在它的成功中扮演了重要角色。

    对网络机器人的灵敏运用不只可以让亚马逊充沛了解对手的意向,还能在本人调价时把对手蒙在鼓里。

    “参考亚马逊会越来越困难。”加州批发定价软件开发商Boomerang Commerce CEO、亚马逊前经理古鲁·哈里哈兰(Guru Hariharan)说。

    沃尔玛发言人拒绝讨论往年1月发作的这件事情,但他表示,该公司不断在活期改良技术,而且有多款追踪工具。他表示,该公司的价值不只来自价钱,还来自店内自取折扣等其他福利。

    亚马逊发言人称,该公司知道竞争对手运用机器人追踪器定价,但否认采取任何措施来阻遏对手。“我们管理网站机器人的方式最近没有任何变化。”她说。

    由于机器人会降低网站的阅读速度,所以批发商都希望阻止这类顺序拜访本人的网站。

    路透社对21名熟习机器人及其部署方式的人停止了采访,包括前任和现任沃尔玛员工、亚马逊前员工以及外部专家。但由于未获授权,所以很多人都要求匿名。

    少数人都指出,亚马逊在蒸蒸日上的网络机器人大战中处于指导位置。

    电商爬虫机器人大战:避免被探听情报 亚马逊是行家

    亚马逊在蒸蒸日上的网络机器人大战中处于指导位置。

    该公司的技术优势有助于提升利润率,而且对投资者也很有益处。自从2009年3月触底以来,该股曾经下跌约15倍,而同期的标准普尔500指数涨幅仅为3倍。亚马逊2015年的销售额到达1000亿美元——该公司称,他们到达这一基准的速度超过历史上任何一家公司。

    美丽新世界

    自从亚马逊10多年前协助拓展这一形式以来,机器人驱动的定价给整个批发行业带来了庞大的变革。

    以往,批发店最多每周调价一次,由于改换标签的成本和时间成本都很高。而在电子商务世界,批发商却可以随意调价,有时分甚至到达每天数次,这都得益于综合思索了库存、销量预测和对手定价数据等各种算法。

    为了保持竞争力,在线批发商Boxed等企业采用包括机器人在内的许多办法确保其调价速度与对手之间保持在20分钟之内。

    “这就像是继续终身的圣诞节。假设我们的定价不适宜,销量简直会立刻下滑。”Boxed CEO Chieh Huang说,他的公司专门销售大包装卫生纸和宠物食品。

    伪装成人类

    运用机器人查看地下网站上的少量数据被称作爬取,背后的目的多种多样。例如,谷歌会不断爬取网站内容,以便开展搜索引擎或销售广告。

    而在电子商务行业,运用机器人则成为了一场“猫捉老鼠”游戏。企业一方面希望阻止竞争对手爬取本人的网站,另一方面又想浸透对手的网站。于是,专门提供这种效劳的第三方效劳相继涌现。

    电商爬虫机器人大战:避免被探听情报 亚马逊是行家

    为了避免对手获取本人的数据,有的批发商运用了CAPTCHA技术,对文字和数字停止歪曲,虽然人类依然可以阅读,但机器人却无法正确辨认。亚马逊并未采取这种措施,由于此举会令部分客户感到厌烦。

    关于希望绕过这些封锁措施的企业来说,如何将本人的电脑顺序伪装成人类是关键所在。有的定价技术专家会开发在网页上移动的计算机光标,模拟人类拜访网页的进程,而不再直接瞄准有价值的数据。还有一种运用多个计算机地址的技术,可以避免批发商将少量点击追溯到相反的来源。

    “这是一场军备竞赛。”爱尔兰Profitero初级电子商务剖析副总裁基斯·安德森(Keith Anderson)说,“攻防双方每个星期或每个月都会开发新技术。”

    亚马逊往年1月封杀沃尔玛时瞄准了名为PhantomJS的公用网络阅读器。与IE不同,这种阅读器是专为顺序员设计的——这表明用户并非普通购物者。知情人士表示,亚马逊设计了一个数字幕布,对PhantomJS隐藏了列表。

    由于此举并非针对亚马逊,所以目前还不清楚其他公司因此遭到的影响。

    路透社最近几周停止的测试表明,在美国大型批发商中,亚马逊的机器人探测技术最为先进。这些测试不只限于主页,还包括调价最频繁的两款产品。

    此次测试由路透社委托旧金山Distil Network公司停止,这是一家专门销售反机器人工具的公司。在其中一项测试中,Distil开发的机器人对每家批发商的网站扫描3000次,但特意放满了速度,以模拟人类的点击进程。此举骗过了少数批发商,但却并未骗过亚马逊。

    被屏蔽的机器人无法看到亚马逊上出售的De'Longhi咖啡机的价钱。而依据定价追踪网站camelcamelcamel.com的数据,仅在在4月25日当天,这款产品就在亚马逊网站上调价4次,从80.06美元下跌到88.16美元,涨价幅度超过10%。

    机器人暴虐

    虽然亚马逊拥有抢先的技术,但爬取该网站的机器人数量还是令人震惊。知情人士表示,其产品列表上最多有80%的点击都来自机器人,而大型网站的这一比例大约只要三分之一。

    除了搜集定价数据的对手外,有的流量还来自科研院所,他们的目的是研讨竞争、搜索引擎、广告效劳,甚至还有的是希望入侵亚马逊帐号的立功分子。

    沃尔玛前员工表示,该公司的自动化定价战略由一个位于硅谷的小团队担任,还有来自印度及世界各地的数十名工程师担任处置代码。

    另有知情人士表示,截至几年前,亚马逊约有40名工程师担任提取和整理对手的数据。但亚马逊并未披露自家爬虫机器人团队的组织结构。

    美国专利央求材料显示,亚马逊正在开发一项加密技术,可以迫使机器人处置复杂的算法才能拜访其网页。但人类拜访者不会受此影响。

    “亚马逊既有才能探测机器人流量,也可以采取必要的手腕。”斯科特·雅各布森(Scott Jacobson)说,他曾经担任亚马逊经理,目前在Madrona Venture Group担任总经理。“少数批发商都不具有这种才能。”

    (责任编辑:admin)