“爬虫”如何抢低价票?借助超链接信息抓取网页
2017-12-27 14:21:08 来源:科技日报 评论:

不到两个月,2018年春节要来了。

“今年我得早下手,抢张回家的低价机票。”在北京打工的小王对科技日报记者说,由于老家在云南,春节机票太贵,他都选择坐两天两夜的火车回去,长途跋涉,苦不堪言。

然而,就在小王摩拳擦掌,准备使出“洪荒之力”抢张便宜机票时,看到网上曝出这样一则消息:航空公司放出的低价机票,80%以上被票务公司的“爬虫”抢走,普通用户很少能买到。

小王傻眼了,“爬虫”究竟是什么鬼?它又是怎么抢机票的?难道就没有办法治理吗?

借助超链接信息抓取网页

“‘爬虫’技术是实现网页信息采集的关键技术之一,通俗来说,‘爬虫’就是一段用来批量、自动化采集网站数据的程序,几乎不需要人工干预。”北京理工大学网络科学与技术研究院副教授闫怀志告诉科技日报记者。

闫怀志介绍,“爬虫”又称网页“蜘蛛”、网络机器人,它是一种按照一定规则自动抓取网页信息的程序或者脚本,通常驻留在服务器上。在Web网页中,既包含可供用户阅读的文字、图片等信息,还包含一些超链接信息。网络“爬虫”正是借助这些超链接信息来不断抓取网络上的其他网页。

“这种信息采集过程很像一个爬虫或蜘蛛在网络上漫游,网络‘爬虫’或网页‘蜘蛛’因此得名。”闫怀志说,“爬虫”最早应用在搜索引擎领域,比如谷歌、百度、搜狗等搜索引擎工具每天需要抓取互联网上数百亿的网页,它们需要借助庞大的“爬虫”集群来实现搜索功能。

当前,“爬虫”已被广泛用于电子商务、互联网金融等诸多领域。比如,“爬虫”可以抓取航空公司官网的机票价格,发现低价或紧俏机票后,“爬虫”可以利用虚假客源的真实身份信息实现抢先预订。再有,很多互联网浏览器都推出了自己的抢票插件,以高订票成功率来推广浏览器。

根据抓取任务和目标的不同,网络“爬虫”可大致分为批量型、增量型和垂直型。批量型“爬虫”的抓取范围和目标较为明确,可以是网页的设定数量,也可以是消耗时间的设定。增量型“爬虫”主要用于持续抓取更新的网页,以适应网页的不断变化。垂直型“爬虫”主要是用于特定主题内容或特定行业的网页。

“爬虫”究竟是如何抢票的

此前,在线票务服务公司携程的“反爬虫”专家在技术分享中透露,某网站的一个页面,每分钟的浏览量是1.2万,真实用户只有500个,“爬虫”流量占比为95.8%。

采访中,很多业内人士也表示,即使在“爬虫”活动的淡季,虚假流量也占到订票网站总流量的50%,高峰期更是在90%以上。

那么,“爬虫”究竟是如何实现抢票的呢?对此,闫怀志解释,主要是机票代理公司利用“爬虫”技术,不断抓取航空公司售票官网网页信息,如果发现该航空公司有低价票放出,“爬虫”即刻利用虚假客源身份进行批量预定但不实际支付,以达到抢占低价票源的目的。由于“爬虫”的效率远远超过正常的手动操作,导致通过正常操作几乎无法抢到票。

随后,机票代理公司会通过其自身销售渠道(包括公司网站、在线旅行社、客户电话订购等)找到真正的客源,在航空公司允许的账期内,退订此前使用虚假客源身份预定的低价票,然后使用真实身份信息进行订购,最后实现该低价票的加价转售。

如果未在航空公司规定的账期内找到真正客源,机票代理公司会在订单失效前再追加虚假身份订单,继续“霸占”该低价票,如此反复,直至找到真正客源售出为止。

“上面的操作流程就构成了完整的机票销售链条。在这个过程中,航空公司售票系统允许在账期内反复订、退票的规定为机票代理公司利用‘爬虫’抢票并加价获利提供便利。这种抢票方式,被称为技术‘黄牛’。”闫怀志强调。

*除《中国经营报》署名文章外,其他文章为作者独立观点,不代表中国经营网立场。
责编:赵芳迪 zhaofangdi@cbnet.com.cn