对用户而言，他也是想知道流量到底什么时候发生的，如果手机的问题，他也知道怎么进行防范，这样就不会发生类似问题，根据客户部门提供的数据，可能因为无法提供商网流量详单造成退费和赔付，会影响到运营商流量计费商务模式，所以我们建立这种系统意义非常大，第一，我们的系统供联通客服人员使用，提供快速查询服务，解决流量投诉的问题，另外，我们也准备向最终用户提供异常的大流量查询服务。再一个问题，上网记录数据本身是数据的金矿，我们可以通过获取上网数据记录对流量进行统计。

    海量数据的应对之策

    对于以上这些问题该如何应对呢？联通研究院处长王志军分析处理问题的难点：上网记录数据是海量数据，经过我们的系统可以分析到，用户每个用上网记录基本几万到几十万，有的用户五六十万，我们现在采用的方案是在网关所有用户流量必经地方采集，分析流量数据，然后上成上网记录话单，话单量非常大。

    联通研究院处长王志军表示，例如用移动手机访问新浪网首页，对流量采集设备基本能生成20条左右上网记录话单，如果点iPad新闻链接，恐怕会产生180条上网记录，如果访问淘宝网首页，会产生60条请求和回应，在手机上网记录当中有大量DNS查询和推送服务。以中国联通某一个中等省份公司为例，日均上网记录达到10亿条，每个月的数据接近9T,整个移动互联网也在快速发展。

    根据中国联通统计，每隔6个月中国联通用户整体上网流量会翻一番，去年平均3G每用户的流量一年之内翻一番，整个流量增长非常迅速，也带来了上网记录的量非常非常大。

    传统IOE方式，IBM小型机，思科数据库存储，EMC存储，思科数据库存储这么大上网记录时候已经不可能了，所以，联想采用开源的Hadoop解决，Hadoop本身是系统架构，也是开源项目，由Apache基金会开发，Hadoop本身最底层是分布式文件系统，这个分布式文件系统叫HDFL,在它之上有分布式处理框架，基于Hadoop整个开源项目，上面构建了结构化的访问数据库，在这之上又提供了类似的数据挖掘工具，另外也提供了一些分布式同步，以及远程调用和序列化工具。

    Hadoop伴随大数据一同火爆起来。现如今，Hadoop已经无人不知无人不晓。Hadoop从它一诞生的那天开始就与大数据深深地关联到了一起。众所周知，大数据多是出现在这些领域，包括金融、电信、保险以及一些大型互联网企业等。以电信行业为例，Hadoop在这些领域的应用情况是怎么样的呢？

    Hadoop+HBase+ MapReduce

    对于Hadoop分布式文件系统本身来说，重要的出发点在于硬件故障是常态，不是非异常的状态，我们可以摒弃采用IBM小型机方案，Hadoop中数据可以自动复制，一份数据可以复制成三份，第一份在一台服务器上，第二份数据在另外一台机架的另外一台服务器上，第三份数据可能在另外一台机架的另外一台服务器上，作为分布式文件系统，每次请求写入的磁盘和服务器物理地点可能不一样，可以带来高并发的读写请求。

    MapReduce框架分成很多数据级，最后再合并处理。HBase分布式数据库是分布式存储系统，主要特点在正它是四维存储系统，传统的数据库是二维表的结构，有行、有列，对它来说，除了有行之外，有列的概念，在列和行之间又可以存放多个版本，在这种情况下相当于四维表结构，好处在于可以灵活的表格结构，每个列组里面的列后来都可以随机应变，我们的采集系统现在在采集一些字段，未来的发展过程中，为了数据挖掘的需要，会采集更多的字段，方便我们在一个结构之下进行更多信息的存储以及后续的处理工作。