PHP头条
热点:

制作一个自己的二进制IP库文件


一、前言

有做过IP归属地查询功能的朋友应该都有听说过纯真IP库,纯真IP库查询类似这样:

若你仅需要根据IP搜索出用户的归属地文字然后显示出来,只要按照该IP库的规则进行二分查找并显示就OK了。(格式详解)

但如果你需要根据IP获取归属地文字描述,然后进一步与自己已有的行政地区数据表关联起来该如何处理呢?

粗看这两种应该是都可以实现,但是效率呢?都很差!特别是面对并发稍高的应用,这两种方式都经不起考验。

为什么不根据纯真IP库(其他IP库也可以)的数据与自己的地区数据关联起来,用自己的地区ID来代替纯真IP库的地区描述,最后制作一个自己的二进制IP库文件呢?

让我们进入正题,看看如何根据纯真IP库数据制作一个自己的二进制IP库文件。

 注:本文只说明大致思路,没有详细代码,谢谢

二、准备工作

我们需要准备好两部分的数据:

  1. 纯真IP库解压后的txt文件。

    纯真IP库下载后会有个ip.exe工具,使用上面的解压即可生成。

    生成的数据如图1-1,我这个版本有大概444290条。

    

                图1-1

 

  2. 自己的国家省市级联数据表。

    这个网上应该比较多,自己进行导入,表结构类似(area_id, area_level, area_name, area_pid),分别代表地区ID,地区等级,地区名称,父地区ID。

    当然你也可以自己使用不同的结构,不影响我们这次的处理。

 

三、过程 

  数据已经有了,现在来规划下我们需要生成的IP库的机构。

  从标题中就知道,我们需要生成的IP库是二进制的数据包,而不是普通文本文件,那么我们的IP库文件结构应该是怎样的呢?

  如图所示:

  

  可以看到,我们的结构是这样的:

    • 头部。位于文件的前8个字节。前4字节存放32位整数,值为数据部分的开始在文件中的位置;后4字节也存放32位整数,值为数据部分的结束在文件中的位置
    • 主体数据部分。由N个固定结构体组成,每个结构体12字节,为一条IP范围数据(ip_start, ip_end, area_code)。结构体的三个部分也分别为32位有符号整数,各4字节。(area_code若是量小的话也可以使用1个字符)

  

  IP数据包的结构已经定下来了,后面就是一步步处理了。

    1. 逐条读取IP文本文件内容,IP转为32位有符号整数(自定义的ip2long),地区文字分析获取到最终地区

      a. IP文本文件每行的规则为:前15字节为IP起始地址,后15字节为IP结束地址,最后为地区文字描述。

      b. IP转为32位有符号整数只占4字节,且解决了PHP函数ip2long在32位与64位系统下值不同的问题,新的函数如下:

 ip2Long32( = ('l', ('l', ( [1

      当然,你也可以自己开发PHP扩展,详见这边:http://www.cnblogs.com/iblaze/archive/2013/06/02/3112603.html

      c. 地区需要获取到各级别地区名称(包括省、市、县、区等,这边国外只保留国家),正则如图:

      

  

    2. 将获取到的地区信息转为地区ID

      这部分处理我不太好描述,因为可能每个人用到的地区都不一样,但是大致原理就是先根据最低级地区名称去查找ID(看实际情况,有可能要去掉市、县之类),若是没有则查找上一级,如此循环,直到获取到地区ID。

      若是没有查找到地区ID,则都归入未知。

    3. 压缩,压缩后的文件约为5.08M

      压缩规则如图,format中的值对应pack中的类型:

      

      这边有个地方必须提示下,由于IP转为有符号32位整数,则128.0.0.0以后的IP都会为负数,所以需要判断负数,并放入我们IP库的前面去,毕竟是使用二分查找,需要为有序数据。

      

    4. 查找IP,使用二分查找,44W条数据最多只需要搜索19次,类似如下:

      

    

    4. 单个测试,看起来速度还可以

      

    5. 简单压测看效果

         a. ab压测,使用本机的ab

      b. 测试脚本在linux测试机(普通PC机)

      c. 压测脚本如下:

      

      d. 压测语句: ab -n 10000 -c 50 http://192.168.206.71/ipdata.php?type=php

      

      表现还不错。呵呵

      


 

  结束了,有什么更好的方式可以一起讨论下,谢谢~

      

www.phpzy.comtrue/php/3601.htmlTechArticle制作一个自己的二进制IP库文件 一、前言 有做过IP归属地查询功能的朋友应该都有听说过纯真IP库,纯真IP库查询类似这样: 若你仅需要根据IP搜索出用户的归属地文字然后显示出来,只...

相关文章

相关频道:

PHP之友评论

今天推荐