主要内容:

  • 介绍埋点相关信息

分三端:

  • Web端埋点
    • pinpoint 服务调用链埋点
    • pf 页面访问
    • xhr 后台访问
    • event 事件埋点
    • userprofile 用户基础资料
    • err web端js错误
  • 移动端埋点
    • page 页面访问
    • request 后台服务
    • event 事件
    • login 用户登录
    • error app错误
  • CS端埋点(同上)

数据流:使用埋点sdk采集数据,NG做负载均衡后,均匀地分部到三台埋点网关服务器,经lua脚本解析处理后,通过flume采集到kafka。

lue解析:结合请求头和请求体信息,通过lua将所要的信息按照一定格式要求进行拼接,以便后续处理,如nifi、es等。

web端埋点

头部信息:

  • av:埋点组件版本号
  • v:埋点组件版本号
  • key:子系统编码
  • ref:请求发起时的页面URL地址
  • rand:随机数(时间戳)
  • pvid:一个session ID
  • did:用户ID唯一标识

请求体:

  • event_id:事件id
  • tag:事件描述
  • properties:自定义多个事件属性(不同项目组定义不同)
    • empNo:登录工号(必选)
    • event_path:事件路径(必选)
    • response_time:响应时间
    • pageTime:停留时间
    • event_begin_time:事件开始时间
    • event_end_time:事件结束时间
    • event_trans_id:事件事务ID,多个连续事件,设置相同事务ID
    • custom_data:自定义字段信息,json字符串格式
  • uf:页面访问通用信息
    • is_first_day:是否首日访问
    • is_first_time:是否首次访问
    • pageref:页面来源
    • first_browser_language:首次使用的浏览器语言
    • latest_referrer:最近一次站外地址
    • screen_height:显示器高度
    • screen_width:显示器宽度

使用lua解析后的日志格式(各字段之间"|"分割):

  1. fmt_localtime:访问服务器的时间
  2. remote_addr:客户端IP地址
  3. http_user_agent:用户浏览器其他信息,浏览器版本、浏览器类型等
  4. av
  5. v
  6. key
  7. ref
  8. rand
  9. pvid
  10. did
  11. properties中自定义的各个字段:若字段值是json:字段名1字段值1~字段名2字段值2~,若字段值不是json:使用"|"分割
  12. uf中的各个字段:使用"|"分割

例子:

1:2020-05-04 09:11:00|
2:10.5.18.143|
3:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.110 Safari/537.36|

4:2.0.1.0001|
5:2.0.1|
6:100000103244|
7:http://mktapi.company.com.cn/zte-crm-eva-newdecui/indexb.html#/spare/newlyBuild?r=1588554179644|
8:1588554666849|
9:df4b-13e12f93|
10:ba6fd526-d578-4557-a7bf-d9745b8d2944|

11:1588554649971|http://mktapi.company.com.cn/zte-crm-eva-newdecui/indexb.html#/spare/newlyBuild_|response_time^5~event_end_time^1588554649976~event_path^http://mktapi.company.com.cn/zte-crm-eva-newdecui/indexb.html#/spare/newlyBuild?r=1588554179644~pageTime^463125~empNo^6237001361~event_begin_time^1588554649971|

12:false|false|http://api.smartsales.zte.com.cn/zte-crm-common-smartsalespc/|http://api.smartsales.zte.com.cn/zte-crm-common-smartsalespc/|zh-CN|768|1366