V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
OneAPM
V2EX  ›  Ruby

OneAPM Ruby 探针都利用了哪些原理,看看这篇就知道了。

  •  1
     
  •   OneAPM · 2015-05-22 11:41:17 +08:00 · 4075 次点击
    这是一个创建于 3233 天前的主题,其中的信息可能已经有所发展或是发生改变。

    OneAPM Ruby 探针的基本实现原理

    Alt text
    MAY 13, 2015

    语言本身

    Ruby语言支持语法级别的系统,框架,甚至语言本身的方法复写,一般叫做元编程(meta programming), 此基础之上还有一些术语为mixin,方法的动态定义,运行时类改写等等,这些技术和机制可以让语言本身就能实 现其他语言需要字节码才能实现的功能,例如探针需要hook HttpRequest中的request方法,就可以通过下面的方式实现:

    class HttpRequest
     def request_new
        puts 'before request'
        result = request_old
        puts 'after request'
        result
      end
    
     alias_method :request_old, :request
     alias_method :request, :request_new
    
    end
    

    这里只是展示其中一种最简单的方法,还有很多其他方法,比如我们想完全放弃原有的方法的话,那就可以直接覆盖掉这个方法了。

    框架

    某些框架如Rails提供pub-sub机制,这种情况下探针只需要订阅特定类型的消息,然后进行数据再加工就可以了。对于Rails,这个比较简单:

    module ActionController
      class PageRequest
        def call(name, started, finished, unique_id, payload)
          Rails.logger.debug [name, started, finished, unique_id, payload].join(' ')
       end
     end
    end 
    
    ActiveSupport::Notifications.subscribe('process_action.action_controller', ActionController::PageRequest.new)
    
    # 每次访问就能够订阅到‘process_action.action_controller’的消息:
    #
    # process_action.action_controller 2012-04-13 01:08:35 +0300 2012-04-13 01:08:35 +0300 af358ed7fab884532ec7 {
    #   controller: "Devise::SessionsController",
    #   action: "new",
    #   params: {"action"=>"new", "controller"=>"devise/sessions"},
    #   format: :html,
    #   method: "GET",
    #   path: "/login/sign_in",
    #   status: 200,
    #   view_runtime: 279.3080806732178,
    #   db_runtime: 40.053
    # }
    

    这样我们就能拿到这个request的数据了,订阅消息类型还请自己查阅相关框架的文档。

    RACK

    Rack绝对是个好东西,它把几乎所有的web框架和server沟通的接口定义好了,而且是如此的简洁,就是一个call方法。 一个最简单的Rack应用如下:

    # configu.ru
    
    class App
    
     def call
        [200, {"Content-Type" => "text/html"}, ["hello world"]]
     end
    
    end
    
    run app
    
    # rackup
    

    只需要这个call方法就搞定了,而多层的rack middleware也只是嵌套着调用call方法,所有要hook的话,这里就够了, 不过因为这里基本就是根了,需要注意抓取的数据量及堆栈信息,太长的话会影响性能的。

    数据库

    数据库层基本都是对orm框架的hook,在每个查询的结果输出中都会有执行的时间信息,超过阀值则调用数据库本身的查询 语句优化工具,并保存输出结果。至于hook的方法就是 [1] 中或者采用 [2] 中的方法,如果框架支持的话。

    外部服务

    外部服务就是对访问外部http请求的http_client类似的库进行hook,也就是按照 [1] 中的方法,对发起request的方法进行hook。

    后台任务

    后台任务机制同上面几项,只不过是在非http server的进程中运行,数据抓取的机制一样,但分类不同, 需要探针在运行过程中,判断数据抓取的对象状态,即web事务中还是非web事务中,非web事务都统一存 储到后台任务的数据容器中。

    Thread Profiler

    Thread Profiler就是一个加强版的事务采集器,可以设定采样周期和采样频率,将周期内的事务请求进行数据的聚合处理, 然后统计出在这个周期内的堆栈调用占比信息,然后可以根据此信息找出时间占比或者调用次数最多的方法,然后有针对性的 进行优化。

    总结

    以上所述,还只是一些最根本的原理性知识,细节的点还有很多,比如如何进行数据的本地存储和处理,以及线程间的数据冲突处理, 还有基于fork的多进程server的进程间的数据传输,在以后的文章中,会针对每一项都做出详细的解释,还请大家持续关注。

    本文作者系OneAPM工程师编译整理,想阅读更多技术文章,请访问OneAPM官方技术博客

    Alt text

    1 条回复    2015-06-02 17:58:50 +08:00
    send2me
        1
    send2me  
       2015-06-02 17:58:50 +08:00
    干货,顶!
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1184 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 23:09 · PVG 07:09 · LAX 16:09 · JFK 19:09
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.