V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MakeItGreat
V2EX  ›  硬件

主要用于虚拟化的装机求各位指导

  •  
  •   MakeItGreat · 2021-10-16 09:23:47 +08:00 via Android · 5918 次点击
    这是一个创建于 1138 天前的主题,其中的信息可能已经有所发展或是发生改变。
    用途虚拟化 /主力机
    :4 到 16 个虚拟机
    AMD 5950x
    技嘉雪雕 B500M AORUS PRO AX
    金士顿 32 DDR4 3600MHZ *4
    长城 X7 金牌 750w
    三星 980 pro 500G *1
    三星 970 evo 2T *1
    九州风神 240 堡垒标准版
    酷冷至尊 MasterBox Q500L 白色
    26 条回复    2022-01-12 14:16:37 +08:00
    feather12315
        1
    feather12315  
       2021-10-16 10:08:34 +08:00 via Android
    虚拟化建议 Intel,AMD 主板做 passthrough 会有很多奇怪的问题
    teliang
        2
    teliang  
       2021-10-16 10:22:34 +08:00 via iPhone
    5950x 没有核显吧,好奇不用亮机卡也可以装系统吗?
    kgdb00
        3
    kgdb00  
       2021-10-16 11:27:48 +08:00 via Android
    @feather12315 我的主力机就是 5600x + b
    550 + 双显卡,之前搞 gpu 直通确实遇到一个很坑的问题折腾了很久才解决,就是给 linux 虚拟机直通会遇到各种报错,每次启动服务器后都要先用显卡直通的方式启动一次 win10,然后关闭 win10 再启动 linux 就可以稳定使用,但这个看起来可能是 linux 的 amdgpu 显卡驱动的问题,其他的还好,我主要使用的桌面就是 linux 虚拟机,因为 qcow2 的内部快照非常方便,不怕折腾出问题。

    我觉得 intel cpu 做直通最明显的好处就是带核显,其他还有什么好处我也猜不出来,不过看内核代码 vmx 的嵌套虚拟化代码是比 svm 多很多的,也不知道 intel 的嵌套虚拟化性能会不会比 amd 要强一些。
    lin0kin
        4
    lin0kin  
       2021-10-16 11:28:49 +08:00
    要不要等一下 12 代 Intel? 爆料还是很强悍的
    feather12315
        5
    feather12315  
       2021-10-16 11:59:16 +08:00 via Android
    @kgdb00 #3 Intel 的 iGPU 是实现了 SR-IOV 的,原生支持显卡虚拟化,AMD 不是。
    消费级的主板与服务器级的,差就差在它的 PCIe lane 划分得极其怪异,几乎除了直连 CPU 的 x16 的 PCIe + x4 的 m2 外,其他的都做不到 passthrough 。

    嵌套虚拟化的性能不知,但当前 release 版本的 Windows 还是不支持 AMD 的嵌套虚拟化
    br00k
        6
    br00k  
       2021-10-16 12:09:11 +08:00 via iPhone
    搞虚拟化放家里的话就应该直接买个塔式服务器准系统。内存也便宜。
    kgdb00
        7
    kgdb00  
       2021-10-16 12:34:19 +08:00 via Android   ❤️ 1
    我买了华硕的 b550 重炮手和微星 b550 迫击炮,除了直连 cpu 的 x16 和 m.2 之外,都可以再直通一个 usb3.0 控制器,我主力机用的是华硕的,因为给虚拟机用的 3.0 控制器对应的是 4 个
    kgdb00
        8
    kgdb00  
       2021-10-16 12:44:05 +08:00 via Android   ❤️ 1
    我买了华硕的 b550 重炮手和微星 b550 迫击炮,除了直连 cpu 的 x16 和 m.2 之外,都可以再直通一个 usb3.0 控制器。

    我主力机用的是华硕的,因为给虚拟机用的 3.0 控制器对应的是 4 个并排的 3.0 口,剩余的二个 2.0 口和两个 usb3.2 gen2 的口还是主机用,而微星的就比较坑了,usb3.0 控制器直通给虚拟机后,主机要想用 3.0 口就只能用机箱前置的口了,而且微星的如果插满 2 个 m.2,第二个 x16 插槽就用不了了。

    reddit 论坛上有些帖子说 x570 主板有更良好的 iommu 分组,不过华硕重炮手目前已经基本满足我需求了,。
    kgdb00
        9
    kgdb00  
       2021-10-16 12:50:04 +08:00 via Android   ❤️ 1
    @feather12315 如果能把主板自带的 ax 200 无线网卡和 2.5G 网口都直通给 windows 虚拟机就好了,因为 linux 上想拿 ax200 做一个 ap 比较麻烦,也不稳定,而螃蟹的 rtl8125b 网卡的默认驱动 r8169 在高版本内核上上有严重 bug,会直接导致内核崩掉。
    feather12315
        10
    feather12315  
       2021-10-16 13:17:58 +08:00 via Android
    @kgdb00 #8 我用的是微星 B550M 迫击炮,印象中 CPU 直连的 USB3.0 控制器与 iGPU 属于同一个 iommu group,不打入 acs patch 无法直通。其他的 USB 3.0 控制器走 PCH,与 SATA 控制器好像在同一个 iommu group 。总之,印象中我没直通成功过。


    @kgdb00 #9 这个不确定性很大,严重依赖主板的 PCIe lane 分配情况。
    suifengdang666
        11
    suifengdang666  
       2021-10-16 18:07:40 +08:00   ❤️ 1
    amd 3600+ 阿斯加特 3000 共 64G,ESXi 6.7 升级到 7.0,跑了一整年了,没啥问题。如果装 ESXi,注意网卡芯片组是否受支持
    adadada
        12
    adadada  
       2021-10-16 19:40:34 +08:00
    @feather12315 #5 Intel GVT-g 不是 SRIOV,还是通过软件辅助在多个 VM 之间实现 GPU 资源复用
    adadada
        13
    adadada  
       2021-10-16 19:44:52 +08:00
    @kgdb00 #3 KVM 里 intel nvmx 主要是有几个大公司 (比如 Google) 在生产环境使用,所以不断在贡献代码; AMD 之前在服务器市场萎靡这么多年,正常的 L1 部分都没怎么维护,更别提嵌套虚拟化了,不过现在已经在逐渐补齐了。
    feather12315
        14
    feather12315  
       2021-10-16 20:07:19 +08:00 via Android
    @adadada #12 是的,lspci 看看 iGPU 的 capability,上面写的是 SR-IOV
    pydiff
        15
    pydiff  
       2021-10-16 20:35:16 +08:00 via iPhone
    我是 3900×+b550+128g 内存,跑 k8s 学习,跟 win10 开发,esxi7,目前跑了 14 个虚拟机,体验挺好的。win10 直通了 rx460 跟 nvme 硬盘,网卡是惠普的拆机 350t4,之前买的时候才 110,现在想买却要 200 多,后悔没多买一块
    pydiff
        16
    pydiff  
       2021-10-16 20:38:56 +08:00 via iPhone
    @teliang
    @feather12315 我的 b550 直通 usb3.0 会导致重启后 esxi7 无法启动,试了百度上的各种方法依然没用,后来就放弃了
    SilencerL
        17
    SilencerL  
       2021-10-20 01:34:48 +08:00
    试试 PVE,我把退役下来的 3700x 搞了台 ALL IN ONE,没遇到坑且用起来很不错!
    sidkang
        18
    sidkang  
       2021-10-20 01:53:30 +08:00
    5950X+X570 太极+PVE 没遇到什么 AMD 才有的问题,用着很满意~
    fhbyljj
        19
    fhbyljj  
       2021-10-20 02:26:08 +08:00 via Android
    AMD 直通很简单吧

    现在我就只有 Intel GPU 虚拟化卡住了
    ladypxy
        20
    ladypxy  
       2021-10-20 10:02:09 +08:00 via iPhone
    @feather12315 扯淡呢
    看看现在 dell hp 的虚拟化服务器,基本都是主推 amd 了
    siknet
        21
    siknet  
       2021-10-20 10:24:50 +08:00
    建议上 X570,接口和通道都多多了
    feather12315
        22
    feather12315  
       2021-10-20 12:26:23 +08:00 via Android
    @ladypxy #20 我说的消费级主板
    caicaiwoshishui
        23
    caicaiwoshishui  
       2021-10-20 12:40:54 +08:00 via iPhone
    @pydiff esxi 不能直通核显信号输出,真蛋疼
    HamGuy
        24
    HamGuy  
       2022-01-11 17:31:04 +08:00
    @kgdb00 打扰了,挖个坟,请问 exsi 的网卡驱动怎么搞定的?我的是 B550M 重炮手,安装 esxi 7.x 的时候,提示找不到网卡
    kgdb00
        25
    kgdb00  
       2022-01-12 00:34:38 +08:00 via Android
    @HamGuy 我都不用 exsi
    HamGuy
        26
    HamGuy  
       2022-01-12 14:16:37 +08:00
    @kgdb00 😂,那打扰了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3685 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 04:23 · PVG 12:23 · LAX 20:23 · JFK 23:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.