事情的开始,只是我想换个主板和CPU而已
在我大学的时候,我装了一台小ITX,配置是经典的3700X+微星B450i+2070S。当工作了之后,我的桌面空间宽裕了很多,于是我就筹划着更换一套平台,不再被ITX系统所局限。换下来的部件还正好能整一台小服务器玩玩
预计的更换内容很简单,换一个更大的电源为更新后的显卡做准备(40系改成新的插头,等于白买了),然后买个便宜的b550迫击炮+APU5600g回来。这样主机的配置是3700x+b550迫击炮+2070s,小服务器则是5600g+b450i。给小服务器再买个便宜的内存和机箱就能使用了
如果事情到这里就结束,那事情确实是皆大欢喜。主机更新了配置,还多了个小服务器。而且b450平台不支持pcie4.0,5000系列APU正好只支持pcie3.0x16,而且5600g的CPU及核显不仅性能强劲,功耗还低
那么最早期的服务器配置如下
这个机箱的搭配可以说是非常的完美,体积小巧、性能强劲。还预留了一个全高全长的双槽半的显卡插槽,可以拿来装一个3.5寸机械和各类固态等东西,或者是后期把淘汰的2070s换上去
我测试了一下服务器的性能数据,cpuz单核550,多核4500。烤机功耗大概是100W,CPU温度86度左右
但是,接下来就是折腾至今的服务器升级过程
在安装服务器,搭建系统环境期间。我给主机装了一个8T的SSD,考虑到文件备份的要求,我就寻思给服务器升级个硬盘吧
经过一系列的技术选型后,我选择了乔思伯的N1机箱。支持7cm散热器空间、5个热拔插3.5寸盘位、若干个2.5寸盘位(取决于盘体厚度和你的动手能力)以及我的SFX电源。而且体型小巧,做工解释、颜值很高
如果是对电脑知识有点了解的朋友可能会有点疑惑,一般的ITX只有4个sata盘位,如何填满这个机箱的5+n盘位呢?这就要讲到一个冷知识了,主板的很多部件的功能都是走的PCIE通道,而无线网卡正好可以拔下来,插入专门的sata扩展卡转换出两个端口
于是这台电脑的硬盘搭配就变成了一个1T的P4510当系统盘、一个500g的mx500当缓存盘,5个4T机械组raid6做文件存储,兼顾存储容量和数据安全
当然,装的这台小主机既然我称呼为服务器,就说明他不是用来简单的放点文件的,不然我塞进去一个5600g干什么呢?当然是为了挂机GTAV了!这个服务器设计的目标是提供文件存储服务+双开虚拟机挂机GTA+文件转码+开一个MC服务器+跑数据库和我开发的一些软件
这么多功能叠加下来,对于一颗6核12线程的处理器来说压力还是大了点。其实主要还是GTA,一个虚拟机就需要8G-10G的内存,40%左右的CPU性能。这样子分配给其他虚拟机的性能就不太够了,尤其是我想要开个MC服务器和在本地镜像一个数据查询服务器。剩余20%的CPU性能可能是不够的
那么,问题的解决办法就很简单了,换!来一颗5700G当CPU就正好合适,8核16线程@4.6ghz的旗舰规模,性能足够暴打当时的i家旗舰i911900k。而且功耗更低,性能更强
于是乎,我就在咸鱼上花了1700买了个盒装5700g。买回来之后我肯定是要好好的把玩一下,不然怎么对得起我那颗折腾的心呢。测试结果十分优异,双开CPU也就占用了60%的性能。但是烤机功耗飞升到了120W、使用换了个9225的台达暴力扇的axp90,CPU温度也频频破95度
这就有点尴尬了,从原来的环环相扣,紧密配合变成了小马拉大车
虽然CPU的性能的足够了,但是我又发现了更大的问题。那就是内存又不够了。winserver默认需要大概8G的内存空间,然后两个GTA虚拟机16G、一个工作用虚拟机8G、一个开发用虚拟机8G。32G的内存空间是绝对不够的,于是乎我咬咬牙,花了2200又买了两个32G的3200mhz的三星纯ECC内存(自带奇偶校验,稳定性远胜于常规内存)
这下在高频64GECC内存的加持下,总该无忧了吧?可惜,再一次的,事与愿违
我非常喜欢AMD的原因不仅是因为逆袭的故事励志与强劲的性能,AM4接口的连续支持6代CPU和不阉割ECC内存支持做强行分级更是让我好感大增
可问题就出在这个APU上,虽然APU的CPU和显卡性能双优,非常适合组一个精简又性能强大的小钢炮。但是物理学极限摆在那里,在本来就寸土寸金的CPU空间里塞下一个性能不错的核显非常麻烦
在4000系列APU出现以前,APU长期被延迟一代更新的CPU性能和只有x8的PCIE通道所困扰。虽然在4000系列之后的APU终于用上了和普通CPU同代的架构和完整的PCIEx16的通道,但是对于ECC内存的支持却需要购买专门的PRO系列CPU才行
而且要想启用ECC的支持,不光CPU的内存控制器需要支持ECC。主板厂商也需要多拉8根内存连接线和进行专门的ECC认证。在消费级主板能做到这一点的厂商就只有华硕及分公司华擎
不过买都买了,看在ECC内存更好的做工上,就凑合着用吧。毕竟64G的内存,开虚拟机是真的快乐
购买了新机器总是会给自己创造新的需求,而对于本来就有仓鼠党倾向的我来说更是如此。有了NAS之后想要玩什么?当然是私有云和PT了!
我将5块机械硬盘按照微软的镜像加速奇偶部署推荐校验划分为了两部分,大约1.5T的三副本镜像性能存储和7.5T的双奇偶校验容量存储。数据会先写到“快速”的镜像缓存中,缓存写满后,系统自动调度不常用的数据到速度慢的容量层中。不仅保证在掉任意两块硬盘的情况下数据依然可用,同时还能享受到镜像加速的高速度、奇偶校验的大容量
一块4t裸盘的存储空间在GB和GiB以及系统分区的盘剥后只剩下3.64TB的实际可用空间,5块盘就只有5x3.64=18.2TB空间了。而且由于做了Raid,所以存储空间实际可用也就只有9T
这个操作看起来完美,不过PT上传这种随机读取对于机械而言实在是过于为难了,而且动辄就是几百G甚至是几个T的可重复下载资源对于为了安全性而损失了4成的容量的存储空间也太大了
那还能怎么办?加硬盘!
可能记忆力较好的读者已经发现了,我的乔思伯机箱已经塞满了全部5个3.5寸的机械硬盘,要怎么操作才能实现支持更多的磁盘空间呢?
于是在我的苦思冥想下,我决定换一个机箱。选择一个能完整利用上PCIE16条通道+6个SATA接口加原有SFX模组线和电源的机箱。而且考虑到5700G的高发热,还需要CPU能支持一个塔式散热器以及良好的硬盘风道
市面上合适的机箱还真不多,要么是相对太大、要么是不支持SFX电源、要么是硬盘设计不合理、要么是不支持全高全长PCIE接口
在找遍市面上的所有NAS机箱后,还真让我发现一个冷门的好选择。分型工艺的NODE304,一个方方正正的小机箱。支持双槽全高全长PCIE通道、大概16CM的散热器高度(正好我有一个15cm高的空闲塔式散热器)、6个带风扇直吹的吊装硬盘架、ATX或SFX电源支持,以及良好贴心的外形和易用性设计。那么justbuyit!
于是乎,我就又多买了一块3.5寸硬盘。当然,如果按照原先的配置,这块硬盘也就能增加2TB的存储空间,这毫无疑问的是杯水车薪。但是,我有一个GREATIDEA!既然打算做镜像加速奇偶校验,那么镜像层为什么要局限于无潜可挖的机械呢?
按照微软推荐的3:7的容量比例推荐,在研究了一圈的固态硬盘市场后,我决定搞个大的(字面意思)。我打算买两个3.84T的企业级PCIE4.0固态硬盘来当性能层,以后升级服务器的时候还能用得到
市场上合适买到的U2固态有两种。一种是数据中心常见的铠侠CD6,2.5寸15mm厚盘,25W的功耗,速度稳发热高。另一种是工作站用的更多的三星PM9A3,2.5寸7mm薄盘15W功耗,4k高发热低。考虑到咸鱼二手的购买良品难易度和影响企业级固态寿命的主要因素是主控固件和发热。因此我选择了PM9A3
然后,受限于B450芯片组原生只有一个满速M2,正好5000系列APU又有16条PCIE通道。因此我决定使用PCIE拆分卡将主板通道拆成8+4+4的形式,实现支持40g兆网卡及双m2的配置
简单的开启了BIOS的拆分和重新配置磁盘阵列。现在的磁盘变成了一块18T的高性能类固态硬盘了!
于是乎,重新升级的NAS现在有了性能非常强劲的40g网卡(4000MB/S)、同样强劲的磁盘性能以及性能够用的万兆交换机
但是有个小问题,我的B550迫击炮插了两个NVME固态后已经没有空间给万兆网卡了。而且4.0的PM9A3只能跑在PCIE3.0上,速度只有一半
当然,这都是小问题。最大的问题还是在于我依旧使用了原有的ITX主板+SFX电源组合,这给后面的扩展升级带来了巨大的困扰
由于我研究虚拟化时发现主板的不支持某些特性,加上对系统的进阶配置导致无法排查是操作系统还是硬件的配置/稳定性问题。因此我决定将平台更新为支持ECC的5750g处理器,以及选择采用面向服务器及工业领域更多的华擎b550iphantomgaming主板。这个主板不仅支持最高5950X的处理器供电和双m2插槽,还没有x570芯片组烦人的芯片组风扇和挡空间的主板扩展卡(说的就是你,华硕)
更换至新平台后,系统的稳定性有所提升,可是又发现华擎主板的主板也有不少的问题。BIOS的设置混乱,不像是微星那样的按功能分类、CPU超频设置需要在两个不同的地方调整。而且5750G系列官方是不支持超频的,所以无法使用便捷高效的PBO2来提升性能降低功耗
总之,又是一番折腾
服务器接了小米的智能插座,能看见服务器的具体功耗。由于服务器塞了三个暴力扇、三个企业级固态、6个机械硬盘、两根大容量内存和一个高性能CPU。因此待机功耗有90W之多,一个月下来的电费不少
为了降低噪音和功耗,我换掉了两个意义不大的服务器暴力扇并降低了整体的风扇功耗、进BIOS关掉了一些没有意义的选项。一同操作下来,系统只降低了10W的功耗
于是我又尝试着拔掉存储用的磁盘阵列,看看具体功耗能压低到多少。实测下来最多只能降到50W的工作功耗,这还是再拔掉硬盘后的测试。按照网上的分析报告和自己的实测,5750G的待机功耗只有10W、主板和散热器功耗在10W左右、内存可能只有3-6W。即使是算上转换率也还有大约20W功耗不知道被哪里占用了
推测应该是新的b550芯片组由于采用了pcie4.0的连接方式导致功耗增加,而且650W的金牌电源在低负载下的效率应该不高。但是由于SFX电源的高昂价格和定制线的高成本,我也是无力更换电源了
更离谱的是,不知道是不是功耗压过头了。后来电脑出现了一次不知原因的死机,于是我只能关掉原有的节能设置
由于大部分的ITX主板都是只有4个sata接口的,想要六个sata接口就需要把wifi接上m.2a+ekey转sata的转接卡。这个实际上非常的不稳定。而且比较麻烦的是由于DDR4UDIMM单根内存最大32G,这个内存容量实际上是不太够的
这里其实还有一个别的问题,5750ge用的是vega8,性能超过1030,理论上对于我的需求是够了的。但是由于VGEA架构的核显直通非常不稳定,带崩虚拟机后,宿主机也需要重启。所以需要一个独显
结合pcie插槽只有一个的问题,还是考虑换一套设备吧。思来想去,御夫座这个机箱就很不错,官方支持ATX电源+mATX主板,有六个sata接口。非常适合我之前买来就考虑给NAS用的B550迫击炮
然后省略掉亿点点的采购和组装和升级过程
自上而下的说吧。首先是电源,御夫座虽然是支持ATX电源的,但是这样子只能用AXP90-53。我测试过,最多开放式能压AMD120W。于是我就加装了一个SFX转ATX的支架,腾挪出来的位置塞下了一个AXP120-67换扇利民B12E,再加上一个防尘网来防电源线剐蹭
剩下的槽位也全部利用上了。B550迫击炮的第二个M2和第四个pcie是冲突的,但是CPU直连一个M2,第一个PCIE可以拆844,然后分两个给M2。完全够用了
所以CPU槽位拆分成了844,然后给了40g网卡和两个8T的CD6使用,CPU自带的M2原本是考虑从闲置的两个9A3上扣一个下来塞上去当系统盘,后来还是单买了一个2T的M27450PRO
第二个PCIE给了一个万兆网卡,这个是之前安装ESXi8发现不支持主板自带的8125B和40g网卡(FLR544+是CX3PRO核心)的时候用来亮机用的
第三个PCIE槽位给的是一张特斯拉P4,性能比1650强点,然后有8G内存。这个主要是用来拆分多张虚拟显卡后给需要显卡的虚拟机用的
第四个槽位给的是一个1650刀卡。由于这个机器目前还没有一张能亮机的卡,这个卡用来亮机和给游戏挂机用(还惦记你这BGTA干什么,后续,碧蓝真香)
然后剩下6个sata正好拿去给了6个18T的HC550
其实后面还买了个ipkvm,用来远程安装监控和编辑bios
其实之前的那个B550迫击炮已经换了一张,因为之前不知道为什么,1650和第四个pcie通道同归于尽。显卡给了盈通去翻修,主板卖了再买一个。这个应该是电源寄了的预兆
后面机器时不时的死机,我也不知道为什么,因为当时机房差不多40度了,确实有点危险。后面维修的时候发现,电源连接主板接口的位置烧了,怪不得电源会不稳
那没办法了,正好我受够了目前的拓展性,换个靠谱的平台吧。其实正好有一个比较靠谱机电平台,国鑫的RMC4212-670-HSE。标准4U机箱,前面般24盘位带Expender拓展槽,做工和硬盘托架外形都很美观。自带一套1300W冗余白金电源,还只要750。堪称超值
之后的配置和以前的小有区别,主要区别是散热器限高没那么严格了,换回了小银箭+B12E。然后pcie槽位1换成了拆分4444,给两个CD6和两个9A3。万兆网卡换成了3008直通卡,Expender背板什么都好,就是不能用sata去连接
然后还有一个区别就是1650换成了2070s,这个倒霉卡原本是自用的,换了5K屏,实在是带不动,显存又太小,不能跑一些大的AI模型,就换成了4090。原本这个卡淘汰下来后是给我爸炒股用的,后面考虑箱子能装下大显卡了,就拿回来了
之前发现网卡速度只有百兆了,重新打了半天的网线没找到问题。最后才发现是主板网口针断了一根,勉强挑出来能连上2.5G
虽然说128G内存看起来够用,实际上也勉强够用。但是日常80+的内存占用还是让我头痛,尤其是跑一些大应用CPU和内存都会爆
目前机器稳定性OK,连续运行60天都没有问题。但是功耗存在问题,常态运行400W左右。分析后主要是18盘+显卡导致的(200W)。目前临时解决方案是未阵列部分开启待机,CPU显卡降频
目前考虑分两台机器,高频136k限制TDP,100W内整机运行现有任务足够了
服务器主板考虑寄家的MZ32-AR0,只有这个合适且便宜,H12贵还容易坏BMC
下面这个是我和最开始换机器一起买的H3C4950G564C512G。但是太吵了
目前整机平台的功耗在350W左右,由于还插了一堆杂七杂八的设备,功耗很难低的下来。目前是拔掉了不要的硬盘并对CPU限制了TDP。但是300W的功耗还是感觉高了
所以下一台机器我可能考虑不再分成服务器+家用平台,并减少扩展。8盘位应该是一个合理的选择,64G单根的内存也即将出来了,家用平台的扩展也不用太担心。但是新一代的intel处理器可能在单核提升25%的同时小核增加到32个,家用直接有40核,8000的内存频率可能成了新的常态。所以更新还是再等一等吧
再改是狗!
最终服务器可以说是能换的部件都换了一遍,而且体积也越来越大了
CPU:5600g->5700g->5750g->5900x主板:微星B450i->华擎b550i->微星B550M迫击炮->微星B550M迫击炮MAX内存:铭瑄16GBx22400MHZ->三星32GBx23200MHZ->光威32GBx4硬盘:英特尔P45101T->镁光7450pro1.92t硬盘:三星PM9A34Tx2->凯侠CD67.86Tx2硬盘:西数4TWD40PURXx1->西数4TWD42EJRXx6->西数18THC550x6散热器:利民AXP90X47->利民小银箭->利民AXP120-67->利民小银箭电源:海韵SX650G->国鑫1300W冗余电源机箱:超频三蜂鸟1->分型工艺Node304->御夫座->RMC4124-670-HSE感言实际上被ITX折磨的离谱,这个价格完全可以上二代的EPYC处理器了。随随便便32核、8通道内存、12盘位、128条PCIE4.0通道。除了单核CPU性能略低、噪音和体积比较感人。其余可以说是乱杀这台小机器