V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
LxnChan
V2EX  ›  Linux

PVE 的存储是咋配置的啊?虚拟机的镜像文件在哪啊?

  •  
  •   LxnChan ·
    lxnchan · 2021-10-17 19:25:07 +08:00 · 4462 次点击
    这是一个创建于 1169 天前的主题,其中的信息可能已经有所发展或是发生改变。

    一、需求

    一个非常稳定的 NAS 环境,用于 NAS 功能的操作系统必须为 Ubuntu,要求在该配置下意外断电不能丢数据不能无法启动。性能损耗不能太高,显卡直通等运算级功能不作要求。需要该 NAS 有一定的功能性(例如 Apache/AdGuard 等)。

    二、架构

    我打算用 PVE 作为底层服务,在上层运行 Ubuntu 和其他操作系统共同完成整体功能。 ESXi 因硬件兼容性问题不考虑。

    三、现在出现的问题

    11 条回复    2021-10-19 11:31:52 +08:00
    monkey110
        1
    monkey110  
       2021-10-17 20:38:38 +08:00
    ups 能帮你解决意外断电问题 其他问题看楼下
    BeautifulSoap
        2
    BeautifulSoap  
       2021-10-17 20:55:41 +08:00 via Android
    PVE 就是个跑在 debian 上的 GUI 罢了,你高兴的话直接在 pve 里跑要的功能都没问题。
    主板如果有 nvme 接口的话,把 pve 装 nvme 盘,然后把整个 sata 控制器直通给虚拟机就行了。
    ety001
        3
    ety001  
       2021-10-17 20:58:00 +08:00
    问题 1 解决方法: https://steemit.com/cn/@ety001/pve

    问题 2,性能损耗没有测试过,目前我自己的使用观感还可以。
    我是宿主机 48 核,256G 内存,其中一个虚拟机直通显卡和 host 类型的 16 核 CPU,使用 Arch 作为我的主力开发桌面,然后另外开了三个 kvm64 的 32 核 cpu 的虚拟机跑无桌面的 Linux 系统。
    虚拟机的配置文件在 /etc/pve/qemu-server/ 。
    我是用的 zfs,虚拟机创建后并没有镜像文件,而是一个 /dev/mapper/下面的块设备,用 fdisk -l 就能看到。
    ETONG
        4
    ETONG  
       2021-10-17 21:42:49 +08:00
    1.你要解决的问题关键词是 pve 直通 sata 控制器,搜索一下就能找到 youtube 上有不少教程 建议系统看一遍基本全部摸清楚了

    2.pve 损耗很小很小,性能很好,具体镜像文件放在那里?就是安装 pve 的盘,但是你后期直通硬盘装了系统之后就在你直通的那个硬盘了
    Tianao
        5
    Tianao  
       2021-10-17 22:08:39 +08:00
    意外断电不丢数据这个问题,纯靠软件很难保证,EMC VPLEX 之流的高端存储都要靠多级电源冗余来辅助,除了常规的(独立于存储系统的)交流电源冗余(包括但不限于 UPS 、ATS 、高压环网、多路变电及低压母线、油机),系统还自带专用的直流 UPS (艾默生的主机)和专用铅蓄电池组、机内锂电池和电容,这一切都是在 EMC 这种软件已经做到炉火纯青的情况下还需要专为存储设计的硬件及物理冗余。如果希望纯软件实现,必须要靠分布式系统,VMware 的 vSAN 要求最少双节点+见证节点,实际生产环境下建议最少三节点。NetApp 也是一样。

    说了这么多,是想表达这些顶尖的存储大厂软件技术已经是这个宇宙中已知最牛逼的了,还是要靠这些系统设计来保证“意外断电不能丢数据”,来单台 Ubuntu 主机之上纯靠软件实现“意外断电不能丢数据不能无法启动”,不客气地说——天方夜谭。
    LxnChan
        6
    LxnChan  
    OP
       2021-10-17 22:08:40 +08:00 via Android
    @ETONG 虚拟机的话虚拟机内的系统不是也要安装在一个镜像里面嘛,我想知道这个镜像在什么位置
    bao3
        7
    bao3  
       2021-10-17 22:08:56 +08:00
    你这个需求,很遗憾地说,你必须把 14 块硬盘的数据导出来,然后格式化,做 Raid 。原因很简单,你要求不能丢数据,不能无法启动。如果你把盘就这样原样插到任何的所谓 NAS 上,都必然会发生丢数据和无法启动,只是早晚的事而已。只有 Raid 才有进一步降低概率。
    PVE 是虚拟机,不是存储,不是 NAS 。你倒是可以考虑使用 open media vault,也是基于 Debian/Ubuntu,专门的存储系统。不存在直通议题。或者起码用 Unraid 的 OS,以及可以试试 FeeNAS/True OS (甚至 FreeBSD ),这个更可靠更快速。

    总之,用 PVE 本身就是个错误的方向。
    nbweb
        8
    nbweb  
       2021-10-18 09:29:44 +08:00
    问题 1,用 pve 做为基础 nas 系统,里面虚拟一个 ubuntu 或 debian,把虚拟机装在 nvme 里面,把 sata 控制器直通给虚拟机,就可以实现你要的功能。

    问题 2,在 pve 里面安装虚拟机,你可以把这个虚拟机看到是一台物理机就行了,该有的功能都能了,也有桌面,也能用 ssh 登录,pve 里面配置虚拟机,就是新建一个虚拟机,按界面的操作下一步,下一步就行了。
    ryc111
        9
    ryc111  
       2021-10-18 14:11:51 +08:00 via iPhone
    个人重要的数据有多少?
    越重要的数据投入越大。
    建议就是整理 16 块硬盘的数据。做好分类,一个参考:

    1,无备份,jbod/raid0(不建议) 可以随时下载回来的电影电视剧,临时下载的文件,临时转存的文件等…
    2,raid1 raid5 raid10,1 ~ N 盘单机冗余的,一些稍微有点用的文件,教学视频,自己拍的原始视频照片等(我会暂存一份 raw,会定期整理,然后),视频工作流。这个也作为多机备份的盘。
    3,多机备份,异地容灾,云备份。重要文件,比如对于我来说,所有的身份文件备份,一些重要的历史记录,代码库,个人数据库,照片库视频库。我目前大概需要 4G 左右的空间给出了视频照片以外的文件,压缩后 1G 出头。3 台机器(一台放我爸妈那,一台放储藏间,一台在书房)之间同步,然后定时任务压缩备份到单独的备份硬盘。然后视频照片我也顺便同步了,给爸妈也设置了手机自动上传他们房间的 nas,目前占的空间大概 2T 还在一直增长中。

    其实无所谓用什么系统,pve 也只是一个虚拟平台。如果需要一个管理的,unraid 其实更方便一点。关键还是想好做什么。
    davidyin
        10
    davidyin  
       2021-10-18 18:13:11 +08:00 via Android
    我是这样做的。
    nas 是单独一个硬件实体,有四个硬盘,不做 raid 。
    一个 dell 服务器跑 PVE,虚拟机都跑在这上面,如果有重要的数据和服务,定时备份到 nas 上。
    zhouzm
        11
    zhouzm  
       2021-10-19 11:31:52 +08:00
    标准安装下,qemu 虚拟机的配置文件目录是:/etc/pve/nodes/pve/qemu-server/
    数据文件目录是:/var/lib/vz,这个目录下包括:
    dump:备份
    images:虚拟机的虚拟磁盘文件
    template:模板 ISO,disk
    例如:
    /var/lib/vz
    ├── dump
    ├── images
    │ ├── 100
    │ │ └── vm-100-disk-0.qcow2
    │ └── 101
    │ └── openwrt-x86-64-generic-squashfs-combined.img
    ├── private
    ├── snippets
    └── template
    ├── cache
    ├── iso
    │ ├── Deepin-LiteXP-SP3.ISO
    │ └── WePE_32_V1.2.iso
    └── qemu

    如果安装时使用了 lvm,那么挂载点可能不用,你 find 一下就能找到。

    硬盘直通有 2 种方式,一是直通 sata 控制器( host 直接把 sata 控制器扔给虚拟机了),二是直通单个硬盘( sata 控制器仍然由 host 管理,只是上面的硬盘扔给虚拟机不管了)。由于你有这么多硬盘,还是选择直通 sata 吧。

    假如你原来的硬盘是单独使用没有组 raid 的,那么在虚拟机里是可以直接读到到数据的(就像把硬盘换到另一台电脑上),假如原来是组 raid 的,那估计很难读取到的。

    性能损耗取决于你的配置,如果直通硬件(网卡,sata,硬盘),性能损失非常小,cpu 类型可以选 host 。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2214 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 16:07 · PVG 00:07 · LAX 08:07 · JFK 11:07
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.