Linux集群-ceph分布式存储
Ceph是一个统一的分布式存储系统,设计初衷是提供较好的性能、可靠性和可扩展性。
ceph可以实现的存储方式:
| 存储方式 | 说明 |
|---|---|
| 块存储 | 类似基本硬盘 |
| 文件系统存储 | 类似于NFS的共享 |
| 对象存储 | 类似于百度网盘 |
| ceph存储数据采用多副本方式存储,生产环境下,一个文件至少需要备份3份 | |
ceph组件
- OSD: 功能是存储数据,处理数据的复制、恢复、回填、再均衡,并通过检查其他OSD守护进程的心跳来向Monitors提供一些监控信息。存储节点有几个用于ceph存储的硬盘,就有几个OSD进程。
- Monitors:维护着展示集群状态的各种图标,包括监视图、OSD图、归置图、和CRUSHtu。主要负责管理集群状态。MON节点一般为奇数。
- MDS:为ceph文件系统存储元数据(也就是说,ceph块存储和对象存储不使用MDS)。只有存储方式为文件系统存储,才需要该组件。元数据是描述数据的数据。文件的元数据描述的是文件的大小、权限、访问时间等。
- RGW:对象存储网关。主要为访问ceph的软件提供API接口。
实验

ceph-deploy部署方式(最高支持centos7)
-
在node节点上安装ceph软件包
yum install -y ceph-mon ceph-osd ceph-mds ceph-radosgw -
配置client节点安装ntp服务器👉ntp时间同步服务器
-
配置node节点的ntp服务器为client
-
在任意节点安装ceph-deploy(这里以node1为例)
安装pip
yum install python3-pip使用pip安装ceph-deploy
python3 -m pip install ceph-deploy -i https://pypi.tuna.tsinghua.edu.cn/simple -
node节点需要下列python模块包,使用pip安装
python3 -m pip install --upgrade six pyyaml -i https://pypi.tuna.tsinghua.edu.cn/simple
-
创建ceph-deploy工作目录,进入目录
mkdir ceph-cluster -
初始化
ceph-deploy new node{1..3} -
开启COW分层快照功能。COW:写时复制 copy on write
vim ceph.conf加入下列配置rbd_default_features = 1
-
初始化monitor
ceph-deploy mon create-initial -
使用
ceph -s命令可以查看节点状态如果报错RADOS object not found (error connecting to the cluster),一般是密钥文件丢失,从控制节点复制
ceph.client.admin.keyring 和ceph.conf文件到monjiedian的 /etc/ceph/ 目录下scp /root/ceph-cluster/ceph.conf root@client:/etc/ceph/ scp /root/ceph-cluster/ceph.client.admin.keyring root@client:/etc/ceph/复制
ceph.client.admin.keyring文件到控制节点的 /etc/ceph/目录下mv /root/ceph-cluster/ceph.client.admin.keyring /etc/ceph/ -
初始化硬盘(会清空所选硬盘)
ceph-deploy disk zap node1 /dev/sdb ceph-deploy disk zap node2 /dev/sdb ceph-deploy disk zap node3 /dev/sdb -
创建存储空间,创建OSD
ceph-deploy osd create --data /dev/sdb node1 ceph-deploy osd create --data /dev/sdb node2 ceph-deploy osd create --data /dev/sdb node3