Ceph存储之三(部署与使用 Ceph文件存储)

第一:ceph介绍

组件名 解释
RADOSGW 对象网关守护程序
RADOS 存储集群
Monitor 监视器,RADOS的组件,为何整个ceph集群的全局状态
OSD Object Storage Device,RADOS的组件,用于存储资源,即数据盘(一个磁盘一个OSD进程)
MDS ceph元数据服务器,为ceph文件系统存储元数据
RBD 块存储
CEPHFS 文件存储
LIBRADOS 和RADOS 交互的基本库,librados,ceph通过原生协议和RADOS交互

第二:角色规划

主机名 主机IP 磁盘配比 角色
ceph50 public-ip:192.168.200.50
cluster-ip:192.168.100.50
sda,sdb,sdc,sdd
sda是系统盘,另外三块数据盘
sdb为ssd,sdc,sdd为hdd
ceph-deploy,monitor,mgr,osd
ceph51 public-ip:192.168.200.51
cluster-ip:192.168.100.51
sda,sdb,sdc,sdd
sda是系统盘,另外三块数据盘
sdb为ssd,sdc,sdd为hdd
monitor,mgr,osd
ceph52 public-ip:192.168.200.52
cluster-ip:192.168.100.52
sda,sdb,sdc,sdd
sda是系统盘,另外三块数据盘
sdb为ssd,sdc,sdd为hdd
monitor,mgr,osd

第三:ceph存储集群的搭建,请看这篇文章 https://boke.wsfnk.com/archives/1163.html

第四:部署Ceph文件存储

Ceph文件系统至少需要两个RADOS池,一个用于数据,一个用于元数据
A:CephFS需要用到MDS服务,我们将MDS服务部署在集群所有节点上 (只在 ceph50管理节点上执行)

    su - ceph
    cd ~/my-cluster
    ceph-deploy mds create ceph50 ceph51 ceph52

B:在集群管理节点上,创建cephfs存储pool

#创建数据pool
    ceph osd pool create cephfs_data 128
#创建Metadata池
    ceph osd pool create cephfs_metadata 128
#启用CephFS pool
    ceph fs new cephfs cephfs_metadata cephfs_data

C:查看CephFS(在ceph50 管理节点上查看,或者ceph集群的web页面查看)

    ceph fs ls

第五:讲解客户端用两种方式挂载使用 CephFS(kernel driver和fuse)

A:kernel driver挂载
#一般Ceph我们都启用了Ceph 认证所有挂载的时候需要name 和secret ceph.client.admin.keyring文件信息

sudo mkdir /mnt/
sudo mount -t ceph Ceph-client-node-hostname:6789:/ /mnt/ -o name=admin,secret=CQBSdU22bT27AKxAAvKo8KlGpSuNRCHjC4B8Dd0==

#为防止重启失效设置开机自动挂载/etc/fstab
Ceph-client-node-hostname:6789:/ /mnt/ceph ceph name=admin,secretfile=/etc/ceph/secret.key,noatime,_netdev 0 2
B:fuse挂载

安装挂载工具
yum -y install ceph-fuse ceph

将存储节点的admin秘钥拷贝到本地
ssh root@ceph50 "ceph-authtool -p /home/ceph/cluster/ceph.client.admin.keyring" > admin.keyring

赋予权限admin.key 600 权限
chmod 600 admin.keyring


执行挂载
mount -t ceph Ceph-client-node-hostname:6789:/ /mnt -o name=admin,secretfile=admin.keyring

确认挂载信息
df -hT


设置开机自动挂载/etc/fstab
id=admin,conf=/etc/ceph/ceph.conf /mnt fuse.ceph defaults 0 0


mds可以同时启用多个节点,不同的client挂载不同mds存储节点,不同client可以同时写数据,数据是共享的

如果是windows挂载访问:
https://github.com/ksingh7/ceph-cookbook/tree/master/ceph-dokan
声明:本文为原创,作者为 辣条①号,转载时请保留本声明及附带文章链接:https://boke.wsfnk.com/archives/1179.html
微信打赏微信打赏

如果文章对你有帮助,欢迎点击上方按钮打赏作者

最后编辑于:2020/2/19作者: 辣条①号

暂无评论

发表评论

电子邮件地址不会被公开。 必填项已用*标注