ceph 설치중 hammer 버전의 문제인가... osd activate에서 권한 문제시
최신 ceph-deploy 를 사용하면서 hammer 버전을 설치하는 것의 문제인지 재설치를 반복해서 생기는 문제인지는 모르겠으나 구글링 시 몇몇 경우가 발생하는 것으로 보여 포스팅 합니다.
[ceph2][INFO ] Running command: /usr/sbin/ceph-disk -v activate --mark-init sysvinit --mount /mnt/hdd
[ceph2][WARNIN] DEBUG:ceph-disk:Cluster uuid is fa3fad87-59f5-4181-9b73-21b5c41ff2e1
[ceph2][WARNIN] INFO:ceph-disk:Running command: /usr/bin/ceph-osd --cluster=ceph --show-config-value=fsid
[ceph2][WARNIN] DEBUG:ceph-disk:Cluster name is ceph
[ceph2][WARNIN] DEBUG:ceph-disk:OSD uuid is 47b33355-429f-4439-90f7-97ecded7e38b
[ceph2][WARNIN] DEBUG:ceph-disk:Allocating OSD id...
[ceph2][WARNIN] INFO:ceph-disk:Running command: /usr/bin/ceph --cluster ceph --name client.bootstrap-osd --keyring /var/lib/ceph/bootstrap-osd/ceph.keyring osd create --concise 47b33355-429f-4439-90f7-97ecded7e38b
[ceph2][WARNIN] 2016-12-06 18:58:16.649663 7fc61b376700 0 librados: client.bootstrap-osd authentication error (1) Operation not permitted
[ceph2][WARNIN] Error connecting to cluster: PermissionError
[ceph2][WARNIN] ceph-disk: Error: ceph osd create failed: Command '/usr/bin/ceph' returned non-zero exit status 1:
[ceph2][ERROR ] RuntimeError: command returned non-zero exit status: 1
[ceph_deploy][ERROR ] RuntimeError: Failed to execute command: /usr/sbin/ceph-disk -v activate --mark-init sysvinit --mount /mnt/hdd
위와 같이 권한 에러 발생시 해결 방법입니다.
cd ~/my-cluster/
sudo scp ceph.client.admin.keyring cephu@ceph2:
sudo scp ceph.bootstrap-osd.keyring cephu@ceph2:
or
suco scp /var/lib/ceph/bootstrap-osd/ceph.keyring cephu@ceph2:
아래 파일은 deploy 버전에 따라 폴더/파일 위치가 다를 수 있음
해당 노드 (ceph2)에 접속해서 받은 파일을 폴더에 이동
mv -f /home/cephu/ceph.client.admin.keyring /etc/ceph/
mv -f /home/cephu/ceph.bootstrap-osd.keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
해주면 권한 문제 없이 해결이 됩니다.
http://millibit.blogspot.kr/2014/12/ceph-pi-intermission-and-another.html
admin node의 keyring 값과 node 의 keyring 값이 달라서 생기는 문제로 보입니다.