Nextcloud加密备份到腾讯云COS或阿里云OSS

写在前面

根据前文《从0开始安装Nextcloud》搭建了自己的Nextcloud网盘之后,有的小伙伴就会有疑问:如果硬盘损坏了怎么办?

本文提出的解决方案是将文件数据备份到云,这里衍生出来的另一个问题就是,既然备份到云,那么为什么不直接上传到云呢?其实是可以的,但安全性很难保证。

那备份到云的安全性又如何保证呢?这就是本文要解决的问题。

本文旨在解决两个问题:

1、放在本地,硬盘坏了怎么办?

2、放在云上,数据安全性怎么保障?

实现原理

1、Nextcloud有一个功能叫“服务器端加密”,开启后用户上传的文件都会被加密。

*注意:开启后新上传的才会被加密

2、将阿里云OSS或者腾讯云COS挂载到本地文件系统

3、将Nextcloud中加密的文件数据同步到挂载的远程目录

操作步骤

本文其实是通过将腾讯云COS或阿里云OSS挂载到本地文件系统之后进行管理的,具体的挂载步骤可参考《挂载阿里云OSS到本地当远程磁盘》和《挂载腾讯云COS到本地当远程磁盘》。

本文的内容是从上述文章完成后,即已经将阿里云OSS或腾讯云COS挂载到本地/files之后开始的。

1、开启Nextcloud的“服务器端加密”

在Nextcloud的 设置 -> 管理 -> 安全 ->服务器端加密 中开启。

2、启用加密模块

在Nextcloud的 应用 -> Default encryption module -> 启用

3、注销登陆重新登录,以初始化你的加密密钥

4、安装rsync

apt install rsync

5、同步data文件到/files(排除加密文件)

rsync -av --exclude "files_encryption" /webdata/nextcloud/data/ /files/

至此,文件已经成功同步到云上了,而因为我们没有上传密钥,因此实际上我们没有泄漏任何有效的资料。

*注意:是使用定时任务还是手动触发同步,需要各位看官自己去研究

注意事项

1、用户的私钥和解密用户文件所需的所有其他密钥保存在 data/<user>/files_encryption ,需要用户手动备份

2、私钥和解密存储在系统范围的外部存储中的文件所需的所有其他密钥保存在data/files_encryption,需要用户手动备份

3、*如果上述的密钥丢失,可能导致用户无法找回自己的文件

参考资料

1、Nextcloud Encryption configuration

2、rsync

挂载阿里云OSS到本地当远程磁盘

ossfs能让您在Linux系统中,将对象存储OSS的存储空间(Bucket)挂载到本地文件系统中,您能够像操作本地文件一样操作OSS的对象(Object),实现数据的共享。

——阿里云OSSFS概述

写在前面

本文没有任何技术含量,仅仅就是记录一下操作步骤以便其他文章引用。

操作步骤

1、阿里云OSS控制台创建一个Bucket,此处本文命名为mateor-cn-bucket,读者自行修改

2、本页面选择对应版本的软件下载地址,我是Ubuntu Server 18.04,因此我的下载地址是:

http://gosspublic.alicdn.com/ossfs/ossfs_1.80.6_ubuntu18.04_amd64.deb?spm=a2c4g.11186623.2.15.2ddc7358PWdRCh&file=ossfs_1.80.6_ubuntu18.04_amd64.deb

3、下载软件

wget 'http://gosspublic.alicdn.com/ossfs/ossfs_1.80.6_ubuntu18.04_amd64.deb?spm=a2c4g.11186623.2.15.2ddc7358PWdRCh&file=ossfs_1.80.6_ubuntu18.04_amd64.deb'

4、安装OSSFS(依次执行)

sudo apt-get update
sudo apt-get install gdebi-core
sudo gdebi ossfs*.deb

5、创建/etc/passwd-ossfs文件,格式参照下述命令

echo my-bucket:my-access-key-id:my-access-key-secret > /etc/passwd-ossfs

此处我执行的就是:

echo mateor-cn-bucket:我的AccessKeyId:我的AccessKeySecret > /etc/passwd-ossfs

*注意:其中my-access-key-idmy-access-key-secret需要到阿里云用户信息管理去生成。

6、修改/etc/passwd-ossfs文件的权限

chmod 640 /etc/passwd-ossfs

7、挂载Bucket到指定目录

ossfs my-bucket my-mount-point -ourl=my-oss-endpoint

比如我将mateor-cn-bucket挂载到本地的/files,且我的OSS对象存储EndPoint地址为:oss-cn-shenzhen.aliyuncs.com,那么我执行的就是:

ossfs mateor-cn-bucket /files -ourl=http://oss-cn-shenzhen.aliyuncs.com

*注意:这里如果出现错误提示,如:

ossfs: unable to access MOUNTPOINT /files: No such file or directory

是因为要挂载的文件夹不存在,需要先创建再挂载

mkdir /files

至此,OSS就已经成功挂载到本地了,下图中256T的就是挂载的OSS。

如果不再需要挂载,那么可以执行进行卸载:

fusermount -u /files

注意事项

1、编辑已上传文件会导致文件被重新上传

2、需要远程访问OSS服务器,所以性能较差

3、重命名文件/文件夹可能会出错(若操作失败,可能会导致数据不一致)

4、不适合高并发读/写的场景

5、数据一致性由您自行维护(所以需要避免出现多个客户端写同一个文件的情况)

参考资料

1、阿里云OSSFS概述

Aria2下载到腾讯云对象存储(COS)或阿里云对象存储(OSS)

写在前面

上篇扫盲了《闲置VPS安装Aria2进行离线下载》,本文分享的是一些进阶玩法。

其实原理和实现都很简单,都是现成的工具,这里其实只是分享一个思路。

配置介绍

这里先简单描述下我的运行配置,免得各位看官看到后面的时候出现不该有的疑惑。

Aria2 的下载目录:

/aria2/running

Aria2 的 on-download-complete 参数对应的脚本:

/etc/aria2/complete.sh

/etc/aria2/complete.sh 的内容:

#!/bin/bash



if [ "$2" == "0" ]; then

  exit 0

fi



SRC=$3

while true; do

  DIR=`dirname "$SRC"`

  if [ `basename "$DIR"` == 'running' ]; then

    mv "$SRC" `dirname "$DIR"`/sync/

    exit $?

  else

    SRC=$DIR

  fi

done

/etc/aria2/complete.sh 的作用其实只有一个:

将下载好的文件(文件夹)从 /aria2/running 移动到 /aria2/sync。

其实上文已经把内容都讲完了。

这个功能本质上其实就是使用 Aria2 进行下载,利用阿里云OSS或者腾讯云COS的官方工具挂载文件在本地(本文中是/aria2/sync),下载完了之后触发脚本时将下载好的文件从下载目录移动到挂载目录。

阿里云具体步骤

参考《挂载阿里云OSS到本地当远程磁盘

腾讯云具体步骤

参考《挂载腾讯云COS到本地当远程磁盘

写在最后

至此,本文要介绍的内容就已经完结了,我个人建议开机就自动挂载,相信大家也知道怎么操作,我就不废话了。

在文件转存到COS或OSS之后,就可以使用官方的浏览工具进行浏览了。

另外,阿里云我没仔细研究,但腾讯云COS有两个功能我非常喜欢,就是生命周期跨地域复制,感兴趣的朋友可以自己研究。