跳转至

在 EOS 上存储和管理大型文件

学习目标

  • 打开并查看 EOS 上的文件
  • 理解 XRootD 的基础知识

EOS 是 CERN 为用户提供的一个大型磁盘空间。更多信息请参见此处。

在 lxplus 上，EOS 通过 FUSE 挂载在 /eos 目录下。如果列出 /eos 目录的内容，你会看到各种实验区域和用户区域：

lhcb user

EOS 上常用的两个工作空间：

  • /eos/user：个人 EOS 空间（亦可通过 CERNBox 访问），容量 1 TB；
  • /eos/lhcb：LHCb 公共区，包含以下子目录：
    • /eos/lhcb/user：个人用户区，可存放 ntuples，容量 2 TB；
    • /eos/lhcb/wg：工作组空间（用于保存已完成分析的 ntuples）；
    • /eos/lhcb/grid/：CERN Grid 站点路径；以及更多其他目录。

查看个人用户区示例：

$ ls -al /eos/lhcb/user/a/another

在 lxplus 上，可直接用常规方式在 ROOT 中打开 EOS 上的文件：

$ root /eos/lhcb/user/a/another/myfavouritefile.root

XRootD

EOS 的优势不仅在于容量巨大，更在于支持 XRootD 协议。一般而言，FUSE 挂载并不十分可靠，不推荐用于大量文件的移动或访问；建议改用 XRootD 或 EOS commands。XRootD 支持浏览、读写 /eos 及多个用户空间。

认证步骤：需先生成 Kerberos 凭证，命令如下： 

kinit -f <username>@CERN.CH # It is necessary for CERN.CH to be in all-caps

让我们看一个存储在/eos上的文件地址示例。该文件在 "lnteractively exploring a DST" 课程中使用过：

root://eoslhcb.cern.ch//eos/lhcb/wg/dpa/wp7/Run3SK/exampleDST/b2oc_exclusive_s24c4.dst.

这里的双斜杠是必要的。这个地址可以分为两部分：

The host server : root://eoslhcb.cern.ch/
The file path :/eos/lhcb/wg/dpa/wp7/Run3SK/exampleDST/b2oc_exclusive_s24c4.dst

可以使用完整地址将 ROOT 文件加载到 root 中，例如： 

$ root root://eoslhcb.cern.ch//eos/lhcb/user/a/another/myfavouritefile.root
之后可使用 XRootD 命令（如 xrdcp 和 xrdfs）进行文件管理操作 这些命令的语法如下：

xrdcp <source> <dest> 其中，源地址（source）、目标地址（dest）二者之一或两者均可为 XRootD 地址或本地地址，用于复制单个或多个文件。

xrdfs <host> <command> <file> 将对远程文件执行文件系统命令（例如 ls 、stat 、rm 等）

查看文件信息

请尝试使用 xrdfs 对上述 dst 文件执行 stat 操作！