挂载文件存储实例

挂载点是文件存储实例在网络环境中的连接点，通过挂载点连接实例并实现数据传输。本文介绍如何挂载文件存储实例。

前提条件

• 确保您已经创建文件存储实例并获取了挂载点。请参见创建文件存储实例和查看实例详情。
• 本文选择在 ECS 实例上挂载文件存储实例，在挂载前，请先根据需要购买 ECS 实例。如何购买 ECS 实例，请参见购买云服务器。
  • 购买的 ECS 实例所属的网络环境必须和需要挂载的文件存储实例保持一致，否则无法访问实例。
  • 挂载 HDFS 模式文件存储实例时，在购买的 ECS 实例上提前安装 Hadoop 客户端，且 Hadoop 版本不低于 2.6.0。
  • 挂载 ACC 模式文件存储实例时，需要购买 Debian 操作系统的 ECS 实例。

挂载 HDFS 模式实例

在访问文件存储实例前，你需要将文件存储实例的挂载点配置到 Hadoop 的配置文件中。

1. 连接 ECS 实例。连接方式请参见连接 ECS 实例。

2. 部署大数据文件存储的 SDK。

   1. 下载 CloudFS SDK 并解压。下载地址：inf.hdfs.cfs_sdk_deploy_1.4.1.tar.gz。
   2. 将解压后的 SDK 目录下的cloudfs-hadoop-with-dependencies-cfs-1.4.1.jar文件复制到 Hadoop 的share/hadoop/hdfs目录下。

3. 配置core-site.xml文件。

   1. 执行以下操作打开 Hadoop 安装目录下的core-site.xml文件：
      vim {hadoop_安装目录}/hadoop/conf/core-site.xml
   2. 在 core-site.xml 文件中添加以下配置，然后保存退出。

   <!-- 填入文件存储的挂载点信息，例如 -->
   <property>
     <name>fs.defaultFS</name>
     <value>cfs://xxxx.cfs-cn-beijing.ivolces.com</value>
   </property>
   
   <property>
     <name>fs.cfs.impl</name>
     <value>com.volcengine.cloudfs.fs.CfsFileSystem</value>
   </property>
   
   <property>
     <name>fs.AbstractFileSystem.cfs.impl</name>
     <value>com.volcengine.cloudfs.fs.CFS</value>
   </property>  
   
   <property>
     <name>cfs.access.key</name>
     <value>AKxxxxxxxxxxx</value>
   </property>
   <property>
     <name>cfs.secret.key</name>
     <value>SKxxxxxxxxxxx</value>
   </property>
   
   <!-- 可选：如果使用的是 STS Token，需要填写 -->
   <property>
     <name>cfs.security.token</name>
     <value>STSTokenxxxxxxxx</value>
   </property>
   
   <!-- 可选：如果开启缓存加速，需要配置缓存加速接入的 VPC 的网段 -->
   <property>
     <name>cfs.client.network.segment</name>
     <value><VPC 网段，例如 192.168.0.0/16></value>
   </property>
   

   其中：

   • <name>fs.defaultFS</name>的值是大数据文件存储实例的挂载点地址，请根据实际情况替换。
   • <name>cfs.access.key</name>和<name>cfs.secret.key</name>的值分别是火山引擎账号的 Access Key ID 和 Secret Access Key，获取方式请参考密钥管理。

4. 验证文件存储实例是否部署成功。

   • 执行hdfs dfs -ls /命令，有文件结果返回表示部署成功。
   • 执行echo $?命令，返回0表示部署成功。

挂载 ACC 模式实例

1. 连接 ECS 实例。连接方式请参见连接 ECS 实例。

   说明

   ECS 实例必须是 Debian 操作系统。

2. 获取 FUSE 二进制。

   1. 下载 FUSE 压缩包。

      wget https://cloudfs.tos-cn-beijing.volces.com/sdk/cfs_client_new_<version>.tar.gz
      

      <version> 需要替换最新版本 FUSE，当前最新版本为 1.2.10-prod 。

   2. 创建文件夹，然后将压缩包解压到该文件夹。

      # 创建文件夹
      mkdir cfs_client_new
      
      # 解压 FUSE 压缩包。
      tar -zxvf cfs_client_new_<version>.tar.gz -C cfs_client_new
      

   3. 进入文件夹，查看文件。

      # 进入文件夹。
      cd cfs_client_new
      

      文件结构如下：

      cfs_client_new
      |- bin
      |  |- cloudfs-fuse
      |  |- cfs-fuse
      |
      |- conf
      |  |- cloudfs-fuse.conf
      |
      |- lib
      |  |- libcloudfs.so
      

   4. 配置cloudfs-fuse.conf配置文件。

      # CloudFS FUSE Configurations
      
      # CloudFS endpoint, e.g. cfs://testfs.cfs-cn-beijing.ivolces.com
      cfs.filesystem.uri=
      # HDFS or ACC
      cfs.filesystem.fs-mode=
      # Client network vpc&subnet info, e.g. 172.16.0.0/20
      cfs.client.network.segment=
      
      # IAM Auth info
      cfs.access.key=
      cfs.secret.key=
      
      # Required settings for ACC mode
      cfs.filesystem.ns-id=
      cfs.filesystem.ufs-path=
      

      参数	说明
      cfs.filesystem.uri	文件存储实例的挂载点。设置时需要在挂载点前添加前缀 cfs://。 如何获取，请参见查看实例详情。
      cfs.filesystem.fs-mode	文件存储实例的类型，此处为数据湖模式，对应的类型为 ACC。
      cfs.client.network.segment	创建文件存储实例时所使用的子网的网段。 您可在文件存储实例详情页面，单击子网名称，查看子网对应的网段。如何获取，请参见查看实例详情。
      cfs.access.key	创建文件存储实例时的账号的 Access Key ID，获取方式请参见密钥管理。
      cfs.secret.key	创建文件存储实例时的账号的 Secret Access Key，获取方式请参见密钥管理。
      cfs.filesystem.ns-id	文件存储实例挂载的存储桶的 Namespace ID（即 TosNamespace ID）。如何获取，请参见查看实例详情。
      cfs.filesystem.ufs-path	文件存储实例挂载的存储桶的完整存储地址，格式为tos://<存储桶名称>/<文件存储前缀>。 示例：tos://doctest/prefix/。

3. 创建一个挂载目录，然后挂载文件存储实例。

   # 创建挂载目录。
   mkdir docpoint
   
   # 挂载文件存储实例
   cfs_client_new/bin/cloudfs-fuse mount docpoint --config-file cfs_client_new/conf/cloudfs-fuse.conf
   

   文件实例挂载成功后，返回 Mount CloudFS Success! 提示信息。