华为云MRS如何对接OBS？

华为云MRS（MapReduce Service）是华为云提供的一种基于Hadoop生态的大数据处理服务，广泛应用于大规模数据处理和分析，OBS（Object Storage Service）则是华为云提供的对象存储服务，适用于海量数据的存储需求，通过将MRS与OBS对接，可以实现存算分离的架构，即数据存储在OBS中，而计算任务由MRS集群完成，从而提升数据处理的灵活性和扩展性。

配置华为云MRS对接OBS的步骤

一、创建具有访问OBS权限的ECS委托

1、登录IAM控制台：在华为云管理控制台中选择“管理与监管 > 统一身份认证服务 IAM”。

2、创建委托：在IAM控制台中选择“委托 > 创建委托”。

3、设置委托名称：设置为“mrs_ecs_obs”。

4、选择委托类型：选择“云服务”，并在“云服务”中选择“弹性云服务器ECS 裸金属服务器BMS”。

5、授权：在授权页面搜索框内搜索并勾选“OBS OperateAccess”策略，如果OBS桶配置了KMS加密，还需要勾选“KMS Administrator”策略。

6、完成委托创建：单击“立即授权”，并在提示框中单击“知道了”，开始授权，授权成功后，单击“完成”。

二、创建存算分离集群

1、进入MRS购买页面：登录MRS控制台，单击“购买集群”，进入“购买集群”页面。

2、选择自定义购买：在“购买集群”页面，选择“自定义购买”页签。

3、配置基础参数：

计费模式：按需计费。

区域：根据需要选择区域。

集群名称：建议带上项目拼音缩写或日期等以便于区分和记忆。

集群类型：选择“自定义”。

版本类型：选择“LTS版”或“普通版”。

集群版本：根据实际需求选择，例如MRS 3.2.0LTS.1。

组件选择：根据业务需求合理选择需要的组件。

元数据：选择“本地元数据”。

4、网络配置：保持默认即可。

5、节点配置：根据需求选择节点规格和数量。

6、高级配置：开启高级配置，并设置“委托”为之前创建的ECS委托，或者选择MRS预置的“MRS_ECS_DEFAULT_AGENCY”委托。

7、通信安全授权：勾选通信安全授权。

8、完成购买：单击“立即购买”，等待集群创建成功。

三、创建OBS文件系统用于存放数据

1、登录OBS控制台：在华为云管理控制台中选择“对象存储 OBS”。

2、创建并行文件系统：选择“并行文件系统 > 创建并行文件系统”。

3、填写文件系统名称：mrsword001”。

4、其他参数：根据需要填写。

5、创建文件夹：在OBS控制台并行文件系统列表中，单击文件系统名称进入详情页面，在左侧导航栏选择“文件”，新建program、input文件夹，program文件夹用于上传程序包，input文件夹用于上传输入数据。

四、配置生命周期规则（可选）

在MRS 3.2.0LTS.1及后续版本中，组件用户删除的文件数据并不会直接被删除，而是会保存到OBS文件系统内的用户回收站目录中，为节省OBS使用空间，可以配置定时自动清理OBS回收站目录中的文件数据，具体配置方法请参考华为云官方文档。

常见问题解答（FAQs）

Q1: 如何修改HDFS客户端配置文件以访问OBS？

A1: 要修改HDFS客户端配置文件以访问OBS，您需要按照以下步骤操作：

1、下载并解压MRS集群客户端。

2、获取HDFS客户端配置文件中的“coresite.xml”和“hdfssite.xml”文件。

3、在这两个文件中增加访问OBS的信息，

   <property>
       <name>fs.obs.endpoint</name>
       <value>obs endpoint</value>
   </property>
   <property>
       <name>fs.obs.access.key</name>
       <value>xxx</value>
       <description>华为云 access key</description>
   </property>
   <property>
       <name>fs.obs.secret.key</name>
       <value>xxx</value>
       <description>华为云 secret key</description>
   </property>

obs endpoint需要从华为云终端节点及区域获取，请确保配置文件中的认证信息在执行完毕后删除或加强安全管理。

4、修改HDFS客户端的“coresite.xml”文件中的“fs.defaultFS”参数值为“obs://桶名”。

Q2: 如果我想在已有的MRS集群上绑定新的ECS委托，应该如何操作？

A2: 如果您想在已有的MRS集群上绑定新的ECS委托，可以按照以下步骤操作：

1、登录MRS控制台，在导航栏选择“现有集群”。

2、单击集群名称，进入集群详情页面。

3、在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步。

4、在集群详情页的“概览”页签，单击委托右侧的“管理委托”选择需要绑定的新委托并单击“确定”进行绑定，如果没有现成的委托，可以单击“新建委托”进入IAM控制台进行创建后再在此处进行绑定。

华为云MRS与OBS的对接通过IAM委托机制实现了简单而安全的配置，使得用户可以将数据存储在OBS中，而利用MRS集群进行高效的数据处理和分析，这种存算分离的模式不仅提高了数据处理的灵活性和扩展性，还降低了存储成本，通过上述步骤，用户可以轻松地将MRS集群与OBS对接，并根据需要进行配置和优化。