安装客户端时编译并运行程序

操作场景

HDFS应用程序支持在安装HDFS客户端的Linux环境中运行。在程序代码完成开发后，可以上传Jar包至Linux客户端环境中运行应用。

前提条件

  • 已安装HDFS客户端。
  • 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。

操作步骤

  1. 导出HdfsMain应用可执行包。右键选择工程，选择“Export”，如图1所示。 图1导出jar包

  2. 选择导出“JAR file”，如图2所示。 图2选择JAR file

  3. 选择包的导出路径，然后单击“Next”。在弹出的页面再单击“Next”。

    • 导出“hdfs-example.jar”时，选择src和conf两个文件夹，如图3所示。 图3选择导出路径
    • （可选）如果使用SmallFS小文件样例代码，除了选择src和conf两个文件夹，还需勾选lib中的两个小文件jar包，“smallfs-common-V100R002CXX.jar”和“smallfs-main-V100R002CXX.jar”，导出“smallfs-example.jar”时，如图4所示。 图4选择导出路径
    • 导出“colocation-example.jar”时，选择src和conf文件夹，如图5所示。 图5选择导出路径

  4. 选择main函数入口类。

    • 导出hdfs-example.jar包时，选择HdfsMain，如图6所示。 图6选择main函数类
    • （可选）如果使用SmallFS小文件样例代码，导出“smallfs-example.jar”包时，选择HdfsMain，如图6所示。
    • 导出colocation-example.jar包时，选择ColocationExample，如图7所示。 图7选择main函数类

  5. 将导出的Jar包拷贝上传至Linux客户端运行环境的任意目录下，例如“/opt/hadoop_client”，然后在该目录下创建“conf”目录，将“user.keytab”拷贝至“conf”目录。

  6. 配置环境变量：
    cd /opt/hadoop_client
source bigdata_env
  7. （可选）运行Smallfs小文件时，需要将“/opt/hadoop_client/Yarn/config/core-site.xml”中的配置项“fs.defaultFS”由“hdfs://hacluster”改成“sfs://hacluster”。

  8. 执行如下命令，运行Jar包。 hadoop jarhdfs-example.jar

    hadoop jarcolocation-example.jar

    （可选）hadoop jarsmallfs-example.jar

results matching ""

    No results matching ""