有时无法应用
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
来读取hadoop内部数据,我们可以使用FileSystem API 来打开一个inputStream;
hadoop文件系统中通过Hadoop Path对象来代表文件(而非java.io.File对象),完全可以将一条路经视为hadoop文件系统URI
,例如:hdfs://localhost/user/hadoop/map.txt
package gucas.xiaoxia;
import java.io.IOException;
import java.io.InputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
public class CatFileSystem {
public static void main(String[] args) throws IOException {
String uri = "hdfs://localhost/user/hadoop/map.txt";
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create(uri), conf);
InputStream input = null;
try{
input = fs.open(new Path(uri));
IOUtils.copyBytes(input, System.out, 4096, false);
}finally{
IOUtils.closeStream(input);
}
}
}
输出:
hello world:10hello world:10hello world:10hello world:10hello world:10hello world:10hello world:10hello world:10
hello world:10hello world:10hello world:10hello world:10hello world:10hello world:10hello world:10hello world:10
hello world:10hello world:10hello world:10hello world:10hello world:10hello world:10hello world:10hello world:10
hello world:10hello world:10hello world:10hello world:10hello world:10hello world:10hello world:10hello world:10
分享到:
相关推荐
hadoop filesystem api常见使用说明
(1)局域网的Hadoop分布式文件系统对象图: 本机 socket big file small files (2)界面运行情况: 1·点击file进行文件选择, 选择需要上传的文件, 如下 2·点击upload, 将所选择的文件上传, 上传...
【IT十八掌徐培成】Hadoop第03天-03.hdfs FileSystem API.zip
[奥莱理] Using the HTML5 Filesystem API (英文版) [奥莱理] Using the HTML5 Filesystem API (E-Book) ☆ 出版信息:☆ [作者信息] Eric Bidelman [出版机构] 奥莱理 [出版日期] 2011年08月02日 [图书页数] ...
039 HDFS文件系统读写流程及HDFS API两种方式读取文件 040 详解HDFS API之FileSystem方式基本操作二 041 讲解分析Configuration和FileSystem类源代码 042 引出HDFS实际应用场景之合并文件和使用getmerge命令并查看...
【IT十八掌徐培成】Hadoop第03天-04.hdfs FileSystem API-write.zip
HTML5 Filesystem API 封装包 filer.js 讲文件的添加,删除,存储,移动,重命名等方法进行封装。只需要简单的代码就能实现负责的功能。
【IT十八掌徐培成】Hadoop第03天-05.hdfs FileSystem API-read-filestatus.zip
通过FileSystem API读取数据 写入数据 目录 查询文件系统 删除数据 数据流 文件读取剖析 文件写入剖析 一致模型 通过 distcp并行拷贝 保持 HDFS 集群的均衡 Hadoop的归档文件 使用Hadoop...
通过FileSystem API读取数据 写入数据 目录 查询文件系统 删除数据 数据流 文件读取剖析 文件写入剖析 一致模型 通过 distcp并行拷贝 保持 HDFS 集群的均衡 Hadoop的归档文件 使用Hadoop归档文件 不足 第4章 Hadoop ...
Using the HTML5 Filesystem API
设计并实现一个一级文件系统程序,要求实现以下功能:提供文件创建/删除接口命令create/delete、目录创建/删除接口命令mkdir/rmdir、显示目录内容命令ls等。
内存文件系统 这是hadoop.fs.FileSystem基于内存的实现。 它旨在用于测试为 Hadoop 环境编写的代码。 以下示例显示如何使用InMemoryFileSystem测试 Mapper。 包 ras.test.hadoop.fs; 导入静态 org.hamcrest....
Using The HTML5 Filesystem API
04-hadoop-HA机制的配置文件.avi 05-hadoop分布式集群HA模式部署.avi 06-hdfs--HA测试.avi 07-hdfs--动态增加节点和副本数量管理.avi 08-HA的java api访问要点.avi 09-hive入门.avi 第六天 hbase hive 01-...
PDF-UsingTheHTML5FilesystemAPI-英文版.rar
选择以下 Web API 来支持通用浏览器文件系统。 特征 火狐浏览器 Chrome合金 边缘 苹果浏览器 IE 是的 是的 是的 是的 不 拒绝了 在选择要支持的后端时都考虑了以下 API 被拒绝的 API 原因 每个请求都需要权限 ...
用Java从头开始编写的文件系统API的实现 首先编译类文件:filehandle.java FileBuffer.java FileServer.java fileSystemAPI.java FileSystemClientAPI.java testClient.java确保所有文件都在同一目录中。 首先通过...
apahe hadoop2.7.2 官方文档,离线版 General Overview Single Node Setup Cluster Setup Hadoop Commands Reference FileSystem Shell Hadoop Compatibility Interface Classification FileSystem ...
应用boost filesystem version3 库 遍历文件夹搜索文件,boost filesystem 库提供一个跨平台的文件系统操作接口