完成了sst, 现在要把它作为hadoop mapreduce 的输入和输出。
要实现的东西还不少,InputFormat、InputSplit、RecordReader 及 OutputFormat、OutputSplit、RecordWriter。
看了hadoop默认的一些输入输出格式的实现,貌似挺繁琐的。虽然只是从sst接口适配过去。
查了很多资料,下面这篇帮助挺大的。
http://www.cnblogs.com/spork/archive/2010/01/11/1644346.html
分享到:
相关推荐
Hadoop Map Reduce教程,介绍hadoop map/reduce框架的各个方面
人脸识别,车辆识别,一人一档,一车一档 hadoop map reduce hbase
hadoop map reduce 的中文简易教程,能轻松帮助普通用户不需了解太多hadoop底层知识就能实现分布式编程,很好的入门教程。
Hadoop Map Reduce 教程.doc
1. input : 读取文本文件; 2. splitting : 将文件按照行进行拆分,此时得到的 `K1` 行数,`V1` 表示对应行的文本内容; 3. mapping : 并行将每一行按照空格进行拆分,拆分得到的 `List(K2,V2)`,其中 `K2` 代表每一...
hadoop_map_reduce Hadoop Map reduce 示例
使用Hadoop Map Reduce分析股票市场 如何运行程序? 首先在您的系统中安装Hadoop。 请按照以下步骤进行安装 然后开始执行给定的命令 cd hadoop-3.2.2 / sbin ./start-dfs.sh ./start-yarn.sh jps 导出HADOOP_...
毕业设计、课程设计源码文件,已经过测试可以直接使用。毕业设计、课程设计源码文件,已经过测试可以直接使用。毕业设计、课程设计源码文件,已经过测试可以直接使用。毕业设计、课程设计源码文件,已经过测试可以...
HadoopMR 示例可以在此处找到 Hadoop Map Reduce 示例
hadoop的map reduce 学习手册,很实用
Hadoop映射减少字计数器 61C(计算机体系结构)的类项目,该项目使用Hadoop Map Reduce框架对大型文本文档中的单词频率进行计数。
Hadoop Map-Reduce教程,hadoop,mapreduce
hadoop中map/reduce自学资料合集
SingleTargetShortestPath Hadoop Map Reduce实施,以找到到达特定目标的最短路径(在输入中给出)
Hadoop学习总结之三:Map-Reduce入门
hadoop map reduce mapreduce
Apress - Pro Hadoop map reduce
基于hadoop的好友推荐系统 使用 MapReduce 内含系统说明文件
讲述了Windows平台的Hadoop安装... 最后,以最简单的求和为例,剖析Hadoop的Map/Reduce工作机制,对于初学Hadoop及Map/Reduce的读者有很大的帮助。相信通过最简单的求和为例,读者可步入Hadoop的Map/Reduce开发者行列。
该项目使用 Apache Map Reduce 框架分析电影。