1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：
学生表（Student）（不包括最后一列）
| 学号（S_No） | 姓名（S_Name） | 性别（S_Sex） | 年龄（S_Age） | 课程（course） |
| 2015001 | Zhangsan | male | 23 | |
| 2015003 | Mary | female | 22 | |
| 2015003 | Lisi | male | 24 | 数学（Math）85 |
***创建数据表studen 其中info,course分别为表studen的两个列族，info存储学生个人信息——学号、姓名、性别、年龄course 则存储课程信息***create 'studen','info','course'接着添加学号为2015001的学生信息put 'studen','001','info:S_No','2015001'此行代码插入一个行健为001的数据，且在列族info中添加一个列S_No,值为2015001。同时由于Hbase一次只能添加一个列数据，所以下面继续添加2015001其他信息put 'studen','001','info:S_Name','Zhangsan'put 'studen','001','info:S_Sex','male'put 'studen','001','info:S_Age','23'
2. 用Hadoop提供的HBase Shell命令完成相同任务：
- 列出HBase所有的表的相关信息；list
- 在终端打印出学生表的所有记录数据；
- 向学生表添加课程列族；
- 向课程列族添加数学列并登记成绩为85；
- 删除课程列；
- 统计表的行数；count 's1'
- 清空指定的表的所有记录数据；truncate 's1'
listscan 'Student'alter 'Student', NAME=>'S_Course'put 'Student', '001', 'S_Course:math', '85'alter 'Student', {NAME=>'S_Course', METHOD=>'delete'}count 'Student'truncate 'Student'
3. 用Python编写WordCount程序任务
| 程序 | WordCount |
| 输入 | 一个包含大量单词的文本文件 |
| 输出 | 文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔 |
- 编写map函数，reduce函数
- 将其权限作出相应修改
- 本机上测试运行代码
- 放到HDFS上运行
- 下载并上传文件到hdfs上
- 用Hadoop Streaming命令提交任务
- 编写map函数，reduce函数
-
#!/usr/bin/env pythonimport sysfor i in stdin: i = i.strip() words = i.split() for word in words: print '%s\t%s' % (word,1)
-
#!/usr/bin/env pythonfrom operator import itemgetterimport sys current_word = None current_count = 0 word = None for i in stdin: i = i.strip() word, count = i.split('\t',1) try: count = int(count) except ValueError: continue if current_word == word: current_count += count else: if current_word: print '%s\t%s' % (current_word, current_count) current_count = count current_word = word if current_word == word: print '%s\t%s' % (current_word, current_count)
-
- 将其权限作出相应修改
-
chmod a+x /home/hadoop/mapper.py
-
- 本机上测试运行代码
-
echo "foo foo quux labs foo bar quux" | /home/hadoop/wc/mapper.pyecho "foo foo quux labs foo bar quux" | /home/hadoop/wc/mapper.py | sort -k1,1 | /home/hadoop/wc/reducer.p
-
- 放到HDFS上运行
- 下载并上传文件到hdfs上
- 用Hadoop Streaming命令提交任务
cd /home/hadoop/wcwget http://www.gutenberg.org/files/5000/5000-8.txtwget http://www.gutenberg.org/cache/epub/20417/pg20417.txt
- cd /usr/hadoop/wc hdfs dfs -put /home/hadoop/hadoop/gutenberg/*.txt /user/hadoop/input