1.0 简要描述如何安装配置apache的一个开源hadoop，只描述即可，无需列出具体步骤，
列出具体步骤更好。 答：1使用root账户登录
2 修改IP
3 修改host主机名
4 配置SSH免密码登录 5 关闭防火墙 6 安装JDK
7 解压hadoop安装包
8 配置hadoop的核心文件 hadoop-env.sh，core-site.xml , mapred-site.xml ， hdfs-site.xml 9 配置hadoop环境变量
10 格式化 hadoop namenode-format 11 启动节点 start-all.sh
2.0 请；列出正常的hadoop集群中hadoop都分别需要启动 哪些进程，他们的作用分别都是什么，请尽量列的详细一些。 答：namenode：管理集群，存储数据的原信息，并管理记录datanode中的文件信息。
Secondname:可以做冷备，对一定范围内数据做快照性备份。 Datanode:存储数据
Jobtracker :管理任务，并将任务分配给 tasktracker。 Tasktracker: 执行JobTracker分配的任务。
3.0请写出以下的shell命令
（1）杀死一个job
（2）删除hdfs上的 /tmp/aaa目录
（3） 加入一个新的存储节点和删除一个节点需要执行的命令 答：（1）hadoop job –list 得到job的id，然后执 行 hadoop job -kill jobId就可以杀死一个指定jobId的job工作了。 （2）hadoop fs -rmr /tmp/aaa
(3) 增加一个新的节点在新的几点上执行 Hadoop daemon.sh start datanode Hadooop daemon.sh start tasktracker 然后在主节点中执行 hadoop dfsadmin -refreshnodes 删除一个节点的时候，只需要在主节点执行 hadoop mradmin -refreshnodes
4.0 请列出你所知道的hadoop调度器，并简要说明其工作方法
答：Fifo schedular :默认，先进先出的原则
Capacity schedular :计算能力调度器，选择占用最小、优先级高的先执行，依此类推。
Fair schedular:公平调度，所有的 job 具有相同的资源。
5.0 请列出你在工作中使用过的开发mapreduce的语言
答：java，hive
6.0 当前日志采样格式为
a , b , c , d b , b , f , e
a , a , c , f
请你用最熟悉的语言编写mapreduce，计算第四列每个元素出现的个数 Static final String 答：
public class WordCount1 { public static final String INPUT_PATH = \"hdfs://hadoop0:9000/in\"; public static final String OUT_PATH = \"hdfs://hadoop0:9000/out\"; public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); FileSystem fileSystem = FileSystem.get(conf); if(fileSystem.exists(new Path(OUT_PATH))){} fileSystem.delete(new Path(OUT_PATH),true); Job job = new Job(conf,WordCount1.class.getSimpleName()); //1.0读取文件，解析成key,value对 FileInputFormat.setInputPaths(job,new Path(INPUT_PATH)); //2.0写上自己的逻辑，对输入的可以，value进行处理，转换成新的key,value对进行输出 job.setMapperClass(MyMapper.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(LongWritable.class); //3.0对输出后的数据进行分区 //4.0对分区后的数据进行排序，分组，相同key的value放到一个集合中 //5.0对分组后的数据进行规约 //6.0对通过网络将map输出的数据拷贝到reduce节点 //7.0 写上自己的reduce函数逻辑，对map输出的数据进行处理 job.setReducerClass(MyReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(LongWritable.class); FileOutputFormat.setOutputPath(job, new Path(OUT_PATH)); job.waitForCompletion(true); } static class MyMapper extends Mapper } 7.0 String[] split = v1.toString().split(\"\\"); for(String words :split){ context.write(split[3], 1); } } } static class MyReducer extends Reducer 你认为用java ， streaming ， pipe方式开发map/reduce ， 各有哪些优点 就用过 java 和 hiveQL。 Java 写 mapreduce 可以实现复杂的逻辑，如果需求简单，则显得繁琐。 HiveQL 基本都是针对 hive 中的表数据进行编写，但对复杂的逻辑很难进行实现。写 起来简单。 8.0 hive有哪些方式保存元数据，各有哪些优点 三种：内存数据库 derby，挺小，不常用 。 本地 mysql。。常用 远程端 mysql。。不常用 上网上找了下专业名称：single user mode..multi user mode...remote user mode 9.0 请简述hadoop怎样实现二级排序 第一种方法是，Reducer将给定key的所有值都缓存起来，然后对它们再做一个Reducer内排序。但是，由于Reducer需要保存给定key的所有值，可能会导致出现内存耗尽的错误。 第二种方法是，将值的一部分或整个值加入原始key，生成一个合成key。这两种方法各有优势，第一种方法可能会更快一些(但有内存耗尽的危险)，第二种方法则是将排序的任务交给MapReduce框架，更符合Hadoop/Reduce的设计思想。这篇文章里选择的是第二种。我们将编写一个Partitioner，确保拥有相同key(原始key，不包括添加的部分)的所有数据被发往同一个Reducer，还将编写一个Comparator，以便数据到达Reducer后即按原始key分组。 10.简述hadoop实现jion的几种方法 利用dataJoin来实现mapreduce的jion问题。 11.0 请用java实现非递归二分查询 1. public class BinarySearchClass 2. { 3. 4. public static int binary_search(int[] array, int value) 5. { 6. int beginIndex = 0;// 低位下标 7. int endIndex = array.length - 1;// 高位下标 8. int midIndex = -1; 9. while (beginIndex <= endIndex) { 10. midIndex = beginIndex + (endIndex - beginIndex) / 2;//防止溢出 11. if (value == array[midIndex]) { 12. return midIndex; 13. } else if (value < array[midIndex]) { 14. endIndex = midIndex - 1; 15. } else { 16. beginIndex = midIndex + 1; 17. } 18. } 19. return -1; 20. //找到了，返回找到的数值的下标，没找到，返回-1 21. } 22. 23. 24. //start 提示：自动阅卷起始唯一标识，请勿删除或增加。 25. public static void main(String[] args) 26. { 27. System.out.println(\"Start...\"); 28. int[] myArray = new int[] { 1, 2, 3, 5, 6, 7, 8, 9 }; 29. System.out.println(\"查找数字8的下标：\"); 30. System.out.println(binary_search(myArray, 8)); 31. } 32. //end //提示：自动阅卷结束唯一标识，请勿删除或增加。 33. } 12.0 请简述mapreduce中的combine和partion的作用 答：combiner是发生在map的最后一个阶段，其原理也是一个小型的reducer，主要作用是减少输出到reduce的个数，减少reducer的输入，提高reducer的执行效率。 Partion的主要作用就是指定输出到reduce的个数的。 13.0 hive内部表和外部表的区别 Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径， 不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除， 而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。 14. Hbase的rowKey怎么创建比较好？列簇怎么创建比较好？ 答：rowKey最好要创建有规则的rowKey，即最好是有序的。HBase中一张表最好只创建一到两个列族比较好，因为HBase不能很好的处理多个列族。 15. 用mapreduce怎么处理数据倾斜问题 在mapreduce聚合key中所有values的时候，如果一个key对应了很多values，就会产生数据倾斜的问题。数据倾斜主要就是某个key下面对应的value太多，导致某个reduce节点执行的数据过多，然后产生某个或者某几个reduce节点的执行效率过低，导致整个集群中的任务执行效率较慢，可以使用partion对数据过多的节点进行再划分，划分成多个小的数据块，输入到reduce进行处理。 16. hadoop框架怎么来优化 答：hadoop优化的范围太宽泛了，可以从某个方面具体来谈一谈，比如说HBase的rowKey和列族的创建的来进行数据存储的优化，可以从网络的拷贝对数据的优化，可以从mapreduce对数据的处理来谈优化，可以从参数方面来说优化等。 17. hbase内部机制是什么 答：内部机制更多的是借助nosql数据的关系模型，是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。 18. 我们在开发分布式计算job的时候，是否可以去掉reduce阶段 答：可以，例如我们的集群就是为了存储文件而设计的，不涉及到数据的计算，就可以将mapReduce都省掉。 19 hdfs的数据压缩算法 答：可以使用sequenceFile和mapFile来对小文件进行压缩，压缩成大文件，然后存储，减轻namenode的内存压力。 20. mapreduce的调度模式 答：公平调度模式和容量调度模式 21. hive底层与数据库交互原理 答：hive有一套自己的sql解析引擎，称为metastore，存储在mysql或者derby数据库中，可以将sql语句转化为mapreducejob任务执行。 22. hbase过滤器实现原则 答：过滤器必须实现HBase Jar包中的Filter接口，或者继承扩展一个实现了该接口的抽象类 23. reduce之后数据的输出量有多大 24. 现场出问题测试mapreduce掌握情况和hive的ql语言掌握情况 25.datanode在什么情况下不会备份数据 答：在配置文件中设置文件副本数为1 26.combine出现在哪个过程 答：map阶段的最后一个过程。 27. hdfs的体系结构 答：HDFS采用了主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作；集群中的DataNode管理存储的数据 28. flush的过程 答：flush是在内存的基础上进行的，首先写入文件的时候，会先将文件写到内存中，当内存写满的时候，就会清空缓存中的文件，然后一次性的将文件全部都写到硬盘中去保存。 29. 什么是队列 答：队列就是一个先进先出的过程。 30. List与set的区别 答：List和Set都是接口。他们各自有自己的实现类，有无顺序的实现类，也有有顺序的实现类。 最大的不同就是List是可以重复的。而Set是不能重复的。 List适合经常追加数据，插入，删除数据。但随即取数效率比较低。 Set适合经常地随即储存，插入，删除。但是在遍历时效率比较低。 31.数据的三范式 答： 第一范式（）无重复的列 第二范式（2NF）属性完全依赖于主键 [消除部分子函数依赖]第三范式（3NF）属性不依赖于其它非主属性 [消除传递依赖] 32.三个datanode中当有一个datanode出现错误时会怎样？ 答：当有一个datanode出现错误的时候，namenode会将那个datanode上的数据拷贝到其他的节点去进行存储。 33.sqoop在导入数据到mysql中，如何不重复导入数据，如果存在数据问题，sqoop如何处理？ 答： 34.描述一下hadoop中，有哪些地方使用到了缓存机制，作用分别是什么？ 答：缓存机制就是DistributedCash，就是在job任务执行前，将需要的文件拷贝到Task机器上进行缓存，提高mapreduce的执行效率。 35.MapReduce优化经验 答：(1.)设置合理的map和reduce的个数。 (2.)避免出现数据倾斜 (3.combine函数 (4.对数据进行压缩，避免大量的小文件 36.请列举出曾经修改过的/etc/下面的文件，并说明修改要解决什么问题？ 答：/etc/profile这个文件，主要是用来配置环境变量。让hadoop命令可以在任意目录下面执行。 37.请描述一下开发过程中如何对上面的程序进行性能分析，对性能分析进行优化的过程。 38. 现有 1 亿个整数均匀分布，如果要得到前 1K 个最大的数，求最优的算法。 我先说下我的想法:分块，比如分 1W 块，每块 1W 个，然后分别找出每块最大值，从这最 大的 1W 个值中找最大 1K 个， 那么其他的 9K 个最大值所在的块即可扔掉，从剩下的最大的 1K 个值所在的块中找前 1K 个即可。那么原问题的规模就缩小到了 1/10。 问题： （1）这种分块方法的最优时间复杂度。 （2）如何分块达到最优。比如也可分 10W 块，每块 1000 个数。则问题规模可降到原来 1/100。但事实上复杂度并没降低。 39.mapreduce的大致流程 答：主要分为八个步骤 1.0读取文件，解析成key,value对 2.0自定义map函数 3.0对map输出的数据进行分区 4.0对分区后的数据进行排序分组 5.0对分组后的数据进行规约 6.0通过网络拷贝，将map输出的数据拷贝到reduce节点 7.0自定义reduce函数，对map输入的key,value对进一步的处理 8.0对处理后的数据进行输出 40. combiner 和partion的作用 答：combiner主要是用来减少输入到reduce阶段的数据 Partion作用主要是对map处理的数据进行分区，可以解决数据倾斜的问题。 41.用mapreduce实现sql语 select count (x) from a group by b; 42.用mapreduce 如何实现两张表连接，有哪些方法。 43.知道mapreduce 大致流程，map , shuffle , reduce 44.搭建hadoop集群 ， master和slaves都运行哪些服务 答：master主要是运行我们的主节点，slaves主要是运行我们的从节点。 45. hadoop参数调优 46. pig , latin , hive语法有什么不同 答： 47.描述Hbase，ZooKeeper搭建过程 48.hadoop运行原理 答：hadoop的主要核心是由两部分组成，HDFS和mapreduce，首先HDFS的原理就是分布式的文件存储系统，将一个大的文件，分割成多个小的文件，进行存储在多台服务器上。 Mapreduce的原理就是使用JobTracker和TaskTracker来进行作业的执行。Map就是将任务展开，reduce是汇总处理后的结果。 49.mapreduce的原理 答：mapreduce的原理就是将一个MapReduce框架由一个单独的master JobTracker和每个集群节点一个slave TaskTracker共同组成。master负责调度构成一个作业的所有任务，这些的slave上，master监控它们的执行，重新执行已经失败的任务。而slave仅负责执行由maste指派的任务。 50.HDFS存储机制 答：HDFS主要是一个分布式的文件存储系统，由namenode来接收用户的操作请求，然后根据文件大小，以及定义的block块的大小，将大的文件切分成多个block块来进行保存 51.举一个例子说明mapreduce是怎么运行的。 52.如何确认hadoop集群的健康状况 答：使用JPS命令来查看各个节点运行的进程是否正常。 53.mapreduce作业，不让reduce输出，用什么代替reduce的功能。 54.hive如何调优 答：hive最终都会转化为mapreduce的job来运行，要想hive调优，实际上就是mapreduce调优，可以有下面几个方面的调优。解决收据倾斜问题，减少job数量，设置合理的map和reduce个数，对小文件进行合并，优化时把我整体，单个task最优不如整体最优。按照一定规则分区。 55.hive如何控制权限 56. 56.HBase写数据的原理是什么？ 答： 57.hive能像关系型数据库那样建多个库吗？ 答：当然能了。 58.HBase宕机如何处理 答：宕机分为HMaster宕机和HRegisoner宕机，如果是HRegisoner宕机，HMaster会将其所管理的region重新分布到其他活动的RegionServer上，由于数据和日志都持久在HDFS中，该操作不会导致数据丢失。所以数据的一致性和安全性是有保障的。 如果是HMaster宕机，HMaster没有单点问题，HBase中可以启动多个HMaster，通过Zookeeper的Master Election机制保证总有一个Master运行。即ZooKeeper会保证总会有一个HMaster在对外提供服务。 59.假设公司要建一个数据中心，你会如何处理？ 60. 单项选择题 1. 下面哪个程序负责 HDFS 数据存储。 答案 C a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 2. HDfS 中的 block 默认保存几份？ 答案 A a)3 份 b)2 份 c)1 份 d)不确定 3. 下列哪个程序通常与 NameNode 在一个节点启动？ 答案C a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker 4. Hadoop 作者 答案D a)Martin Fowler b)Kent Beck c)Doug cutting 5. HDFS 默认 Block Size 答案 B a)32MB b)64MB c)128MB 6. 下列哪项通常是集群的最主要瓶颈 答案D 编者 QQ：1040195253 19 a)CPU b)网络 c)磁盘 d)内存 7. 关于 SecondaryNameNode 哪项是正确的？ 答案C a)它是 NameNode 的热备 b)它对内存没有要求 c)它的目的是帮助 NameNode 合并编辑日志，减少 NameNode 启动时间 d)SecondaryNameNode 应与 NameNode 部署到一个节点 多选题： 8. 下列哪项可以作为集群的管理工具 答案 ABCD a)Puppet b)Pdsh c)Cloudera Manager d)Zookeeper 9. 配置机架感知的下面哪项正确 答案 ABC a)如果一个机架出问题，不会影响数据读写 b)写入数据的时候会写到不同机架的 DataNode 中 c)MapReduce 会根据机架获取离自己比较近的网络数据 10. Client 端上传文件的时候下列哪项正确 答案 ABC a)数据经过 NameNode 传递给 DataNode b)Client 端将文件切分为 Block，依次上传 c)Client 只上传数据到一台 DataNode，然后由 NameNode 负责 Block 复制工作 11. 下列哪个是 Hadoop 运行的模式 答案 ABC a)单机版 b)伪分布式 c)分布式 12. Cloudera 提供哪几种安装 CDH 的方法 答案 ABCD a)Cloudera manager b)Tar ball c)Yum d)Rpm 判断题： 13. Ganglia 不仅可以进行监控，也可以进行告警。（ ） 14. Block Size 是不可以修改的。（ ） 15. Nagios 不可以监控 Hadoop 集群，因为它不提供 Hadoop 支持。（ ） 16. 如果 NameNode 意外终止， SecondaryNameNode 会接替它使集群继续工作。（ ） 17. Cloudera CDH 是需要付费使用的。（ ） 18. Hadoop 是 Java 开发的，所以 MapReduce 只支持 Java 语言编写。（ ） 19. Hadoop 支持数据的随机读写。（ ） 20. NameNode 负责管理 metadata， client 端每次读写请求，它都会从磁盘中读取或则 会写 入 metadata 信息并反馈 client 端。（ ） 21. NameNode 本地磁盘保存了 Block 的位置信息。（ ） 22. DataNode 通过长连接与 NameNode 保持通信。（ ） 23. Hadoop 自身具有严格的权限管理和安全措施保障集群正常运行。（ ） 24. Slave 节点要存储数据，所以它的磁盘越大越好。（ ） 25. hadoop dfsadmin –report 命令用于检测 HDFS 损坏块。（ ） 26. Hadoop 默认调度器策略为 FIFO（ ） 27. 集群内每个节点都应该配 RAID，这样避免单磁盘损坏，影响整个节点运行。（ ） 28. 因为 HDFS 有多个副本，所以 NameNode 是不存在单点问题的。（ ） 29. 每个 map 槽就是一个线程。（ ） 30. Mapreduce 的 input split 就是一个 block。（ ） 31. NameNode 的 Web UI 端口是 50030，它通过 jetty 启动的 Web 服务。（ ） 编者 QQ：1040195253 21 32. Hadoop 环境变量中的 HADOOP_HEAPSIZE 用于设置所有 Hadoop 守护线程的内 存。它默 认是 200 GB。（ ） 33. DataNode 首次加入 cluster 的时候，如果 log 中报告不兼容文件版本，那需要 NameNode 执行“Hadoop namenode -format”操作格式化磁盘。（ ） 全部都是错误滴 61. 、 datanode 首次加入 cluster 的时候，如果 log 报告不兼容文件版本，那需要 namenode 执行格式化操作，这样处理的原因是？ 答： 62. 谈谈数据倾斜，如何发生的，并给出优化方案 答：数据倾斜主要是因为在集群中，某个map任务的key对应的value的值远远多于其他节点的key所应对的值，导致某个节点的mapreduce执行效率会比较慢，那么解决数据倾斜的最根本原因就是避免某个节点上执行任务的数据量过大，我们可以使用map阶段的partion对过大的数据块进行分区，将一个大的数据块分成多个小的文件，然后来执行mapreduce，这样就可以解决mapreduce的数据倾斜的问题了。 63. 谈谈 hadoop1 和 hadoop2 的区别 答：首先hadoop1的主要结构是由HDFS和mapreduce组成的，HDFS主要是用来存储数据，mapreduce主要是用来计算的，那么HDFS的数据是由namenode来存储元数据信息，datanode来存储数据的。Jobtracker接收用户的操作请求之后去分配资源执行task任务。在hadoop2中，首先避免了namenode单点故障的问题，使用两个namenode来组成namenode feduration的机构，两个namenode使用相同的命名空间，一个是standby状态，一个是active状态。用户访问的时候，访问standby状态，并且，使用journalnode来存储数据的原信息，一个namenode负责读取journalnode中的数据，一个namenode负责写入journalnode中的数据，这个平台组成了hadoop的HA就是high availableAbility高可靠。然后在hadoop2中没有了jobtracker的概念了，统一的使用yarn平台来管理和调度资源，yarn平台是由resourceManager和NodeManager来共同组成的，ResourceManager来接收用户的操作请求之后，去NodeManager上面启动一个主线程负责资源分配的工作，然后分配好了资源之后告知ResourceManager，然后ResourceManager去对应的机器上面执行task任务。 64. 说说值对象与引用对象的区别？ 65. 谈谈你对反射机制的理解及其用途？ 答：java中的反射，首先我们写好的类，经过编译之后就编程了.class文件，我们可以获取这个类的.class文件，获取之后，再来操作这个类。这个就是java的反射机制。 66. ArrayList、Vector、LinkedList 的区别及其优缺点？HashMap、HashTable 的区别及其优缺点？ 答：ArrayList 和Vector是采用数组方式存储数据， ，Vector由于使用了synchronized方法（线 程安全）所以性能上比ArrayList要差，LinkedList使用双向链表实现存储，按序号索引数据需要进行向前或向后遍历，但是插入数据时只需要记录本项的前后项即可，所以插入数度较快！ HashMap和HashTable：Hashtable的方法是同步的，而HashMap的方法不是，Hashtable是基于陈旧的Dictionary类的，HashMap是Java 1.2引进的Map接口的一个实现。HashMap是一个线程不同步的，那么就意味着执行效率高，HashTable是一个线程同步的就意味着执行效率低，但是HashMap也可以将线程进行同步，这就意味着，我们以后再使用中，尽量使用HashMap这个类。 67. 文件大小默认为 64M，改为 128M 有啥影响？ 答：更改文件的block块大小，需要根据我们的实际生产中来更改block的大小，如果block定义的太小，大的文件都会被切分成太多的小文件，减慢用户上传效率，如果block定义的太大，那么太多的小文件可能都会存到一个block块中，虽然不浪费硬盘资源，可是还是会增加namenode的管理内存压力。 68. NameNode 与 SecondaryNameNode 的区别与联系？ 答：secondaryNameNode更像是Namenode的一个冷备份，当namenode宕机之后，可以从SecondaryNamenode上面恢复部分数据。 69. RPC 原理？ 答：1.调用客户端句柄；执行传送参数 2.调用本地系统内核发送网络消息 3. 消息传送到远程主机 4. 服务器句柄得到消息并取得参数 5. 执行远程过程 6. 执行的过程将结果返回服务器句柄 7. 服务器句柄返回结果，调用远程系统内核 8. 消息传回本地主机 9. 客户句柄由内核接收消息 10. 客户接收句柄返回的数据 70. 对 Hadoop 有没有调优经验，没有什么使用心得？（调优从参数调优讲起） dfs.block.size Mapredure： io.sort.mb io.sort.spill.percent mapred.local.dir mapred.map.tasks & mapred.tasktracker.map.tasks.maximum mapred.reduce.tasks & mapred.tasktracker.reduce.tasks.maximum mapred.reduce.max.attempts mapred.reduce.parallel.copies mapreduce.reduce.shuffle.maxfetchfailures mapred.child.java.opts mapred.reduce.tasks.speculative.execution mapred.compress.map.output & mapred.map.output.compression.codec mapred.reduce.slowstart.completed.maps 71. .MapReduce 出现单点负载多大，怎么负载平衡？（可以用 Partitioner） 答：可以用partioner进行分区操作，将大数据分成多个小数据进行逐一处理。 72以你的实际经验，说下怎样预防全表扫描 答： 1.应尽量避免在where 子句中对字段进行null 值判断，否则将导致引擎放弃使用索引而进行全表扫描 2.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫 3.描应尽量避免在 where 子句中使用or 来连接条件，否则将导致引擎放弃使用索引而进行 全表扫描 4.in 和 not in，用具体的字段列表代替，不要返回用不到的任何字段。in 也要慎用，否则会导致全表扫描 5.避免使用模糊查询 6.任何地方都不要使用select * from t 73. zookeeper 优点，用在什么场合 答： 74.Hive中的 metastore 用来做什么的？ 答：metastore是一套映射工具，将sql语句转换成对应的job任务去进行执行。 75.把公钥都追加到授权文件的命令？该命令是否在 root 用户下执行？ 答：不是。 76. HadoopHA 集群中各个服务的启动和关闭的顺序？ 答： 77. 在 hadoop 开发过程中使用过哪些算法？其应用场景是什么？ 答：排序分组。 78. 在实际工作中使用过哪些集群的运维工具，请分别阐述期作用。 答：ZooKeeper，以及shell 79. 一台机器如何应对那么多的请求访问，高并发到底怎么实现，一个请求怎么产生的， 在服务端怎么处理的，最后怎么返回给用户的，整个的环节操作系统是怎么控制的？ 80. java 是传值还是传址？ 答：引用传递。 81. 问：你们的服务器有多少台？ 82. 问：你们服务器的内存多大？ 83. hbase 怎么预分区？ 84. hbase 怎么给 web 前台提供接口来访问（HTABLE 可以提供对 HBase的访问，但是怎么查询同一条记录的多个版本数据）？ 答：使用HTable来提供对HBase的访问，可以使用时间戳来记录一条数据的多个版本。 85. .htable API 有没有线程安全问题，在程序中是单例还是多例？ 86. 你们的数据是用什么导入到数据库的？导入到什么数据库？ 处理之前的导入：通过 hadoop 命令导入到 hdfs 文件系统 处理完成之后的导出：利用 hive 处理完成之后的数据，通过 sqoop 导出到 mysql 数据库 中，以供报表层使用。 87. 你们业务数据量多大？有多少行数据？(面试了三家，都问这个问题) 开发时使用的是部分数据，不是全量数据，有将近一亿行（8、9 千万，具体不详，一般开 发中也没人会特别关心这个问题） 88. 你们处理数据是直接读数据库的数据还是读文本数据？ 将日志数据导入到 hdfs 之后进行处理 89. 你们写 hive 的 hql 语句，大概有多少条？ 不清楚，我自己写的时候也没有做过统计 90. 你们提交的 job 任务大概有多少个？这些 job 执行完大概用多少时间？(面试了三家，都问这个问题) 没统计过，加上测试的，会与很多 91. hive 跟 hbase 的区别是？ 答：hive说白了就是一个简化的mapreduce，使用hive来写sql语句，然后 92. 你在项目中主要的工作任务是？ 利用 hive 分析数据 93. 你在项目中遇到了哪些难题，是怎么解决的？ 某些任务执行时间过长，且失败率过高，检查日志后发现没有执行完就失败，原因出在 hadoop 的 job 的 timeout 过短（相对于集群的能力来说），设置长一点即可 94. reduce 后输出的数据量有多大？ 95. 一个网络商城 1 天大概产生多少 G 的日志？ 4tb 96. 大概有多少条日志记录（在不清洗的情况下）？ 7-8 百万条 97. 日访问量大概有多少个？百万 98. 注册数大概多少？不清楚 几十万吧 99. 我们的日志是不是除了 apache 的访问日志是不是还有其他的日志？关注信息 100. 假设我们有其他的日志是不是可以对这个日志有其他的业务分析？这些业务分析都有 什么？ 101. job 的运行流程(提交一个 job 的流程)？ 102Hadoop 生态圈中各种框架的运用场景？ 103. hive 中的压缩格式 RCFile、TextFile、SequenceFile 各有什么区别？ 以上 3 种格式一样大的文件哪个占用空间大小..等等 104假如：Flume 收集到的数据很多个小文件,我需要写 MR 处理时将这些文件合并 (是在 MR 中进行优化,不让一个小文件一个 MapReduce) 他们公司主要做的是中国电信的流量计费为主,专门写 MR。 105. 解释“hadoop”和“hadoop 生态系统”两个概念 106. 说明 Hadoop 2.0 的基本构成。 107. 相比于 HDFS1.0, HDFS 2.0 最主要的改进在哪几方面？ 108. 试使用“步骤 1，步骤 2，步骤 3„..”说明 YARN 中运行应用程序的基本流程。 109. MapReduce 2.0”与“YARN”是否等同，尝试解释说明 110. MapReduce 2.0 中，MRAppMaster 主要作用是什么，MRAppMaster 如何实现任务 容错的？ 111. 为什么会产生 yarn,它解决了什么问题，有什么优势？ 112. 集群多少台,数据量多大,吞吐量是多大,每天处理多少 G 的数据？ 113. 自动化运维了解过吗,你们是否是自动化运维管理？ 114. 数据备份,你们是多少份,如果数据超过存储容量,你们怎么处理？ 115. 怎么提升多个 JOB 同时执行带来的压力,如何优化,说说思路？ 116. 你们用 HBASE 存储什么数据？ 117. 你们的 hive 处理数据能达到的指标是多少？ 118.hadoop中RecorderReader的作用是什么？？？ 1、 在hadoop中定义的主要公用InputFormat中，哪个是默认值？ FileInputFormat 2、 两个类TextInputFormat和KeyValueInputFormat的区别是什么？ 答：TextInputFormat主要是用来格式化输入的文本文件的，KeyValueInputFormat则主要是用来指定输入输出的key,value类型的 3、 在一个运行的hadoop任务中，什么是InputSplit？ InputSplit是InputFormat中的一个方法，主要是用来切割输入文件的，将输入文件切分成多个小文件， 然后每个小文件对应一个map任务 4、 Hadoop框架中文件拆分是怎么调用的？ InputFormat --> TextInputFormat --> RecordReader --> LineRecordReader --> LineReader 5、 参考下列M/R系统的场景：hdfs块大小为64MB，输入类为FileInputFormat，有3个文件的大小分别为64KB, 65MB, 127MB Hadoop框架会把这些文件拆分为多少块？ 5块 6、 hadoop中RecordReader的作用是什么？ RecorderReader是一个接口，主要是用来读取文件的输入键值对的，我们也可以自定义输入的key,value对的读取规则 7、 Map阶段结束后，Hadoop框架会处理：Partitioning, Shuffle和Sort，在这个阶段都发生了什么？ Partition是对输出的key,value进行分区，可以自定义分区，按照业务需求，将map的输出归分到多个不同的文件中 将map的输出作为输入传给reducer 称为shuffle sort是排序的过程，将map的输出，作为reduce的输入之前，我们可以自定义排序，按照key来对map的输出进行排序 8、 如果没有定义partitioner，那数据在被送达reducer前是如何被分区的？ hadoop有一个默认的分区类，HashPartioer类，通过对输入的k2去hash值来确认map输出的k2,v2送到哪一个reduce中去执行。 9、 什么是combiner？ combiner就是规约操作，通过对map输出的数量进行规约，可以减少reduce的数量，提高执行效率 combiner的输入输出类型必须和mapper的输出以及reducer的输入类型一致 10、分别举例什么情况要使用 combiner，什么情况不使用？ 求平均数的时候就不需要用combiner，因为不会减少reduce执行数量。在其他的时候，可以依据情况，使用combiner， 来减少map的输出数量，减少拷贝到reduce的文件，从而减轻reduce的压力，节省网络开销，提升执行效率 11、Hadoop中job和tasks之间的区别是什么？ 首先通过jobTracker接收到了用户的操作请求之后，就会产生job任务，job然后将任务分配给tasks分配给多个机器去并行的 执行，通过将job任务分解为多个tasks任务并行的执行，提高了执行的效率。 12、hadoop中通过拆分任务到多个节点运行来实现并行计算，但某些节点运行较慢会拖慢整个任务的运行，hadoop采用全程机制应对这个情况？ 对于那些较慢的tasks任务，hadoop 13、流API中的什么特性带来可以使map/reduce任务可以以不同语言（如perl, ruby, awk等）实现的灵活性？ 14、有可能使hadoop任务输出到多个目录中吗？如果可以，怎么做？ 可以，hadoop 15、如何为一个hadoop任务设置mappers的数量？ 1 map的数量 map的数量通常是由hadoop集群的DFS块大小确定的，也就是输入文件的总块数，正常的map数量的并行规模大致是每一个Node是10~100个，对于CPU消耗较小的作业可以设置Map数量为300个左右，但是由于hadoop的没一个任务在初始化时需要一定的时间，因此比较合理的情况是每个map执行的时间至少超过1分钟。具体的数据分片是这样的，InputFormat在默认情况下会根据hadoop集群的DFS块大小进行分片，每一个分片会由一个map任务来进行处理，当然用户还是可以通过参数mapred.min.split.size参数在作业提交客户端进行自定义设置。还有一个重要参数就是mapred.map.tasks，这个参数设置的map数量仅仅是一个提示，只有当InputFormat 决定了map任务的个数比mapred.map.tasks值小时才起作用。同样，Map任务的个数也能通过使用JobConf 的conf.setNumMapTasks(int num)方法来手动地设置。这个方法能够用来增加map任务的个数，但是不能设定任务的个数小于 Hadoop系统通过分割输入数据得到的值。当然为了提高集群的并发效率，可以设置一个默认的map数量，当用户的map数量较小或者比本身自动分割的值还小时可以使用一个相对交大的默认值，从而提高整体hadoop集群的效率。 16、如何为一个hadoop任务设置要创建reduder的数量？ 2 reduece的数量 reduce在运行时往往需要从相关map端复制数据到reduce节点来处理，因此相比于map任务。reduce节点资源是相对比较缺少的，同时相对运行较慢，正确的reduce任务的个数应该是0.95或者1.75 *（节点数 ×mapred.tasktracker.tasks.maximum参数值）。如果任务数是节点个数的0.95倍，那么所有的reduce任务能够在 map任务的输出传输结束后同时开始运行。如果任务数是节点个数的1.75倍，那么高速的节点会在完成他们第一批reduce任务计算之后开始计算第二批 reduce任务，这样的情况更有利于负载均衡。同时需要注意增加reduce的数量虽然会增加系统的资源开销，但是可以改善负载匀衡，降低任务失败带来的负面影响。同样，Reduce任务也能够与 map任务一样，通过设定JobConf 的conf.setNumReduceTasks(int num)方法来增加任务个数。 xxx信息技术有限公司 1、你们的集群规模？ 开发集群：10台（8台可用）8核cpu 2、你们的数据是用什么导入到数据库的？导入到什么数据库？ 处理之前的导入：通过hadoop命令导入到hdfs文件系统 处理完成之后的导出：利用hive处理完成之后的数据，通过sqoop导出到mysql数据库中，以供报表层使用 3、你们业务数据量多大？有多少行数据？(面试了三家，都问这个问题) 开发时使用的是部分数据，不是全量数据，有将近一亿行（8、9千万，具体不详，一般开发中也没人会特别关心这个问题） 4、你们处理数据是直接读数据库的数据还是读文本数据？ 将日志数据导入到hdfs之后进行处理 5、你们写hive的hql语句，大概有多少条？ 不清楚，我自己写的时候也没有做过统计 6、你们提交的job任务大概有多少个？这些job执行完大概用多少时间？(面试了三家，都问这个问题) 没统计过，加上测试的，会与很多 7、hive跟hbase的区别是？ 这个可以百度 8、你在项目中主要的工作任务是？ 利用hive分析数据 9、你在项目中遇到了哪些难题，是怎么解决的？ 某些任务执行时间过长，且失败率过高，检查日志后发现没有执行完就失败，原因出在hadoop的job的timeout过短（相对于集群的能力来说），设置长一点即可 10、你自己写过udf函数么？写了哪些？ 这个我没有写过 11、你的项目提交到job的时候数据量有多大？(面试了三家，都问这个问题) 不清楚是要问什么 12、reduce后输出的数据量有多大？ 不清楚 1.一个网络商城1天大概产生多少G的日志？ 2.大概有多少条日志记录（在不清洗的情况下）？ 3.日访问量大概有多少个？ 4.注册数大概多少？ 5.我们的日志是不是除了apache的访问日志是不是还有其他的日志？ 6.假设我们有其他的日志是不是可以对这个日志有其他的业务分析？这些业务分析都有什么（*********） 1.问：你们的服务器有多少台？ 2.问：你们服务器的内存多大？ 3.问：你们的服务器怎么分布的？（这里说地理位置分布，最好也从机架方面也谈谈） 4.问：你平常在公司都干些什么（一些建议） 下面是HBASE我非常不懂的地方： 1.hbase怎么预分区？ 2.hbase怎么给web前台提供接口来访问（HTABLE可以提供对HTABLE的访问，但是怎么查询同一条记录的多个版本数据）？ 3.htable API有没有线程安全问题，在程序中是单例还是多例？ 4.我们的hbase大概在公司业务中（主要是网上商城）大概都几个表，几个表簇，大概都存什么样的数据？ 5.hbase的并发问题？ 下面的Storm的问题： 1.metaq消息队列 zookeeper集群 storm集群（包括zeromq,jzmq,和storm本身）就可以完成对商城推荐系统功能吗？还有没有其他的中间件？ 2.storm怎么完成对单词的计数？（个人看完storm一直都认为他是流处理，好像没有积攒数据的能力，都是处理完之后直接分发给下一个组件） 3.storm其他的一些面试经常问的问题？ xxx信息技术有限公司 1、你们的集群规模？ 2、你们的数据是用什么导入到数据库的？导入到什么数据库？ 3、你们业务数据量多大？有多少行数据？(面试了三家，都问这个问题) 4、你们处理数据是直接读数据库的数据还是读文本数据？ 5、你们写hive的hql语句，大概有多少条？ 6、你们提交的job任务大概有多少个？这些job执行完大概用多少时间？(面试了三家，都问这个问题) 7、hive跟hbase的区别是？ 8、你在项目中主要的工作任务是？ 9、你在项目中遇到了哪些难题，是怎么解决的？ 10、你自己写过udf函数么？写了哪些？ 11、你的项目提交到job的时候数据量有多大？(面试了三家，都问这个问题) 12、reduce后输出的数据量有多大？ 本文引用自神之子《hadoop面试可能遇到的问题》 Q1. Name the most common InputFormats defined in Hadoop? Which one is default ? Following 2 are most common InputFormats defined in Hadoop - TextInputFormat - KeyValueInputFormat - SequenceFileInputFormat Q2. What is the difference between TextInputFormatand KeyValueInputFormat class TextInputFormat: It reads lines of text files and provides the offset of the line as key to the Mapper and actual line as Value to the mapper KeyValueInputFormat: Reads text file and parses lines into key, val pairs. Everything up to the first tab character is sent as key to the Mapper and the remainder of the line is sent as value to the mapper. Q3. What is InputSplit in Hadoop When a hadoop job is run, it splits input files into chunks and assign each split to a mapper to process. This is called Input Split Q4. How is the splitting of file invoked in Hadoop Framework It is invoked by the Hadoop framework by running getInputSplit()method of the Input format class (like FileInputFormat) defined by the user Q5. Consider case scenario: In M/R system, - HDFS block size is 64 MB - Input format is FileInputFormat - We have 3 files of size 64K, 65Mb and 127Mb then how many input splits will be made by Hadoop framework? Hadoop will make 5 splits as follows - 1 split for 64K files - 2 splits for 65Mb files - 2 splits for 127Mb file Q6. What is the purpose of RecordReader in Hadoop The InputSplithas defined a slice of work, but does not describe how to access it. The RecordReaderclass actually loads the data from its source and converts it into (key, value) pairs suitable for reading by the Mapper. The RecordReader instance is defined by the InputFormat Q7. After the Map phase finishes, the hadoop framework does \"Partitioning, Shuffle and sort\". Explain what happens in this phase? - Partitioning Partitioning is the process of determining which reducer instance will receive which intermediate keys and values. Each mapper must determine for all of its output (key, value) pairs which reducer will receive them. It is necessary that for any key, regardless of which mapper instance generated it, the destination partition is the same - Shuffle After the first map tasks have completed, the nodes may still be performing several more map tasks each. But they also begin exchanging the intermediate outputs from the map tasks to where they are required by the reducers. This process of moving map outputs to the reducers is known as shuffling. - Sort Each reduce task is responsible for reducing the values associated with several intermediate keys. The set of intermediate keys on a single node is automatically sorted by Hadoop before they are presented to the Reducer Q9. If no custom partitioner is defined in the hadoop then how is data partitioned before its sent to the reducer The default partitioner computes a hash value for the key and assigns the partition based on this result Q10. What is a Combiner The Combiner is a \"mini-reduce\" process which operates only on data generated by a mapper. The Combiner will receive as input all data emitted by the Mapper instances on a given node. The output from the Combiner is then sent to the Reducers, instead of the output from the Mappers. Q11. Give an example scenario where a cobiner can be used and where it cannot be used There can be several examples following are the most common ones - Scenario where you can use combiner Getting list of distinct words in a file - Scenario where you cannot use a combiner Calculating mean of a list of numbers Q12. What is job tracker Job Tracker is the service within Hadoop that runs Map Reduce jobs on the cluster Q13. What are some typical functions of Job Tracker The following are some typical tasks of Job Tracker - Accepts jobs from clients - It talks to the NameNode to determine the location of the data - It locates TaskTracker nodes with available slots at or near the data - It submits the work to the chosen Task Tracker nodes and monitors progress of each task by receiving heartbeat signals from Task tracker Q14. What is task tracker Task Tracker is a node in the cluster that accepts tasks like Map, Reduce and Shuffle operations - from a JobTracker Q15. Whats the relationship between Jobs and Tasks in Hadoop One job is broken down into one or many tasks in Hadoop. Q16. Suppose Hadoop spawned 100 tasks for a job and one of the task failed. What willhadoop do ? It will restart the task again on some other task tracker and only if the task fails more than 4 (default setting and can be changed) times will it kill the job Q17. Hadoop achieves parallelism by dividing the tasks across many nodes, it is possible for a few slow nodes to rate-limit the rest of the program and slow down the program. What mechanism Hadoop provides to combat this Speculative Execution Q18. How does speculative execution works in Hadoop Job tracker makes different task trackers process same input. When tasks complete, they announce this fact to the Job Tracker. Whichever copy of a task finishes first becomes the definitive copy. If other copies were executing speculatively, Hadoop tells the Task Trackers to abandon the tasks and discard their outputs. The Reducers then receive their inputs from whichever Mapper completed successfully, first. Q19. Using command line in Linux, how will you - see all jobs running in the hadoop cluster - kill a job - hadoop job -list - hadoop job -kill jobid Q20. What is Hadoop Streaming Streaming is a generic API that allows programs written in virtually any language to be used asHadoop Mapper and Reducer implementations Q21. What is the characteristic of streaming API that makes it flexible run map reduce jobs in languages like perl, ruby, awk etc. Hadoop Streaming allows to use arbitrary programs for the Mapper and Reducer phases of a Map Reduce job by having both Mappers and Reducers receive their input on stdin and emit output (key, value) pairs on stdout. Q22. Whats is Distributed Cache in Hadoop Distributed Cache is a facility provided by the Map/Reduce framework to cache files (text, archives, jars and so on) needed by applications during execution of the job. The framework will copy the necessary files to the slave node before any tasks for the job are executed on that node. Q23. What is the benifit of Distributed cache, why can we just have the file in HDFS and have the application read it This is because distributed cache is much faster. It copies the file to all trackers at the start of the job. Now if the task tracker runs 10 or 100 mappers or reducer, it will use the same copy of distributed cache. On the other hand, if you put code in file to read it from HDFS in the MR job then every mapper will try to access it from HDFS hence if a task tracker run 100 map jobs then it will try to read this file 100 times from HDFS. Also HDFS is not very efficient when used like this. Q.24 What mechanism does Hadoop framework provides to synchronize changes made in Distribution Cache during runtime of the application This is a trick questions. There is no such mechanism. Distributed Cache by design is read only during the time of Job execution Q25. Have you ever used Counters in Hadoop. Give us an example scenario Anybody who claims to have worked on a Hadoop project is expected to use counters Q26. Is it possible to provide multiple input to Hadoop? If yes then how can you give multiple directories as input to the Hadoop job Yes, The input format class provides methods to add multiple directories as input to a Hadoop job Q27. Is it possible to have Hadoop job output in multiple directories. If yes then how Yes, by using Multiple Outputs class Q28. What will a hadoop job do if you try to run it with an output directory that is already present? Will it - overwrite it - warn you and continue - throw an exception and exit The hadoop job will throw an exception and exit. Q29. How can you set an arbitary number of mappers to be created for a job in Hadoop This is a trick question. You cannot set it Q30. How can you set an arbitary number of reducers to be created for a job in Hadoop You can either do it progamatically by using method setNumReduceTasksin the JobConfclass or set it up as a configuration setting 119. 因篇幅问题不能全部显示，请点此查看更多更全内容