引言本文承接上篇 Spark on yarn运行时Jar包加载踩坑经历 来进一步分析spark-submit 通过–jars 传入本地jar包 和 HDFS上的jar包的区别，以及 spark.yarn.jars 与前两者的区别。 –jars的使用1. –jars 传入本地jar包 1--jars a.jar,b.jar,c.jar ::: hljs-left ::: 传入本地jar包时，spark-submit脚本会执行Uploading resource的操作将本地的jar包拷贝到spark的临时依赖地址供后续任务执行，当jar包很多或者jar包容量很大时，需要Uploading很长时间，解决办法就是将依赖上传至HDFS。 2. –jars 传入HDFS jar包 1--jars hdfs://nameservice1/user/dependency.a.jar,hdfs://nameservice1/user/dependency.b.jar,hdfs://nameservice1/user/dependency.c.jar Source and destination fi ...

转载于：带着梦想飞翔 这里首先要搞明白一个道理(自己设想的)* byte有8位，假如全部都是 11111111 那么对应的int（10进制）类型就是 255* 虽然255(十进制)和11111111(二进制)都表示同一个数，但作为String类型存储255作为String类型存储长度为3，而11111111作为string类型存储长度为8* 【关键点一】MessageDigest.getInstance(“MD5”).digest(“需要加密的字符”.getBytes()) 计算出来的结果返回的byte[]长度始终为16位。* 所以说，真正的密文 是由java别人大神写的算法计算出来的。已经保证16位的固定长度的byte* 【关键点二】要记住我们计算出来的md5(32位)最后都都是固定长度32的字符串* 那么问题出现了：byte[16]这个数组要是直接转化为int类型在存储为字符。而byte的取值范围为-128 ~ 127.那么作为0-99转化为总长度为16的字符串没有问题，* 但，100 ~ 128和-10 ~ -128这些数字转换为总长度为16的字符串就不一定了。* 因为一个by ...

压缩概述压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在运行MR程序时，I/O操作、网络数据传输、 Shuffle 和 Merge 要花大量的时间，尤其是数据规模很大和工作负载密集的情况下，因此，使用数据压缩显得非常重要。 由于磁盘 I/O 和网络带宽是 Hadoop 的宝贵资源，数据压缩对于节省资源、最小化磁盘 I/O 和网络传输非常有帮助。可以在任意 MapReduce 阶段启用压缩。不过，尽管压缩与解压操作的CPU开销不高，其性能的提升和资源的节省并非没有代价。 由此压缩的优缺点也较为明显： 优点：以减少磁盘 IO、减少磁盘存储空间 缺点：增加 CPU 开销 压缩策略和原则压缩是提高 Hadoop 运行效率的一种优化策略。 通过对 Mapper、Reducer 运行过程的数据进行压缩，以减少磁盘IO，提高MR程序运行速度。 注意：采用压缩技术减少了磁盘IO，但同时增加了CPU运算负担。所以，压缩特性运用得当能提高性能，但运用不当也可能降低性能。 压缩基本原则： 运算密集型的job，少用压缩 IO密集型的job，多用压缩 对于 M ...

最近在VMware虚拟机上使用Centos，由于一开始分配了20G的磁盘空间，用着用着，发现虚拟机的磁盘空间不够了。通过以下步骤成功扩展了根目录的磁盘空间。 1. Centos 关机，选择编辑虚拟机设置，硬盘，在实用工具那里选择“扩展”，填写扩展的磁盘容量　　点击扩展后，VMware会提示磁盘已成功扩展。您必须从客户机操作系统内部对磁盘重新进行分区和扩展文件系统。也就是说，这里扩展的磁盘空间，在操作系统里面还不可用，还没生效，需要在操作系统里面进行设置后才能使用。 2. 启动客户机操作系统 Centos，查看磁盘情况输入指令：fdisk -l显示结果如下：（此处为个人本地环境）其中标记部分为现在的分区情况 3. 创建分区 sda3输入指令：fdisk /dev/sda然后根据命令提示创建分区，命令具体含义见图示注释再次查看分区情况，分区已变为3个，但这时没有挂载，还不能用 4. 重启操作 reboot 5. 格式化新分区为ext3 6. 将物理硬盘分区初始化为物理卷，以便被LVM使用，输入指令