linrty 的个人博客 👋🏼

前期准备 Ubuntu系统、Java环境，nginx，hadoop下载 Java环境 ubuntu直接安装 apt-get install openjdk-8-jdk 配置环境变量 vim ~/.bashrc # 底部写入以下内容，JAVA_HOME的路径建议检查一下确定是不是安装在这 export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH nginx安装 apt-get install nginx 默认配置文件目录/etc/nginx ssh配置 确保安装好了ssh apt-get install ssh openssh-server cd ~/.ssh/ ssh-keygen -t rsa cat id_rsa.pub >> authorized_keys hadoop压缩包下....

为啥需要大数据开发 从名字应该能够知道，这项技术是专门针对海量数据进行的，那么什么场景下会出现海量的数据呢？ 首先引入一些简单的问题： 现在有一个文件，一行一个单词，需要统计出哪个单词出现的次数最多？ 现在有两个文件，文件内容都是一行对应一句子，可以保证的是单个文件内部不会出现相同的句子，现在需要找出两个文件中的句子交集，即在两个文件中都出现的句子。 现在有一条句子，想知道这条句子有没有在一个文件中出现过？ 对于以上问题，当文件的的大小都不大的时候（也就是数据量不大），我们能够简单的写一段程序进行处理即可，但是现在就是会出现数据量超大的情况： 大到内存都加载不了整个文件的时候，怎么办？ (1) 加内存虽然可以解决目前的问题，但是如果这个数据不是固定不变的，会随着时间越来越多这种解决方案就需要被pass！ (2) 那有没有其他处理的办法？当然有！如果我们对数据的处理时间没有要求，那么我们可以每次加载一定量的数据进行处理，最后把每次处理的结果进行汇总。但是往往我们希望的是能够快速的处理数据，所以这种方案也是不可行的！ 数据量太大了，怎么来提升处理速度？ (1) 上算法伺候行不行？....