2015 年文章归档
共 12 篇文章
Zookeeper简介
一、什么是Zookeeper ZooKeeper 顾名思义动物园管理员,他是拿来管大象(Hadoop) 、蜜蜂(Hive) 、小猪(Pig)的管理员,Apache Hbase和Apache Solr以及LinkedIn sensei等项目中都采用到了Zookeeper。ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,ZooKeeper是以Fast Paxos算法为基础,实现同步服务,配置维护和命名服务等分布式应用。 上面的解释感觉太官方了,Zookeeper从程序员的角度来讲可以理解为Hadoop的整体监控系统。如果nameNode、HMaster宕机后,这时候Zooke…
2015-12-03 10:26 · zookeeper
Dubbo、Zookeeper、Spring MVC整合
Dubbo是Alibaba开源的分布式服务框架,我们可以非常容易地通过Dubbo来构建分布式服务,并根据自己实际业务应用场景来选择合适的集群容错模式,这个对于很多应用都是迫切希望的,只需要通过简单的配置就能够实现分布式服务调用,也就是说服务提供方(Provider)发布的服务可以天然就是集群服务,比如,在实时性要求很高的应用场景下,可能希望来自消费方(Consumer)的调用响应时间最短,只需要选择Dubbo的Forking Cluster模式配置,就可以对一个调用请求并行发送到多台对等的提供方(Provider)服务所在的节点上,只选择最快一个返回响应的,然后将调用结果返回给服务消费方(C…
2015-11-25 16:16 · Dubbo/Zookeeper
同一个页面多个div,ajax调用
最近在做项目的时候发现两个问题,第一个问题是在主页面有多个div,在div里面有input元素的onclick事件,在第一次打开div的时候通过onclick调用ajax可以被执行,当关掉打开的div重新再打开的时候onclick事件不生效。第二个问题是两个div调用ajax时会相互影响,当打开第一个div并关闭的时候,第二个div的input元素的onclick事件不被执行了。 针对第一个问题,将input的onclick时间使用jquery的live()方法进行绑定,这时要对input元素的属性进行声明,如<input type="button" id="updateData">,在绑定…
2015-11-24 16:23 · JQuery
tomcat管理多项目,共享jar包
在tomcat同时部署多个应用时,如果这些应用有公用的jar包,可以将这些jar包提取出来,统一放到tomcat里面进行管理。具体做法如下两种: 第一种方法:将需要共享的jar包放到tomcat安装目录的lib下,这里采用新建shared文件夹的方式,然后修改catalina.properties中的common.loader属性。在common.loader属性原值基础上追加“,${catalina.home}/lib/shared/*.jar”,然后启动tomcat。很显然,需要将共享的jar包放到一个shared目录里,然后将shared目录放到tomcat下lib目录里。 第二种方法…
2015-11-16 16:07 · tomcat
Access denied for user 'root'@'localhost' (using password: NO)
在redhat 6上面安装了mysql-5.7.9-linux-glibc2.5-x86_64.tar.gz之后,运行mysql -uroot mysql会提示Access denied for user 'root'@'localhost' (using password: NO) ,造成这种的原因是在安装的时候默认初始化了一个密码,但是对于该密码我们并不知道是什么,因此会出现上面的错误,对于该类错误通常采取的做法是先跳过密码登录,然后修改密码。具体操作如下: 首先将现有的mysql进行终止,执行ps aux | grep mysql查看进行号,利用kill -9 进程号,将现在正在运行的…
2015-11-11 17:35 · mysql
Can't connect to local MySQL server through socket "/tmp/my.cnf"
在安装mysql的.tar.gz包之前试图安装了.rpm后缀的mysql,安装好.tar.gz格式的mysql之后,执行mysql -u root mysql时候提示Can't connect to local MySQL server through socket "/tmp/my.cnf",但是我已经将/tmp/my.cnf配置文件里面的socket改为了socket = /var/lib/mysql/mysql.sock,不明白为什么启动的时候还会去找/tmp目录下的my.cnf文件,问题解决了之后也没搞清楚为什么,如下方法可以解决: 在配置文件my.cnf对应的socket路径与/t…
2015-11-11 17:02 · mysql
在VMWare虚拟机添加windows文件实现共享
在windows系统安装了VMWare之后,我们通常希望可以直接把windows的文件可以复制到虚拟机上面,以方便我们的使用,下面简单说明如何从VMWare直接复制windows的文件: 启动VMWare之后选择VM-->Settings-->Options-->Shared folders,右方Folder sharing单选框选择Always enabled,然后点击下方Add按钮,然后根据自己需要,把需要共享的文件夹选择好之后,一路Next,最后Finish就可以了,这样就可以直接把windows的文件共享到VMWare虚拟机上面了。
2015-11-06 11:22 · linux
java生成csv文件并通过浏览器下载
最近在电信做业务的时候发现有一个导出csv文件的需求,一般导出使用POI直接导出excel即可,excel2007已经支持最多104.8万条记录,基本可以满足需求,为了尝试下导出csv文件,因此采用了导出csv文件的实现,csv即为逗号分隔值(Comma-Separated Values, CSV ,有时也称为字符分隔值,因为分隔字符也可以不是逗号),可以使用excel直接打开预览。 下面结合所使用的功能进行说明: 首先创建一个CsvUtil.java类,包括删除已生成的csv文件、测试代码,代码如下: public class CsvUtils { private static final…
2015-11-03 14:48 · java
yarn详解
问题导读: 1、什么是yarn? 2、Yarn 和MapReduce相比,它有什么特殊作用 ? 背景 Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改,可是随着代码的增加以及原MapReduce框架设计的不足,在原MapReduce框架上进行修改变得越来越困难,所以MapReduce的committer们决定从架构上重新设计MapReduce,使下一代的MapReduce(MRv2/Yarn)框…
2015-10-23 11:09 · hadoop
org.springframework.scheduling.quartz.CronTriggerBean定时任务配置
在项目中又用到了定时器,对于定时器的应用总是模模糊糊的,今天结合网上找到的资料与自己在项目中写的简单地在此写一下,以备需要时查阅。 一个Quartz的CronTrigger表达式分为七项子表达式,其中每一项以空格隔开,从左到右分别是:秒,分,时,月的某天,月,星期的某天,年;其中年不是必须的,也就是说任何一个表达式最少需要六项。 例:0 0 12 ? * WED 表示每个星期三的12点执行,这里没有“年”这项。 先看示列:"0 0/30 8-10 5,20 * ?" 表示“每个月的5日和20日的8:00,8:30,9:00,9:30,10:00,10:30” 字符解释: ,:与,表式","两…
2015-10-20 11:15 · java
zookeeper启动提示:/data/zookeeper/zookeeper_server.pid: Permission denied
在配置安装好zookeeper之后执行zkServer.sh start发现提示:/data/zookeeper/zookeeper_server.pid: Permission denied FAILED TO WRITE PID 原因是刚才/data/zookeeper是root权限,而不是doop权限的,修改/data权限即可解决 [root@master ~]# chown -R doop:hadoop /usr/doop/zookeeper-3.4.6/data,再执行zkServer.sh start就正确了
2015-10-14 16:10 · zookeeper
hadoop-2.7.1 datanode
最近几天在虚拟机上部署hadoop,部署好了之后在slave的两个节点上面jps无法查看到datanode进程,最后用了笨方法,问题解决了。 我是基于VMware workstation 9安装的三台rh Linux虚拟机,一主两从分别对应: 192.168.1.100 master 192.168.1.101 node1 192.168.1.102 node2 安装部署好hadoop-2.7.1之后执行./start-all.sh之后在master下jps没有namenode,在两台node上面jps没有datanode,很是郁闷。 我的解决办法如下: 1.在master机器执行./sto…
2015-10-14 15:51 · hadoop