存档

作者存档

Centos 6.3 Hadoop集群配置详解

2013年6月2日 没有评论

环境:4台服务器 1 Master 3 Slave, 系统Centos 6.3,预先安装好JDK 1.7 和openssh(对相关安装配置过程有疑问或者困难的请google或者查阅笔者之前的blog),且关闭防火墙(避免配置好后运行过程引起不必要的意外)

服务器清单如下

HostName           IP

  Master        192.168.1.200

  Slave01       192.168.1.201

  Slave02       192.168.1.202

  Slave03       192.168.1.203

一.修改Hostname

阅读全文…

分类: Hadoop 标签: , , ,

HDFS详解

2013年6月1日 1 条评论

HDFS:(Hadoop Distributed File System),是运用MapReduce框架进行大规模分布式数据处理的高度容错性的文件系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS是hadoop项目的一部分,可以说是Hadoop和Hbase的基石.

HDFS是一个主从(Master/Slave)的架构,一个HDFS集群是由一个名字节点(NameNode),若干数据节点(DataNode)组成。

 

HDFS架构一.HDFS节本概念介绍
阅读全文…

分类: HDFS 标签:

Nginx 常用配置

2013年5月23日 1 条评论

不多说废话,直接上nginx.conf简洁版

#使用哪个用户启动nginx 
user  frankwong; 

#nginx 工作进程数,一般设置成CPU核数
worker_processes  4;

# [ debug | info | notice | warn | error | crit ]   错误日志的位置
#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#nginx进程号保存文件
#pid        logs/nginx.pid;

events {
    #use [ kqueue | rtsig | epoll | /dev/poll | select | poll ] 使用epoll(linux2.6的高性能方式)
    use epoll;

    #每个worker最大连接数,受限于进程最大打开文件数目,参考ulimit -n
    worker_connections  1024;
}

http {
     #文件扩展名与文件类型映射表
    include       mime.types;

    #默认文件类型 bin exe dll
    default_type  application/octet-stream;

    #日志文件格式
    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';
    #access_log  logs/access.log  main;

    #开启高效文件传输模式
    sendfile        on;

    #隐藏nginx 版本号
    server_tokens off;

    #防止网络阻塞
    #tcp_nopush     on;

    #长链接超时时间
    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;

    #上传文件大小限制
    client_max_body_size 20m
    #设定请求缓冲   
    client_header_buffer_size 1k;   
    large_client_header_buffers 4 4k; 

    server {
        #监听端口号
        listen       80;
        #配置基于名称的虚拟主机,通过它可以进行多域名转发
        server_name  localhost;

        #默认编码
        charset utf-8;

        #设定本虚拟主机的访问日志
        #access_log  logs/host.access.log  main;

        location / {
            root   html;
            index  index.html index.htm;
        }
        #错误页面
        error_page  404              /404.html;

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }  
    }
}

1.开启gzip压缩 阅读全文…

linux ulimit

2013年5月23日 没有评论

系统性能一直是一个受关注的话题,如何通过最简单的设置来实现最有效的性能调优,如何在有限资源的条件下保证程序的运作,ulimit 是我们在处理这些问题时,经常使用的一种简单手段。ulimit 是一种 linux 系统的内键功能,它具有一套参数集,用于为由它生成的 shell 进程及其子进程的资源使用设置限制。

ulimit 用于限制 shell 启动进程所占用的资源,支持以下各种类型的限制:所创建的内核文件的大小、进程数据块的大小、Shell 进程创建文件的大小、内存锁住的大小、常驻内存集的大小、打开文件描述符的数量、分配堆栈的最大大小、CPU 时间、单个用户的最大线程数、Shell 进程所能使用的最大虚拟内存。同时,它支持硬资源和软资源的限制。
ulimit 指令参数

选项 [options]	含义	
-H	 设置硬资源限制,一旦设置不能增加。	
-S	 设置软资源限制,设置后可以增加,但是不能超过硬资源设置。	 
-a	 显示当前所有的 limit 信息。	 
-c	 最大的 core 文件的大小, 以 blocks 为单位。	
-d	 进程最大的数据段的大小,以 Kbytes 为单位。	
-f	 进程可以创建文件的最大值,以 blocks 为单位。
-l	 最大可加锁内存大小,以 Kbytes 为单位。	
-m	 最大内存大小,以 Kbytes 为单位。
-n	 Linux操作系统对一个进程可以打开最大文件描述符的数量。	
-p	 管道缓冲区的大小,以 Kbytes 为单位。	 
-s	 线程栈大小,以 Kbytes 为单位。	
-t	 最大的 CPU 占用时间,以秒为单位。	 
-u	 用户最大可用的进程数。	
-v	 进程最大可用的虚拟内存,以 Kbytes 为单位。

阅读全文…

Junit 详解

2013年5月19日 没有评论

具体请见
https://github.com/FrankWong1213/junit-example
代码里有常用的用例和注释,应该很好理解。

分类: DevTools 标签: , , ,