Welcome to LZN's Blog!

Wind extinguishes a candle but energizes fire.

【已解决】全互联同步备份系统的搭建

2015-03-21

LZN

technology

web rsync nfs linux windows
信息的组织管理的的确确是个大学问，就像桌面整理都能作为一门课程来教授一样，能把数据和规则进行安全、规整地组织存储是非常不容易的。

数据安全的意义毋庸置疑，早就希望做一套全互联同步备份的系统，这两天终于开始着手做了，架构设计上还有诸多不完善，有待将来优化解决。基本原则：
- 数据与规则分离
- 冗余备份
整个备份系统（rsync+NFS）的基本架构图如下：

NFS实现手段概要：
1. Team_Server组建NFS服务端，设置开机启动
2. Blackleach配置Windows客户端，设置开机启动mount脚本
相关资料网上有很多。实现过程中遇到的问题：

Windows客户端挂载后没有写权限的问题。

首先修改服务端/etc/exports：
```
/home/yangsong3/L_Zealot 202.116.*.*(rw,sync,all_squash,anonuid=500,anongid=500)
```
再修改客户端，注册表加入新键：

HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\ClientForNFS\CurrentVersion\Default，DWORD项：AnonymousUid，AnonymousGid，值为10进制500

mount语句写入bat脚本，加入计划任务，即可开机启动。

有一点是，Blackleach上X盘符一直是断开状态，但是可以访问，可以完全读写……不知道为什么，囧。（见20150420更新）

rsync实现手段概要：

rsync参数很有考究，文件覆盖的时候要进行判断，若对方文件版本修改时间比拿去覆盖的文件要晚，则不能覆盖旧有文件，目前不加入delete以防万一。考虑到文件创建顺序，所有终端应做到时间同步，可惜HPC4无法办到，超算方面没有做对时处理。所以同步都在凌晨进行，防止误覆盖。

同步语句范例:
```
rsync -vzrtulopg -progress -e 'ssh -p *' /home/yangsong3/L_Zealot/project/ workstation@*.*.*.*:/home/workstation/L_Zealot/project/
```
配置crontab，使得同步能在凌晨按如下顺序进行：

3:01 A.M.

Team_Server发起同步请求，请求顺序Team_Server–>Workstation–>Team_Server

4:01 A.M.

HPC4发起同步请求，请求顺序

HPC4–>Workstation–>HPC4

5:01 A.M.

Workstation发起同步请求，请求顺序

Workstation–>Team_Server

三方同步完成！

参考资料：

http://www.cnblogs.com/mchina/archive/2013/01/03/2840040.html

http://www.cnblogs.com/itech/archive/2009/08/10/1542945.html

http://www.jb51.net/LINUXjishu/66859.html

#Up to 20150321#

114那个IP果然有问题，不能下CISL上的数据，nfs挂载到blackleach上是断线状态但是能连接……

因为不能下CISL的数据，换了21的IP，瞬间上述两个问题都解决了……

#Up to 20150420#

加入对paperhub工程的备份

1:01 A.M.

EES_Web_Server发起同步pull请求，请求顺序Lab_Server–>EES_Web_Server

2:01 A.M.

Team_Server发起同步pull请求，请求顺序Lab_Server–>Team_Server

#Up to 20150906#
Read All
【已解决】NCL输出grads可读的dat文件

2015-03-19

LZN

science

ncl grads fbinrecwrite

其实就是输出二进制文件，和【已解决】NCL写binery文件Fortran读出错——BigEndian问题一文所提到的一样，需要注意大小端问题。

文件输出语句如下：

setfileoption(“bin”,”WriteByteOrder”,”LittleEndian”) fbinrecwrite(g_out_fn,-1,ctrl_var)

Read All
【已解决】团队服务器搭建记录

2015-03-17

LZN

technology

linux server hardware
1月底团队服务器到货，因假期没有进行搭建。这几天财务急需付款，遂与Jack_Cw一起进行搭建。操作系统：CentOS 6.5，安装过程略去不表。安装完成后配置网络着实折腾了一把，具体情况记录如下：

1.硬件及操作系统安装
1. Linux安装步骤中配置IP及MAC地址，进入系统后完全不能上网，经检查IP地址过期。
2. 更换IP地址及MAC，ping网关和DNS通畅，内网ssh通畅，外网（跨交换机）极其缓慢，网页打开极其困难。
3. BIOS设置取消网卡IP自动分配，问题没有解决。
4. 检查交换机，更换网线，设置路由，串联路由做交换，均不能解决。
5. 拿笔记本做诊断，发现Linux系统都存在这一问题。
6. 到Jack_Cw房间交换机诊断，同样存在问题。
7. 尝试增加新的网络配置后，发现原有配置正常，但无法链接到新的网络配置。
8. 采用给服务器增加一个新的无效的网络配置，原有配置即正常。问题解决。
结论：CentOS Linux系统bug，6.4/6.5/7.0均存在，不采用DHCP手动指定IP和MAC的情况下，必须再设置一个额外的网络配置（可以无效）原配置方能够正常使用。 #Up to 20150314#

2.软件包安装

2.1 Intel2015 C/C++/Fortran编译器

团队服务器落成，进行软件包安装，尝试安装intel2015编译器。过程与2013版本基本类似，第二步Lcense选项选择
```
3. I want to evaluate my product or activate later
```
缺少32位库，采用yum安装。
```
# yum install libstdc++.i686 --setopt=protected_multilib=false
```
参数用于忽略版本兼容检查。（默认系统已经安装64位库）

C/C++和Fortran编译器安装非常快，一共不到5分钟，不知是新版本优化了至强核心的编译还是RAID的原因。

安装完成后，拷贝intel.lic文件到/opt/intel/licenses下。

2.2 HDF5 1.8.14

先要安装zlib
```
#yum install zlib-devel
#yum install zlib-devel
#./configure --prefix=/usr/hdf5-1814 --with-zlib=/usr/lib64
#make
#make check
#make install
```
2.3 NETCDF 4.3.3.1

安装C库
```
./configure --prefix=/usr/netcdf-4331 --enable-netcdf-4 LDFLAGS="-L/usr/hdf5-1814/lib -L/usr/lib64" CPPFLAGS="-I/usr/hdf5-1814/include -I/usr/include" CC=icc
$./make
$./make check
#./make install
```
安装fortran库，注意fortran库对应的netcdf版本号为4.4.2，但是也需要安装到与C库相同的目录下。
```
$./configure --prefix=/usr/netcdf-4331 LDFLAGS="-L/usr/netcdf-4331/lib" CPPFLAGS="-I/usr/netcdf-4331/include" FC=ifort
$./make
$./make check
#./make install
```
检查安装情况
```
$nf-config --all
$nf-config --flibs
```
2.4开启www服务
```
chkconfig mysqld on
chkconfig httpd on
service httpd start
service mysqld start
```
```
vi /etc/httpd/conf/httpd.conf
```
修改 User和Group行 User yangsong3 Group yangsong3
```
chown -R yangsong3:yangsong3 www/
```
#Up to 20150317#
Read All

80/115

Welcome to LZN's Blog!

【已解决】全互联同步备份系统的搭建

NFS实现手段概要：

rsync实现手段概要：

【已解决】NCL输出grads可读的dat文件

【已解决】团队服务器搭建记录

1.硬件及操作系统安装

2.软件包安装

2.1 Intel2015 C/C++/Fortran编译器

2.2 HDF5 1.8.14

2.3 NETCDF 4.3.3.1

2.4开启www服务