1. FC存储网络基础入门
第一次接触FC存储网络时,我被那一堆专业术语搞得头晕眼花。后来发现,这东西其实就像管理一个大仓库——磁盘是货架,RAID是货架的组合方式,LUN就是划分出来的储物间。FC(光纤通道)则相当于仓库里的高速传送带,负责把货物快速准确地运送到各个工作站。
传统服务器直连存储就像小卖部的货架,所有商品都堆在一起。而FC存储网络更像大型物流中心,通过光纤交换机把存储设备和服务器连接成专用网络。实测下来,这种架构的传输带宽能达到16Gbps甚至32Gbps,比普通网线快几十倍。我在项目中最常遇到的就是双控制器架构——相当于仓库配了正副两名主管,一个出问题时另一个能立即顶上。
2. RAID配置实战图解
2.1 RAID级别选择指南
给客户配存储时,最常被问的问题就是"该选哪种RAID?"我的经验是:
- RAID5适合普通数据库,用1块盘做校验,兼顾空间利用和安全性
- RAID10适合高频交易系统,通过镜像+条带提供最高性能
- RAID6用于大容量归档,允许同时坏两块盘也不丢数据
去年有个客户非要全用RAID0追求速度,结果半年内因两块盘同时故障丢了订单数据。后来我们改用RAID10+热备盘方案,实测随机读写性能反而提升15%,还实现了故障自动修复。
2.2 创建RAID组实操
以华为OceanStor为例,创建RAID组的核心步骤:
# 登录存储管理系统 system-view # 选择磁盘域 disk-domain create name=SSD_Pool disks=1-20 # 创建RAID5组 raid-group create disk-domain=SSD_POOL raid-level=5关键参数要注意:
- 条带大小:数据库选64KB,视频存储选256KB
- 热备策略:建议配置全局热备盘
- 重建优先级:业务高峰时段调低避免影响性能
3. LUN分配与管理技巧
3.1 LUN创建最佳实践
把RAID组比作大仓库,LUN就是里面隔出的小库房。我习惯按业务系统划分:
- OLTP数据库:分配多个500GB Thin LUN(避免存储锁争用)
- 备份存储:创建厚置备LUN减少空间碎片
- 虚拟机存储:用SmartTier自动迁移热数据到SSD
最近帮某医院PACS系统配置时,发现直接给10TB大LUN会导致扫描仪卡顿。后来改为50个200GB LUN通过多路径并发访问,影像上传速度直接翻倍。
3.2 主机映射关键步骤
LUN创建后不映射就像库房没配钥匙。以Linux主机为例:
# 扫描新存储设备 rescan-scsi-bus.sh -a # 查看发现的LUN ls -l /dev/disk/by-id | grep dm # 多路径配置(以DM-MPIO为例) mpathconf --enable --with_multipathd y踩过的坑提醒:
- WWPN绑定:一定要在存储和交换机端双配置
- 队列深度:Oracle建议调到128以上
- 路径策略:双控存储用ALUA比failover更均衡
4. 双控制器高可用解析
4.1 控制器工作原理
存储控制器就像仓库管理员,负责:
- 前端接口:处理主机发来的IO请求(FC/iSCSI)
- 缓存管理:用BBU保护的写缓存加速写入
- 后端调度:把数据分布到不同RAID组
某次凌晨割接时,遇到过控制器A缓存模块故障。由于配置了双活模式,业务自动切到控制器B居然零感知,后来查日志才发现切换记录。
4.2 链路冗余方案设计
给银行做容灾方案时,我们这样规划链路:
[主机]---[FC交换机A]---[控制器A] | | |---[FC交换机B]---[控制器B]关键配置点:
- Zoning划分:每个主机看到两条独立路径
- 多路径策略:华为用UltraPath,EMC用PowerPath
- 负载均衡:避免所有LUN集中在同一控制器
5. 性能调优实战案例
5.1 典型瓶颈分析
去年优化某电商存储时,用IOmeter测试发现:
- 4K随机读延迟高达20ms(标准应<5ms)
- 队列深度到32时就出现IO堆积
- 控制器CPU峰值达90%
排查发现是RAID5的校验计算拖累了SSD性能,改为RAID10+关闭预读后,延迟直接降到1.8ms。
5.2 参数调优手册
经过多个项目验证的黄金参数:
# 存储侧配置 cache_page_size = 64KB prefetch_amount = 256KB raid_group_rebuild_rate = 30% # 主机侧配置 vm.dirty_ratio = 20 vm.swappiness = 10 blockdev --setra 4096 /dev/sdX6. 故障排查三板斧
遇到存储性能异常时,我的诊断流程:
- 查路径状态:
multipath -ll看是否所有路径活跃 - 看控制器负载:存储管理界面检查CPU/缓存使用率
- 分析IO特征:
iostat -x 1观察await和%util
有次客户报备份超时,结果发现是SAN交换机端口误配成2Gbps(本该16Gbps)。用systool -c fc_host -v查看到实际协商速率才定位问题。
7. 新兴技术对比
现在NVMe over FC开始流行,实测比传统FC-SAN:
- 延迟降低:从毫秒级进入微秒级
- 队列深度:支持64K队列(传统FC只有2048)
- 带宽利用:实测跑满32Gbps光纤时CPU占用低30%
不过老系统迁移要注意:
- 需要支持NVMe的HBA卡
- 存储控制器固件需升级
- 多路径软件要兼容新协议