NBU备份Oracle时报错ORA-19506，ORA-27028，ORA-19511的处理办法及技术点解析。

今天同事处理一个NBU备份Oracle数据库的故障，简略的流程就是应用人员那边对数据库服务器的IP，及/etc/hosts文件进行了更改，然后第二天早上NBU备份数据库就失败。

1. 相关日志如下：


1.1 RMAN日志报错如下：
Recovery Manager: Release 11.2.0.1.0 - Production on Mon Aug 4 14:56:31 2014 


Copyright (c) 1982, 2009, Oracle and/or its affiliates.  All rights reserved. 


……
using target database control file instead of recovery catalog
allocated channel: ch00 
channel ch00: SID=71 device type=SBT_TAPE 
channel ch00: Veritas NetBackup for Oracle - Release 7.0 (2010010419) 


sent command to channel: ch00 


Starting backup at 04-AUG-14 
channel ch00: starting incremental level 0 datafile backup set 
channel ch00: specifying datafile(s) in backup set 
input datafile file number=00005 name=/home/oracle/tablespace/agent 
input datafile file number=00003 name=/home/oracle/app/oracle/oradata/agent/undotbs01.dbf 
input datafile file number=00002 name=/home/oracle/app/oracle/oradata/agent/sysaux01.dbf 
input datafile file number=00010 name=/home/oracle/tablespace/ybt_indx 
input datafile file number=00001 name=/home/oracle/app/oracle/oradata/agent/system01.dbf 
channel ch00: starting piece 1 at 04-AUG-14 
released channel: ch00 
RMAN-00571: =========================================================== 
RMAN-00569: =============== ERROR MESSAGE STACK FOLLOWS =============== 
RMAN-00571: =========================================================== 
RMAN-03009: failure of backup command on ch00 channel at 08/04/2014 14:56:33 
ORA-19506: failed to create sequential file, name="bk_2685_1_854722592", parms="" 
ORA-27028: skgfqcre: sbtbackup returned error 
ORA-19511: Error received from media manager layer, error text: 
   VxBSAValidateFeatureId: Failed with error: 
   Server Status:  unexpected message received 


RMAN> RMAN> 


Recovery Manager complete. 


Script /home/oracle/BKB_scripts/agent-ora-hotbkp.sh 
==== ended in error on Mon Aug 4 14:56:33 CST 2014 ====


1.2 NBU备份记录如下:
2014-8-4 14:34:11 - requesting resource ljbkdb_svc-hcart2-robot-tld-3584 
2014-8-4 14:34:11 - requesting resource ljbkdb_svc.NBU_CLIENT.MAXJOBS.easy 
2014-8-4 14:34:11 - requesting resource ljbkdb_svc.NBU_POLICY.MAXJOBS.agent-ORA-BKP 
2014-8-4 14:34:11 - granted resource  ljbkdb_svc.NBU_CLIENT.MAXJOBS.easy 
2014-8-4 14:34:11 - granted resource  ljbkdb_svc.NBU_POLICY.MAXJOBS.agent-ORA-BKP 
2014-8-4 14:34:11 - granted resource  ljbkdb_svc-hcart2-robot-tld-3584 
2014-8-4 14:34:12 - estimated 0 kbytes needed 
2014-8-4 14:34:12 - started process bpbrm (pid=549268) 
2014-8-4 14:34:13 - connecting 
2014-8-4 14:34:14 - connected; connect time: 0:00:00 
2014-8-4 14:34:19 - end writing 
the backup failed to back up the requested files  (6)


2. 处理过程
上面两份信息并没有提供明显的错误，但是可以看出NBU连接数据库client是没有问题的，RMAN也能正常读取数据文件，故障发生在回写磁带的步骤上。

首先检查了/etc/hosts文件的内容，然后看了一下监听状态，发现均没有错误。然后分析了ALERT.LOG，listener.log日志，发现没有任何故障。

本机测试RMAN备份没问题，NBU server和CLIENT互ping也没有问题。NBU客户端执行bpclntcmd -pn 和npclntcmd -self的网络检查命令，结果都显示正常。

好吧，去网上查一下，看到相同的错误不是设置的双网卡，就是设置了虚IP导致的。但是本机是单网卡，也没有虚IP，所有也没找到符合的。后来同事询问了一下当时做变更的人员，然后仔细分析了一下架构，整理出来都做了哪些更改。1.ip改过，/etc/hosts改过，2.服务器所在的网络物理拓扑结构发生了改变，上了F5(ps:在这里我狠狠的不解，你单台数据库服务器为啥上到F5后面?)。第一点大家分析过了，也找不到什么问题，那么就分析是不是F5导致的NBU备份数据库失败（回写阶段失败），咨询了一下网络管理人员，该F5的机理是：NBU SERVER访问数据库CLIENT服务器的实体IP时没有任何问题，但是数据库client向外发包回转为虚IP，好吧，到这里原因应该找到了。于是网络管理人员，设置了数据库到NBU的直通，走TCP，开放所有端口，再次测试备份没有问题。解决！耗时4天，主要原因是大家一开始都没想到F5会引起这种问题。




3. 故障原理分析
好了，故障原因解决了，咱们再分析一下故障原理，以加强记忆，为了以后遇到类似的问题可以快速找到原因。
首先说明几个术语的含义：
MM（Media Manager）：简称介质管理器，包括客户端与服务端，属于第三方提供，像NBU这样的就是。
MML（Media Manager Library）：简称Oracle介质管理库，属于oracle的一个模块，用以连接RMAN与MM客户端软件，然后有客户端传送数据到MM服务端。


备份流程如下所示：
                                                          
RMAN执行脚本 ------阶段1------&gt MML------阶段2------> MM CLIENT(NBU CLINET) ------阶段3------> MM SERVER(NBU SERVER)


发生错误的就是3阶段。
client出去之后IP就变了，MM SERVER这边就无法进行数据库备份。

4. 总结
总之，此类的故障就是IP和解析方面的故障，以后大家遇到类似错误，首先要主动往这方面分析考虑。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/28546804/viewspace-1245521/，如需转载，请注明出处，否则将追究法律责任。