Neo-Oracle Home

HP-UX에서 발생하는 문제
아래 로그를 포함하는 트레이스 파일이 계속 생긴다. 심할 정도로
Ioctl ASYNC_CONFIG error, errno = 1

1. 만약 /dev/async 가 존재하고 설정이 맞게 되었다면 오라클은 ioctl을 통해 SGA 메모리의 async i/o를 사용하기 위해 메모리를 lock하게 된다(HP only)
2. 오라클은 /dev/async HP-UX 드라이버가 읽기/쓰기를 위해 제대로 설정되어있을 경우 /dev/async 를 open하게 된다.

위 둘이 제대로 설정되어 있다면 DISK_ASYNCH_IO 파라미터 값이 TRUE이건 말건 상관없이 적용되게 된다.

문제는 오라클이 init 셋팅에 관계없이(disk_asynch_io=false, filesystemio_options=none) async I/O를 사용하게 되는 점이다.
이 경우 filesystemio_options=none이 동작하지 않게 된다.

9.2~10.1의 경우 asynch_io를 비활성화하기 위해 아래처럼 설정한다.

chown bin:bin /dev/async
chmod 660 /dev/async

주의: 이 설정시 기존 어플리케이션에 영향을 줄 수 있기에 asynch_io를 비활성화하기 전에 db를 셧다운하는걸 권장한다.

트레이스 파일 에러가 생기는 것을 막기 위한 방법은 아래 처럼 dba 그룹에 MLOCK 권한을 주는 것이다.

# /usr/sbin/setprivgrp dba MLOCK
# vi /etc/privgroup
-- This should contain dba MLOCK RTSCHED RTPRIO
# cat /etc/privgroup
dba MLOCK RTSCHED RTPRIO

10.2 이후로는 파라미터 변경으로 asynch_io를 비활성화 하여 해결할 수 있다.
disk_asynch_io=FALSE
filesystemio_options=none

보통 oracle 유저로 /etc/hosts 파일을 읽을 수는 있어야 오라클이 정상 동작한다.

/etc/hosts 파일에 대한 other 권한의 read를 없앨 경우 10g와 11g 동작이 틀리다.

10g의 경우:

1. sqlplus 접속 자체가 엄청나게 느려진다.
2. startup시 얼럿로그에 ORA-00130 나타난다.
3. 시작 자체는 된다.
4. 얼럿로그에 주기적으로 아래 메시지가 출력된다.
    Errors in file /oracle/admin/testdb/bdump/testdb_ora_4307.trc:
    ORA-07445: exception encountered: core dump [kslgetl()+120] [SIGSEGV] [Address not mapped to object] [0x000000210] [] []
    ORA-00108: failed to set up dispatcher to accept connection asynchronously
    Fri Apr 19 10:35:45 KST 2013
found dead dispatcher 'D000', pid = (18, 3)
5. 리스너 시작이 안된다.
    [oracle@centos5 ~]$ lsnrctl start

LSNRCTL for Linux: Version 10.2.0.5.0 - Production on 19-APR-2013 10:35:17
Copyright (c) 1991, 2010, Oracle.  All rights reserved.
Starting /oracle/product/10.2.0/db1/bin/tnslsnr: please wait...
  TNSLSNR for Linux: Version 10.2.0.5.0 - Production
    System parameter file is /oracle/product/10.2.0/db1/network/admin/listener.ora
    Log messages written to /oracle/product/10.2.0/db1/network/log/listener.log
    Error listening on: (DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=centos5.6x64)(PORT=1521)))
    TNS-12545: Connect failed because target host or object does not exist
     TNS-12560: TNS:protocol adapter error
      TNS-00515: Connect failed because target host or object does not exist

Listener failed to start. See the error message(s) above...

11g의 경우:

1. sqlplus 접속 자체가 엄청나게 느려진다.
2. startup시 ORA-00119가 나타나며 실패한다.
3. 아래는 11g 테스트 결과

[root@centos5 etc]# ls -l hosts
-rw-r--r-- 2 root root 208  9??29  2012 hosts
[root@centos5 etc]# chmod 640 hosts
[root@centos5 etc]# su - oracle
[oracle@centos5 ~]$ sqlplus / as sysdba

SQL*Plus: Release 11.2.0.1.0 Production on Fri Apr 19 10:16:40 2013
Copyright (c) 1982, 2009, Oracle.  All rights reserved.

Connected to:
Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
With the Partitioning option

sys@ORCL> shutdown immediate;
Database closed.
Database dismounted.
ORACLE instance shut down.
sys@ORCL> startup
ORA-00119: invalid specification for system parameter LOCAL_LISTENER
ORA-00130: invalid listener address '(ADDRESS=(PROTOCOL=TCP)(HOST=centos5.6x64)(PORT=1521))'

윈도우에서 별다른 이벤트 로그가 안남을 수 있다.

Mon Apr 08 06:48:35 2013
Errors in file .\orcl_arc1_1340.trc:
ORA-00202: control file: 'D:\ORACLE\PRODUCT\10.2.0\ORADATA\ORCL\CONTROL01.CTL'
ORA-27091: unable to queue I/O
ORA-27070: async read/write failed
OSD-04006: ReadFile() 실패, 파일에서 읽을 수 없음
O/S-Error: (OS 1450) 시스템 리소스가 부족하기 때문에 요청한 서비스를 완성할 수 없습니다.

-반복하다가 아래 나오며 종료됨-

Mon Apr 08 06:48:36 2013
Master background archival failure: 204

OS 로그 이상 없음
##########################################################################################
OS: Windows2003
oracle: 10.2.0.3 s/e

원인: 순간적인디스크 파일 접근 불가
해결: 리부팅후 정상복구됨. 추후 발생시 대비 서버의 array controller? disk controller 펌웨어 업그레이드

사이트에서 발생했던 현상.
오라클 버젼은 9.2.0.1

SQL> r
  1  select spid, program, trunc(pga_used_mem/1024/1024) USED,
  2  trunc(pga_alloc_mem/1024/1024) ALLOC , trunc(pga_max_mem/1024/1024) MAX
  3  from v$process
  4* order by pga_alloc_mem asc

SPID         PROGRAM                                         USED       ALLOC         MAX
------------ ---------------------------------------- ----------- ----------- -----------
             PSEUDO                                           .00         .00         .00
-------------------중략-----------------------------------------------------------------
847          oracle@xxxx.kr (QMN0)                  256.00      256.00      256.00

49 rows selected.

SQL> alter system set aq_tm_processes=0;
System altered.

SQL> alter system set aq_tm_processes=1;
System altered.

SQL> r
  1  select spid, program, trunc(pga_used_mem/1024/1024) USED,
  2  trunc(pga_alloc_mem/1024/1024) ALLOC , trunc(pga_max_mem/1024/1024) MAX
  3  from v$process
  4* order by pga_alloc_mem asc

SPID         PROGRAM                                         USED       ALLOC         MAX
------------ ---------------------------------------- ----------- ----------- -----------
             PSEUDO                                           .00         .00         .00
-------------------------------------중략-----------------------------------------------
20461        oracle@xxxx.kr (QMN0)                     .00         .00         .00

버그였다.. 패치하던지 저 과정을 프로시저로 만들어서 잡으로 돌리던지 하자

관련 메타링크 정보
Queue Monitor process Memory Consumption increases due to a Leak [ID 233101.1]

테스트환경에서 우연찮게 발견한 현상이다.

OS: centos 5.6
oracle ver: 10.2.0.5

창을 두개 뜨우고 하나는 rman target / 로 접속했다.
다른 하나는 sqlplus 에서 shutdown immediate 를 실행했다.
아무리 시간이 지나도 shutdown이 되지 않는다.
얼럿로그에 다음과 같은 내용이 있다.

Shutting down instance (immediate)
Fri Mar 15 16:02:59 KST 2013
Shutting down instance: further logons disabled
Fri Mar 15 16:02:59 KST 2013
Stopping background process QMNC
Fri Mar 15 16:02:59 KST 2013
Stopping background process CJQ0
Fri Mar 15 16:03:01 KST 2013
Stopping background process MMNL
Fri Mar 15 16:03:02 KST 2013
Stopping background process MMON
License high water mark = 4
Fri Mar 15 16:03:03 KST 2013
Process OS id : 28767 alive after kill
Errors in file /oracle/admin/testdb/udump/testdb_ora_28754.trc
Fri Mar 15 16:03:06 KST 2013
Waiting for Job queue slaves to complete
Fri Mar 15 16:03:06 KST 2013
Job queue slave processes stopped
All dispatchers and shared servers shutdown

28767 OS process ID로 검색해보았다.
[oracle@centos5 testdb]$ ps -ef | grep 28767
oracle   28844 27374  0 16:04 pts/3    00:00:00 grep 28767
안나온다. rman target / 로 접속한걸 확인해봤다.
[oracle@centos5 testdb]$ ps -ef | grep rman
oracle   28789 27154  0 16:02 pts/2    00:00:00 rman target /
oracle   28861 27374  0 16:05 pts/3    00:00:00 grep rman

나온다. 하지만 PID가 틀리다.
트레이스파일 확인해보니
*** 2013-03-15 16:08:54.984
Process diagnostic dump for oracle@centos5.6x64 (TNS V1-V3), OS id=28796,
pid: 23, proc_ser: 2, sid: 144, sess_ser: 14
-------------------------------------------------------------------------------
loadavg : 0.98 0.76 0.40
Memory (Avail / Total) = 89.61M / 1504.47M
Swap (Avail / Total) = 2306.11M /  2306.20M
F S UID        PID  PPID  C PRI  NI ADDR SZ WCHAN  STIME TTY          TIME CMD
0 Z oracle   28796 28789  0  78   0 -     0 exit   16:02 ?        00:00:00 [oracle] <defunct>
 
계속 이 프로세스를 죽이려고 시도하고 있다.

해결방법: 결국 아래 두개 모두 같은 결과긴 하다.
1. rman 세션을 exit로 정상 종료한다.
2. ppid인 28789를 죽인다.