针对应用服务器出现cpu持续异常高的情况，参照BEA工程师提供的方法，需要收集一些信息进行分析来查明是我们系统的原因还是weblogic的原因，或者是别的原因。
目前一直观察CPU使用情况，虽然现在还没有收集到真正要的信息，但可以先将方法整理出来，供大家参考。
操作方法：
1、在服务器上which dbx，如果有，可跳过此步，如果提供找不到，则需要安装aix第一张安装盘中的bos.adt软件包，附件中有安装的图解说明。
2、重新整理了bea提供的调整weblogic配置的地方，修改和补充的地方用颜色区分出来了，见附件weblogic改造文档(补充).doc
3、weblogic的启动文件startWebLogic.sh、startp.sh和startm.sh里要将原来加的 MEM_ARGS="-Xms768m -Xmx768m -Xrs"最后的-Xrs去掉，这个参数问过集成的李难俊，是系统信号什么的东东，具体不是很清楚，说只要不是手工发信号，去掉没什么影响。启动文件修改完，需要重启服务。
4、分析方法：见附件bea官网cpu占用高的分析 或者 去bea官方网站上的说明：
http://www.bea.com.cn/support_pattern/High_CPU_Usage_Pattern.html#AIX
注：1、如果没有去掉启动文件中的-Xrs，执行kill -3时，会将该进程直接杀死，并在服务器上产生一个core的二进制文件，该文件几百M，而且也无法进行分析。
2、官方网站上没说需要重复收集多次信息，用来进行比较分析，上次枣庄出现了后，只收集了一次信息，联系bea工程师，说一次不能进行比较分析，原因不一定是当时抓到的那个进程，需要多次进行比较。教训，所以大家在进行分析的时候，多执行几次
ps -mp <WLS_PID> -o THREAD 和 kill -3 <WLS_PID> ，多抛几个javacoreXXX.XXX.txt文件出来，该文件在你的域下面，如/beawlsp4/user_projects/domains/mydomain下，注意看看占用CPU高的是不是都是那(几)个进程。
5、系统使用速度慢的时候，还要同时观察数据库的情况，有时候造成cpu异常高也可能是因为开发人员写SQL的时候有些条件没有加上，或者没有有效利用索引造成的，当营销系统反应比较慢的时候，可以先查找一下数据库有没有锁表的语句：
SELECT /*+ rule */ S.USERNAME, DECODE(L.TYPE, 'TM', 'TABLE LOCK', 'TX', 'ROW LOCK', NULL)
LOCK_LEVEL, O.OWNER, O.OBJECT_NAME, O.OBJECT_TYPE, S.SID, S.SERIAL#, S.TERMINAL, S.MACHINE, S.PROGRAM, S.OSUSER
FROM V$SESSION S, V$LOCK L, DBA_OBJECTS O
WHERE L.SID = S.SID
AND L.ID1 = O.OBJECT_ID(+)
AND S.USERNAME IS NOT NULL;
根据锁表的SID在session中找到该进程，点sqltext就可以看见造成速度慢或者锁表的SQL语句。
或者按照李宗阳提供的方法：
登陆数据库服务器，并切换到oracle用户
sqlplus yykf
@$ORACLE_HOME/rdbms/admin/addmrpt.sql
会列出时间段，选择开始时间段和结束时间段
Enter value for begin_snap: 开始时间段
Begin Snapshot Id specified:
Enter value for end_snap: 截止时间段
End Snapshot Id specified:
Specify the Report Name
~~~~~~~~~~~~~~~~~~~~~~~
The default report file name is addmrpt_2_3113_3114.txt. To use this name,
press <return> to continue, otherwise enter an alternative.
Enter value for report_name: 输出文件名
该报告文件会将效率比较低的SQL语句分析出来。
bea官方网站上提供的方法：
http://www.bea.com.cn/support_pattern/High_CPU_Usage_Pattern.html#AIX
注意：多执行几次ps -mp <WLS_PID> -o THREAD 和 kill -3 <WLS_PID>，BEA工程师说，执行一次并不足以能查到真正的原因，教训！！！
当应用服务器CPU一直很高时，
执行： ps -mp <WLS_PID> -o THREAD 以查找正在占用 CPU 的 tid。
您应当查看“CP”列（表示 CPU 占用率），看其中哪些线程的此项值比较高并从中挑选一个线程。
通过执行以下命令对服务器进行 Thread Dump：
kill -3 <WLS_PID>
运行： dbx -a <WLS_PID>
在 dbx 中时，运行 dbx thread命令（以列出所有线程）。
查找与您通过 ps -mp <PID -o THREAD 命令获取的 TID 匹配的行。
该行中的号码应当采用“$t<NUM>”格式，其中“NUM”是一个号码。
在 dbx 中时，运行 dbx 命令 th info <TID>（此 TID 来自上一步骤，该步骤在 $t<NUM>后面列出号码）以获取关于该线程的信息。
从第 3 步骤的输出中，在“general”下查找“pthread_t”，并记录该十六进制号码。
非常重要说明：在 dbx 提示符下，您需要在完成操作时在 dbx 命令行键入“detach”，否则，如果您在连接到进程时只要一退出，dbx 将终止该进程！
记下“p_thread_t”输出中的十六进制值，并在 Thread Dump 中搜索其中哪个线程的“native ID”等于该值。
这将为您揭示造成高 CPU 占用率问题的线程。
确定为什么在您的代码中正在发生这个问题，或者，如果堆栈的最顶端输出来自 WebLogic，请与 BEA 客户支持部门联系。
下面是 AIX 系统中上述进程的一个示例：
ps -mp 250076 -o THREAD 将显示以下内容：
USER PID PPID TID ST CP PRI SC WCHAN F TT BND COMMAND
usera 250076 217266 - A 38 60 72 * 242011 pts/0 - /wwsl/sharedInstalls/aix/jdk130/...
- - - 315593 Z 0 97 1 - c00007 - - -
- - - 344305 S 0 60 1 f1000089c020e200 400400 - - -
- - - 499769 S 0 60 1 f1000089c0213a00 400400 - - -
- - - 540699 S 0 60 1 f100008790008440 8410400 - - -
- - - 544789 S 0 60 1 f100008790008540 8410400 - - -
- - - 548883 S 0 60 1 f100008790008640 8410400 - - -
- - - 552979 S 0 60 1 f100008790008740 8410400 - - -
- - - 565283 Z 0 60 1 - c00007 - - -
- - - 585783 S 0 60 1 f100008790008f40 8410400 - - -
- - - 589865 Z 0 80 1 - c00007 - - -
- - - 593959 S 1 60 1 f100008790009140 8410400 - - -
- - - 610365 S 0 60 1 f100008790009540 8410400 - - -
- - - 614453 S 0 60 1 f100008790009640 8410400 - - -
- - - 618547 S 0 60 1 f100008790009740 8410400 - - -
- - - 622645 S 0 60 1 f100008790009840 8410400 - - -
- - - 626743 S 0 60 1 f100008790009940 8410400 - - -
- - - 630841 S 0 60 1 f100008790009a40 8410400 - - -
- - - 634941 S 0 60 1 f100008790009b40 8410400 - - -
- - - 639037 S 0 60 1 f100008790009c40 8410400 - - -
- - - 643135 S 0 60 1 f100008790009d40 8410400 - - -
- - - 647233 S 0 60 1 f100008790009e40 8410400 - - -
- - - 651331 S 0 60 1 f100008790009f40 8410400 - - -
- - - 655429 S 0 60 1 f10000879000a040 8410400 - - -
- - - 659527 S 0 60 1 f10000879000a140 8410400 - - -
- - - 663625 S 0 60 1 f10000879000a240 8410400 - - -
- - - 667723 S 37 78 1 f1000089c020f150 400400 - - -
- - - 671821 S 0 60 1 f10000879000a440 8410400 - - -
- - - 675919 S 0 60 1 - 418400 - - -
- - - 680017 S 0 60 1 f10000879000a640 8410400 - - -
- - - 684115 S 0 60 1 f10000879000a740 8410400 - - -
- - - 688213 S 0 60 1 f10000879000a840 8410400 - - -
- - - 692311 S 0 60 1 f10000879000a940 8410400 - - -
- - - 696409 S 0 60 1 f10000879000aa40 8410400 - - -
- - - 712801 S 0 60 1 f10000879000ae40 8410400 - - -
- - - 716899 S 0 60 1 f10000879000af40 8410400 - - -
- - - 721011 S 0 60 1 f10000879000b040 8410400 - - -
- - - 725095 S 0 60 1 f10000879000b140 8410400 - - -
- - - 729193 S 0 60 1 f10000879000b240 8410400 - - -
- - - 733291 S 0 60 1 f10000879000b340 8410400 - - -
- - - 737389 S 0 60 1 f10000879000b440 8410400 - - -
- - - 741487 S 0 60 1 f10000879000b540 8410400 - - -
- - - 745585 S 0 60 1 f10000879000b640 8410400 - - -
- - - 749683 S 0 60 1 f10000879000b740 8410400 - - -
- - - 753781 S 0 60 1 f10000879000b840 8410400 - - -
- - - 757879 S 0 60 1 f10000879000b940 8410400 - - -
- - - 761977 S 0 60 1 f10000879000ba40 8410400 - - -
- - - 766075 S 0 60 1 f10000879000bb40 8410400 - - -
- - - 770173 S 0 60 1 f10000879000bc40 8410400 - - -
- - - 774271 Z 0 60 1 - c00007 - - -
- - - 778373 S 0 60 1 f10000879000be40 8410400 - - -
- - - 782467 S 0 60 1 f10000879000bf40 8410400 - - -
- - - 786565 S 0 60 1 f10000879000c040 8410400 - - -
- - - 790663 S 0 60 1 f10000879000c140 8410400 - - -
- - - 794761 S 0 60 1 f10000879000c240 8410400 - - -
- - - 798859 S 0 60 1 f10000879000c340 8410400 - - -
- - - 802957 S 0 60 1 f10000879000c440 8410400 - - -
- - - 807055 S 0 60 1 f10000879000c540 8410400 - - -
- - - 811153 S 0 60 1 f10000879000c640 8410400 - - -
- - - 815253 S 0 60 1 f10000879000c740 8410400 - - -
- - - 819357 S 0 60 1 f10000879000c840 8410400 - - -
- - - 823447 S 0 60 1 f10000879000c940 8410400 - - -
- - - 827545 S 0 60 1 f10000879000ca40 8410400 - - -
- - - 831643 S 0 60 1 f10000879000cb40 8410400 - - -
- - - 835741 S 0 60 1 f10000879000cc40 8410400 - - -
- - - 839839 S 0 60 1 f10000879000cd40 8410400 - - -
- - - 843937 S 0 60 1 f10000879000ce40 8410400 - - -
- - - 848037 S 0 60 1 f10000879000cf40 8410400 - - -
- - - 852135 S 0 60 1 f10000879000d040 8410400 - - -
- - - 856257 S 0 60 1 f10000879000d140 8410400 - - -
- - - 868527 S 0 60 1 f10000879000d440 8410400 - - -
- - - 872623 S 0 60 1 f10000879000d540 8410400 - - -
- - - 876725 S 0 60 1 f10000879000d640 8410400 - - -
通过 kill -3 <WLS_PID> 进行该 WLS_PID 的 Thread Dump
检查 ps -mp <WLS_PID> -o THREAD命令所输出的信息。
注意，TID "667723" 在 CP 列中有一个高值（它达到“37”，而其它 TID 几乎为 0）。
运行 dbx -a 250076以连接到 WebLogic Server 进程。
运行 thread 命令以列出所有本地线程。
下面只显示相关线程的一个代码片断：
thread state-k wchan state-u k-tid mode held scope function
.....
$t15 wait 0xf10000879000a140 blocked 659527 k no sys _event_sleep
$t16 wait 0xf10000879000a240 blocked 663625 k no sys _event_sleep
$t17 run running 667723 k no sys JVM_Send
$t18 wait 0xf10000879000a440 blocked 671821 k no sys _event_sleep
$t19 wait running 675919 k no sys poll
$t20 wait 0xf10000879000a640 blocked 680017 k no sys _event_sleep
.....
运行 th info 17 命令以获取关于该本地线程的必要信息：
(dbx) th info 17
thread state-k wchan state-u k-tid mode held scope function
$t17 run running 667723 k no sys JVM_Send
general:
pthread addr = 0x3ea55c68 size = 0x244
vp addr = 0x3e69e5e0 size = 0x2a8
thread errno = 2
start pc = 0x300408b0
joinable = no
pthread_t = 1011
scheduler:
kernel =
user = 1 (other)
event :
event = 0x0
cancel = enabled, deferred, not pending
stack storage:
base = 0x3ea15000 size = 0x40000
limit = 0x3ea55c68
sp = 0x3ea55054
非常重要说明：在 dbx 提示符下运行“detach”以从 WebLogic 进程中分离。
记下上述“pthread_t”的数值，并用来查找 WebLogic Server 进程的 Thread Dump 中的正确线程。
从早期进行的 Thread Dump 中，您可以将十六进制号码“1011”与 Thread Dump 中在“native ID”之后的号码进行匹配。
下面是匹配此十六进制号码并造成高 CPU 占用率问题的线程示例：
"ExecuteThread: '11' for queue: 'default'" (TID:0x31cf86d8, sys_thread_t:0x3e5ea108, state:R, native ID:0x1011) prio=5
at java.net.SocketOutputStream.socketWrite(Native Method)
at java.net.SocketOutputStream.write(SocketOutputStream.java(Compiled Code))
at weblogic.servlet.internal.ChunkUtils.writeChunkTransfer(ChunkUtils.java(Compiled Code))
at weblogic.servlet.internal.ChunkUtils.writeChunks(ChunkUtils.java(Compiled Code))
at weblogic.servlet.internal.ChunkOutput.flush(ChunkOutput.java(Compiled Code))
at weblogic.servlet.internal.ChunkOutput.checkForFlush(ChunkOutput.java(Compiled Code))
at weblogic.servlet.internal.ChunkOutput.write(ChunkOutput.java(Compiled Code))
at weblogic.servlet.internal.ChunkOutput.write(ChunkOutput.java(Compiled Code))
at weblogic.servlet.internal.ChunkOutputWrapper.write(ChunkOutputWrapper.java(Compiled Code))
at weblogic.servlet.internal.ChunkWriter.write(ChunkWriter.java(Compiled Code))
at java.io.Writer.write(Writer.java(Compiled Code))
at java.io.PrintWriter.write(PrintWriter.java(Compiled Code))
at java.io.PrintWriter.write(PrintWriter.java(Compiled Code))
at java.io.PrintWriter.print(PrintWriter.java(Compiled Code))
at java.io.PrintWriter.println(PrintWriter.java(Compiled Code))
at examples.servlets.HelloWorldServlet.service(HelloWorldServlet.java(Compiled Code))
at javax.servlet.http.HttpServlet.service(HttpServlet.java:853)
at weblogic.servlet.internal.ServletStubImpl$ServletInvocationAction.run(ServletStubImpl.java:1058)
at weblogic.servlet.internal.ServletStubImpl.invokeServlet(ServletStubImpl.java:401)
at weblogic.servlet.internal.ServletStubImpl.invokeServlet(ServletStubImpl.java:306)
at weblogic.servlet.internal.WebAppServletContext$ServletInvocationAction.run(WebAppServletContext.java:5445)
at weblogic.security.service.SecurityServiceManager.runAs(SecurityServiceManager.java(Compiled Code))
at weblogic.servlet.internal.WebAppServletContext.invokeServlet(WebAppServletContext.java:3105)
at weblogic.servlet.internal.ServletRequestImpl.execute(ServletRequestImpl.java:2588)
at weblogic.kernel.ExecuteThread.execute(ExecuteThread.java(Compiled Code))
at weblogic.kernel.ExecuteThread.run(ExecuteThread.java:189)
----- Native Stack -----
sysSend
JVM_Send
Java_java_net_SocketOutputStream_socketWrite
确定为什么在您的代码中正在发生这个问题，或者，如果堆栈的最顶端输出来自 WebLogic，请与 BEA 客户支持部门联系。
