- 当前位置：首页 >数据库 >神秘的偶发服务超时，原因可能是那些坏邻居
神秘的偶发服务超时，原因可能是那些坏邻居
发布时间：2025-11-05 09:42:46 来源：创站工坊 作者：人工智能
1. 恶邻A君
唯品会在服务化体系改造的神秘时原初期，一个对延时敏感的发服应用，偶然会发生一些超时，坏邻事发当时zabbix分钟级监控，神秘时原dstat秒级监控的发服服务器指标都正常，应用，坏邻数据库，神秘时原缓存，发服网络也正常，坏邻那这是神秘时原为什么呢?
某天脑洞大开，把怀疑的发服目光投向了在后台运行日志收集程序Flume，发现它的坏邻GC运行得比较狂野，于是神秘时原对它的GC线程数做了限制：
修改前：15分钟内， 大于30ms的发服业务调用173次， 大于50ms的坏邻23次 修改后： 246分钟内，大于30ms的业务调用41次， 大于50ms的4次2. 恶邻B君
又过了若干个月，又有某些应用，又开始抽风。这次相对好查一些，因为我们新升级了服务器的监控系统，源码库只要在两台机器上做一下对比测试就好了。 只花了一个晚上，基本就能验明凶手了。
那这个新升级的监控系统，又是怎么影响到主应用的呢?找出它与应用有交互的部分，原来对于JVM的各种线程数信息，堆内存各代的信息，每拿一个数据都会启动一次JMX Client，所以每分钟都有一秒要连拿7个数据，启动7个JMX Client。
改进方法很简单，我们自己定制了一下JMX Client，将7个数据合并在一个命令里获得，另外定制了一下JMX Client的JVM参数，将它启动的动静尽量减少。
3. 逆优化
可见，JVM是个运行服务端应用的好VM，但体量有点大。如果你只是想频繁地运行一段Java写的脚本，或者在跑一些辅助性的程序比如监控和日志收集，b2b供应网往常推荐的JVM参数也就不再合适里，需要进行逆优化才能做个安静的好邻居：
启动快速，动静小。 低成本，节约CPU、内存和线程。 低扰动，不干扰主应用的运行。4. 从失败的取经开始
***时间，觉得和JDK自带的jmap，jstack们用一样的参数就好了，多简单。
在它们运行时，跑jps -v ，结果发现通通只有一个-Xms8m 。
还不死心，又去翻源码，JDK7在 Makefile.launcher，JDK8在CompileLaunchers.gmk，结果发现全部8M，通通8M，再没别的参数了。
有同学又从久远的记忆中想起一个-client，感觉也是比较弱气的亿华云选项，但在这个多核的64位Linux服务器上是根本无效的，一定是-server，必须是-server。
5. 逆优化的思路
JVM与上述诉求相冲的几个地方：
各种吃内存 各种后台线程 JIT时CPU表现狂野 GC时CPU表现狂野 那我们就从这几个方面着手。在开始折腾前，先准备好测试手段：
首先，给工具脚本配上GC 日志参数，在GC日志里就能看到实际启动参数，GC纪录，以及运行结束时内存各代的占用。
-Xloggc:gc.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintGCApplicationStoppedTime
其次，长期跑一个 pidstat -l 1| grep xxx ，紧密监控进程的CPU消耗。
***，jstack看线程。
6. 类的加载和编译优化
6.1 -Xverify:none
来自优化Eclipse启动速度的经验，说关闭Java类加载验证可以加快10% -15%的启动速度，嗯，好，加。
6.2 设定编译级别
JIT编译之后的代码比解释执行字节码更快，更省CPU。比如vjtools里的vjtop，没编译时每回运行要50%单核CPU，75ms执行完一个探测循环，而编译后10%单核，15ms就能完工。
但编译本身就需要CPU，也需要额外的编译线程。
如果脚本只简单的跑一次，比如vjtools里的vjmxcli，建议就不要进行JIT编译了，编译完了也用不上，直接解释执行就好。禁止它：-Djava.compiler=NONE
如果脚本用于密集计算，比如vjtools里的vjmap，则建议打开多层编译，一开始就对运行到的方法进行静态编译，不用等方法被调用1万次。多层编译在JDK8默认打开，显式打开：-XX:+TieredCompilation。
但打开多层编译也会导致程序运行初期有较多的编译任务，吃比较多的CPU，可以显式关掉多层编译 -XX:-TieredCompilation来对比一下，综合其带来的性能提升，脚本的运行时间的长短，以及额外的CPU支出来综合评价。
6.3 编译线程的设定
在24核服务器上，默认有4条C1编译线程，8条C2编译线程(多层编译下)，可以把它设到最小的-XX:CICompilerCount=2。
6.4 未来黑科技-AOT
JIT真的不适合脚本，还是预先把代码编译(Ahead-of-Time，AOT) 更好。 JDK9里有一个Hotspot编译器组搞的试验性的jaotc，另一个选择是GraalVM全家桶里带的SubstrateVM，支持JDK8。
看各位大大炫，但我还没玩过。
7. GC 优化
脚本们一般不介意GC延时，建议使用吞度量最的串行收集算法 -XX:+UseSerialGC，避免了其他GC算法所需的大量GC线程，更绝对保证了自己GC时不会影响到主应用。
如果依然想使用并行算法，就一定要设置GC线程数，在24核机器上YGC和CMS GC的线程数默认分别是18和5，为了避免成为恶邻A君。可设为：
-XX:ParallelGCThreads=4 -XX:ConcGCThreads=2
8. 内存优化
首先，JVM的堆内存 默认的JVM初始内存大小，在大内存的服务器上会比较大，必须设置。 -Xms 与 -Xmx 不等时， 自动扩张并没有想象中那么智能和合理。 新生代默认只有1/3堆大小，而在脚本看来新生代才是大头。建议根据GC日志的结果，完整设置-Xms 和 -Xmx，并用-Xmn(新生代占大头) 或-XX:NewRatio=1(一半半) 来设置新生代大小。
其次，每条线程的内存，从默认1M回到256k: -xss256k
其他***代，CodeCache的初始值还算合理，没看到特别浪费的情况不用管。
- 黑色iPadPro12.9（探索黑科技的极致表现，黑色iPadPro12.9给你前所未有的体验）
- 太可怕了，朋友圈晒完自拍后你绝对想不到的事情，正在发生！
- 用Python画一个中国地图
- 10行Python代码创建可视化地图
- 电脑无法启动的常见错误及解决方法（排除故障，让电脑重获生机）
- 利用socket.io实现消息实时推送
- DDD CQRS架构和传统架构的优缺点比较
- 监控平台前端SDK开发实践
- 常见的Flash播放器插件安装是这样的：复制代码代码如下:sudo ln -fs /usr/lib/adode-flashplugin/libflashplayer.so /usr/lib/mozilla/plugins/libflashplayer.so 5.重启firefox，即可。BUT....复制代码代码如下:E:无法获得锁/var/lib/dpkg/lock- open (11:资源暂时不可用)复制代码代码如下:sudo rm -rf /var/cache/apt/archives/lock复制代码代码如下:E: dpkg 被中断，您必须手工运行 sudo dpkg --configure -a 解决此问题。既然系统给出了这样的提示，那咱照大爷说的办呗，所以老老实实运行：复制代码代码如下:sudo dpkg --configure -a结果却是：我可以说脏话吗？嗯，不能吗？好吧，继续想办法解决问题！头痛医头脚痛医脚，这里我当时有两条思路。第一是结束掉dpkg的进程，然后再次运行sudo dpkg --configure -a，结果当然是失败告终。所以还是得从卸载掉之前安装的flashplugin下手，值得注意的是，这里并不是运行系统提示我们运行的sudo dpkg --configure -a，而是sudo dpkg -r flashplugin-installer，所以运行：复制代码代码如下:sudo dpkg -r flashplugin-installer但是这时显示：复制代码代码如下:dpkg: error: dpkg status database is locked by another process神马！你又被锁定了？so，老办法搞定它！搞定之后需要再次执行未成功的卸载命令复制代码代码如下:sudo rm -rf /var/lib/dpkg/lock复制代码代码如下:ps -af | grep dpkg这时可以看到dpkg的具体进程信息：复制代码代码如下:root 4439 4427 0 01:42 pts/3 00:00:00 /bin/sh /var/lib/dpkg/info/update-notifier-common.postinst configure 0.119ubuntu8.1 ray 4659 3635 0 01:42 pts/4 00:00:00 grep --color=auto dpkg抓住它就不要放过它！捉住干掉，执行：复制代码代码如下:sudo kill -9 4439至此，卸载工作就算是成功告终了，下面步入安装flashplugin的正轨。首先去Adobe官网下载复制代码代码如下:cd /home/aa/Downloads复制代码代码如下:sudo cp -r usr/* /usrsudo cp libflashplayer.so /usr/lib/firefox/plugins/这时候已经完成了复制工作，可以使用sudo vim /usr/lib/firefox/plugins/libflashplayer.so来验证是否完成了动作，假如看到了一堆的乱码，那就是成功完成了步骤。输入:q即可退出vim。
- 软件架构的视角，视点及利益相关者
- 魅族5s安卓系统的优势与特点（探索魅族5s安卓系统的功能与性能）
- 一个有趣的计算机系统问题---判断栈的增长方向
- 如何从一名软件工程师转行做人工智能？
- 线上服务CPU100%问题快速定位实战
- 徕卡S70.2.5（一次性的拍摄体验）
- Keras+OpenAI强化学习实践：深度Q网络
- 20个非常有用的Java程序片段
- 大前端公共知识杂谈
- 技巧一、用命令行往文件的顶部添加文字每次我都会重新寻找这个命令的写法。下面就是如何使用sed往一个文件顶部添加一行的方法：复制代码代码如下: sed -i 1s/^/line to insertn/ path/to/file/you/want/to/change.txt技巧二、用命令行往配置文件里插入多行文本这种方法非常简单，很多人都知道，下面就是如何用命令行将(>>)多行文本插入一个文件中。这里使用的是“here document”语法，它能让你通过块文本符号来将段落插入文件中，通常用的符合是EOF(意思是 “End Of File”):复制代码代码如下:cat >>path/to/file/to/append-to.txt << EOF export PATH=$HOME/jdk1.8.0_31/bin:$PATH export JAVA_HOME=$HOME/jdk1.8.0_31/ EOF两个”EOF“之间的所有内容都会被添加到文件中。技巧三、用命令行递归方式全局搜索目录文件和替换假如你使用Eclipse，ItelliJ或其它IDE，这些工具的强大重构能力也许会让你轻松实现很多事情。但我估计很多时候你的开发环境中没有这样的集成工具。如何使用命令行对一个目录进行递归搜索和替换？别想Perl语言，你可以使用find and sed。复制代码代码如下:# OSX version find . -type f -name *.txt -exec sed -i s/this/that/g {} +使用了一段时间后，我总结写出了一个函数，添加入了 .bashrc ，就像下面这样：复制代码代码如下:function sr { find . -type f -exec sed -i s/$1/$2/g {} +}你可以像这样使用它：复制代码代码如下:sr wrong_word correct_word技巧四、用命令行在vim和Dropbox里开启一个临时文件我过去喜欢用Emacs里的scratch facility功能。也经常用Vim快速创建临时文件。下面这两个函数是使用openssl生成随机的字符串作为文件名：复制代码代码如下:function sc { gvim ~/Dropbox/$(openssl rand -base64 10 | tr -dc a-zA-Z).txt } function scratch { gvim ~/Dropbox/$(openssl rand -base64 10 | tr -dc a-zA-Z).txt }在命令行窗口输入sc或scratch，一个新的gvim或macvim窗口就会弹出来，里面会加载一个随机文件名的临时文件。技巧五、用命令行下载文件，支持链接转向、HTTPS和安全加密等情况下载一个页面输出到终端，跟随链接转向，忽略安全异常：复制代码代码如下:curl -Lks 下载一个链接，跟随链接转向，忽略安全异常： [/code]curl -OLks 这里用了很多参数，你可以阅读这个简单的curl文档来了解它们。技巧六、Bashmarks你还没有在.bashrc里使用bashmarks吗？还在等待什么？它真的非常有用。它能帮你保持历史操作，跳回到你经常使用的目录。下面是我的配置文件里脚本，但我想上面的链接能提供你更多技巧：复制代码代码如下: # USAGE: # s bookmarkname - saves the curr dir as bookmarkname # g bookmarkname - jumps to the that bookmark # g b[TAB] - tab completion is available # l - list all bookmarks # save current directory to bookmarks touch ~/.sdirs function s { cat ~/.sdirs | grep -v export DIR_$1= >~/.sdirs1 mv ~/.sdirs1 ~/.sdirs echo export DIR_$1=$PWD >>~/.sdirs } # jump to bookmark function g { source ~/.sdirs cd $(eval $(echo echo $(echo $DIR_$1))) } # list bookmarks with dirnam function l { source ~/.sdirs env | grep ^DIR_ | cut -c5- | grep ^.*= } # list bookmarks without dirname function _l { source ~/.sdirs env | grep ^DIR_ | cut -c5- | grep ^.*= | cut -f1 -d = } # completion command for g function _gcomp { local curw COMPREPLY=() curw=${COMP_WORDS[COMP_CWORD]} COMPREPLY=($(compgen -W `_l` -- $curw)) return 0 } # bind completion command for g to _gcomp complete -F _gcomp g技巧七、从格式化输出里提取一列(我最常使用的awk技巧)我几乎天天都会使用它。真的。经常会有一些输出，我只需要其中的第二列，或第三列，下面这个命令就能做到这些：复制代码代码如下:#Sample output of git status -s command: $ git status -s M .bashrc .vim/bundle/extempore/ # Remove status code from git status and just get the file names $ git status -s | awk {print $2} .bashrc .vim/bundle/extempore/为什么不写个函数，让我们随时都可以用呢？复制代码代码如下: function col { awk -v col=$1 {print $col} }这使得提取列非常容易，比如，你不想要第一列？简单：复制代码代码如下:$ git status -s | col 2 .bashrc .vim/bundle/extempore/技巧八、忽略头x个词我对xargs很着迷，我感觉它就像一把快刀。但有时候用它获得的结果需要调整一下，也许需要取得一些值。例如，你想去掉下面文件影像里的一些信息：复制代码代码如下:function skip { n=$(($1 + 1)) cut -d -f$n- }下面是如何使用它： 使用 docker images 得到下面的输出：复制代码代码如下:$ docker images REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE 65a9e3ef7171 3 weeks ago 1.592 GB 7c01ca6c30f2 3 weeks ago 11.1 MB 9518620e6a0e 3 weeks ago 7.426 MB 430707ee7fe8 3 weeks ago 7.426 MB boot2docker/boot2docker latest 1dbd7ebffe31 3 weeks ago 1.592 GB spaceghost/tinycore-x86_64 5.4 f47686df00df 7 weeks ago 11.1 MB durdn/bithub latest df1e39df8dbf 8 weeks ago 100.9 MB c5e6cf38d985 8 weeks ago 100.9 MB nginx latest e426f6ef897e 12 weeks ago 100.2 MB zoobab/tinycore-x64 latest 8cdd417ec611 8 months ago 7.426 MB scratch latest 511136ea3c5a 20 months ago 0 B 使用上面的函数，你可以获取所有的IDs：复制代码代码如下:$ docker images | col 3 IMAGE 65a9e3ef7171 7c01ca6c30f2 9518620e6a0e 430707ee7fe8 1dbd7ebffe31 f47686df00df df1e39df8dbf c5e6cf38d985 e426f6ef897e 8cdd417ec611 511136ea3c5a 进一步处理：复制代码代码如下:docker images | col 3 | xargs IMAGE 65a9e3ef7171 7c01ca6c30f2 9518620e6a0e 430707ee7fe8 1dbd7ebffe31 f47686df00df df1e39df8dbf c5e6cf38d985 e426f6ef897e 8cdd417ec611 511136ea3c5a 但前面的”IMAGE”字符我也想去掉：复制代码代码如下:docker images | col 3 | xargs | skip 1 65a9e3ef7171 7c01ca6c30f2 9518620e6a0e 430707ee7fe8 1dbd7ebffe31 f47686df00df df1e39df8dbf c5e6cf38d985 e426f6ef897e 8cdd417ec611 511136ea3c5a 完整的写下来就是这样：复制代码代码如下:docker rmi $(docker images | col 3 | xargs | skip 1)技巧九、创建自己的命令包在bash里，你可以很容易的创建自己的命令组件，你可以看一下下面我写的：复制代码代码如下: function dur { case $1 in clone|cl) git clone git@bitbucket.org:nicolapaolucci/$2.git ;; move|mv) git remote add bitbucket git@bitbucket.org:nicolapaolucci/$(basename $(pwd)).git git push --all bitbucket ;; trackall|tr) #track all remote branches of a project for remote in $(git branch -r | grep -v master ); do git checkout --track $remote ; done ;; key|k) #track all remote branches of a project ssh $2 mkdir -p .ssh && cat >>.ssh/authorized_keys < ~/.ssh/id_rsa.pub ;; fun|f) #list all custom bash functions defined typeset -F | col 3 | grep -v _ | xargs | fold -sw 60 ;; def|d) #show definition of function $1 typeset -f $2 ;; help|h|*) echo [dur]dn shell automation tools echo commands available: echo [cl]one, [mv|move] echo [f]fun lists all bash functions defined in .bashrc echo [def] lists definition of function defined in .bashrc echo [k]ey copies ssh key to target host echo [tr]ackall], [h]elp ;; esac }通过上面的脚本，我可以将ssh key拷贝到任何网站服务器——只需要键入 dur key user@somehost.总结你可以试一下我的这个.bashrc文件，或你自己也可以写一个。
- 从环境设置到内存分析：Python代码优化指南
随便看看
- Copyright © 2025 Powered by 神秘的偶发服务超时，原因可能是那些坏邻居,创站工坊 滇ICP备2023006006号-44sitemap