san_yun
- 浏览: 2663698 次
- 来自: 杭州
-
文章分类
- 全部博客 (1188)
- webwork (4)
- 网摘 (18)
- java (103)
- hibernate (1)
- Linux (85)
- 职业发展 (1)
- activeMQ (2)
- netty (14)
- svn (1)
- webx3 (12)
- mysql (81)
- css (1)
- HTML (6)
- apache (3)
- 测试 (2)
- javascript (1)
- 储存 (1)
- jvm (5)
- code (13)
- 多线程 (12)
- Spring (18)
- webxs (2)
- python (119)
- duitang (0)
- mongo (3)
- nosql (4)
- tomcat (4)
- memcached (20)
- 算法 (28)
- django (28)
- shell (1)
- 工作总结 (5)
- solr (42)
- beansdb (6)
- nginx (3)
- 性能 (30)
- 数据推荐 (1)
- maven (8)
- tonado (1)
- uwsgi (5)
- hessian (4)
- ibatis (3)
- Security (2)
- HTPP (1)
- gevent (6)
- 读书笔记 (1)
- Maxent (2)
- mogo (0)
- thread (3)
- 架构 (5)
- NIO (5)
- 正则 (1)
- lucene (5)
- feed (4)
- redis (17)
- TCP (6)
- test (0)
- python，code (1)
- PIL (3)
- guava (2)
- jython (4)
- httpclient (2)
- cache (3)
- signal (1)
- dubbo (7)
- HTTP (4)
- json (3)
- java socket (1)
- io (2)
- socket (22)
- hash (2)
- Cassandra (1)
- 分布式文件系统 (5)
- Dynamo (2)
- gc (8)
- scp (1)
- rsync (1)
- mecached (0)
- mongoDB (29)
- Thrift (1)
- scribe (2)
- 服务化 (3)
- 问题 (83)
- mat (1)
- classloader (2)
- javaBean (1)
- 文档集合 (27)
- 消息队列 (3)
- nginx，文档集合 (1)
- dboss (12)
- libevent (1)
- 读书 (0)
- 数学 (3)
- 流程 (0)
- HBase (34)
- 自动化测试 (1)
- ubuntu (2)
- 并发 (1)
- sping (1)
- 图形 (1)
- freemarker (1)
- jdbc (3)
- dbcp (0)
- sharding (1)
- 性能测试 (1)
- 设计模式 (2)
- unicode (1)
- OceanBase (3)
- jmagick (1)
- gunicorn (1)
- url (1)
- form (1)
- 安全 (2)
- nlp (8)
- libmemcached (1)
- 规则引擎 (1)
- awk (2)
- 服务器 (1)
- snmpd (1)
- btrace (1)
- 代码 (1)
- cygwin (1)
- mahout (3)
- 电子书 (1)
- 机器学习 (5)
- 数据挖掘 (1)
- nltk (6)
- pool (1)
- log4j (2)
- 总结 (11)
- c++ (1)
- java源代码 (1)
- ocr (1)
- 基础算法 (3)
- SA (1)
- 笔记 (1)
- ml (4)
- zokeeper (0)
- jms (1)
- zookeeper (5)
- zkclient (1)
- hadoop (13)
- mq (2)
- git (9)
- 问题，io (1)
- storm (11)
- zk (1)
- 性能优化 (2)
- example (1)
- tmux (1)
- 环境 (2)
- kyro (1)
- 日志系统 (3)
- hdfs (2)
- python_socket (2)
- date (2)
- elasticsearch (1)
- jetty (1)
- 树 (1)
- 汽车 (1)
- mdrill (1)
- 车 (1)
- 日志 (1)
- web (1)
- 编译原理 (1)
- 信息检索 (1)
- 性能，linux (1)
- spam (1)
- 序列化 (1)
- fabric (2)
- guice (1)
- disruptor (1)
- executor (1)
- logback (2)
- 开源 (1)
- 设计 (1)
- 监控 (3)
- english (1)
- 问题记录 (1)
- Bitmap (1)
- 云计算 (1)
- 问题排查 (1)
- highchat (1)
- mac (3)
- docker (1)
- jdk (1)
- 表达式 (1)
- 网络 (1)
- 时间管理 (1)
- 时间序列 (1)
- OLAP (1)
- Big Table (0)
- sql (1)
- kafka (1)
- md5 (1)
- springboot (1)
- spring security (1)
- Spring Boot (3)
- mybatis (1)
- java8 (1)
- 分布式事务 (1)
- 限流 (1)
- Shadowsocks (0)
- 2018 (1)
- 服务治理 (1)
- 设计原则 (1)
- log (0)
- perftools (1)
最新评论
-
siphlina：
课程——基于Python数据分析与机器学习案例实战教程分享网盘 ...
Python机器学习库 -
san_yun：
leibnitz 写道hi,我想知道,无论在92还是94版本, ...
hbase的行锁与多版本并发控制(MVCC) -
leibnitz：
hi,我想知道,无论在92还是94版本,更新时(如Puts)都 ...
hbase的行锁与多版本并发控制(MVCC) -
107x：
不错，谢谢！
Latent Semantic Analysis(LSA/ LSI)算法简介 -
107x：
不错，谢谢！
Python机器学习库
1. 原始场景再现：
该模块主要是客户端负责上传一个包含手机号码的txt，其中一行一个手机号码。服务端读取并解析该文件，解析过程中需要做有效性验证。例如：号码位数，是有效数字及是否在有效号段之内。最后保存数据到DB。
该包含手机号码文件数据在20W到200W之间。
2. 问题所在
在客户端上传20W数据的时候，后台相应很慢，查看后台的CPU及内存
mpstat -P ALL 1 //查看LINUX系统内存及CPU的消耗情况
发现CPU一直处在100%状态下，而且消耗的时间很长。近十分钟也没有回复到客户端。
该模块主要是客户端负责上传一个包含手机号码的txt，其中一行一个手机号码。服务端读取并解析该文件，解析过程中需要做有效性验证。例如：号码位数，是有效数字及是否在有效号段之内。最后保存数据到DB。
该包含手机号码文件数据在20W到200W之间。
2. 问题所在
在客户端上传20W数据的时候，后台相应很慢，查看后台的CPU及内存
mpstat -P ALL 1 //查看LINUX系统内存及CPU的消耗情况
发现CPU一直处在100%状态下，而且消耗的时间很长。近十分钟也没有回复到客户端。
分享到：
发表评论
相关推荐
在教育过程中，我们经常遇到一些具有特殊需求或问题的学生，他们可能因为种种原因在学习或心理上存在障碍，这类学生被称为特殊问题学生。他们可能在学业成绩上落后，或者在社交能力上有困难，甚至可能表现出孤僻或...
ssh2 一些错误问题的记录
如何使用问题步骤记录器？ 您可以使用问题步骤记录器自动捕捉在计算机上执行的步骤，包括点击的文本描述和每次点击操作之间的屏幕图片（称为屏幕快照）。捕捉这些步骤后，将其保存到一个文件，以便专业人员或其他人...
针对“服务器突发故障记录表”，我们可以详细分析其中涉及的关键知识点，并提供一些应对策略。 1. **故障发生时间**：记录故障发生的具体时间至关重要，因为它可以帮助我们了解故障的频率以及是否有特定的时间模式...
然而，如同任何电子产品一样，它可能会遇到一些故障，比如开机无声、屏幕亮红灯以及恢复键失效等问题。这些问题可能是由于软件错误或系统崩溃导致的，而解决这些问题通常需要对记录仪进行软件更新或恢复出厂设置。 ...
主要记录个人在进行后仿时的操作步骤和遇到的一些小问题，仅供个人记录，偶这个脑子哦
记录打羽毛球之中的一些问题_-
- 对于Exception，我们通常希望在ERROR或FATAL级别记录，因为它们代表了程序运行中的严重问题。 2. **记录Exception** - 当捕获到一个Exception时，可以使用`logger.error("message", e)`来记录，这里的`e`就是...
要把别人导出的全部MHT格式的聊天记录读出来，结果网上找的一些MHT转HTML的工具都不支持大的MHT格式的聊天记录转换，查了一下MHT的存储方式原理挺简单，就自己写了个，测试转换10G的MHT文件没问题。 使用说明: 该...
键盘记录器在IT领域中有多种用途，既有合法的应用，也有一些潜在的隐私侵犯和安全风险。在企业环境中，管理者可能使用键盘记录器来监控员工的工作效率，检测潜在的数据泄露，或者在进行系统故障排查时收集输入信息。...
在IT行业中，处理数据时经常会遇到重复记录的问题。在考勤系统或者其他任何数据库管理系统中，保持数据的唯一性和准确性是至关重要的。"过滤重复记录"就是解决这一问题的关键技术。以下将详细介绍过滤重复记录的方法...
如果【部分内容】能够提供相关的软件系统试运行记录信息，例如试运行的时间、地点、参与人员、运行的软件系统名称、试运行的目的、遇到的问题及解决方案等，那么我们可以针对这些信息讨论软件系统试运行过程中的具体...
以下是一些关于如何使用AE模板制作微信聊天记录视频的关键知识点： 1. **AE模板理解**：AE模板是预先设计好的动画项目，包含了各种预设的动画效果、文本样式和色彩方案。用户可以根据自己的需求调整这些元素，快速...
在日常使用电脑的过程中，遇到技术问题是在所难免的。特别是在Windows 7操作系统中，虽然它为用户提供...随着信息技术的不断发展，类似PSR这样强大的问题记录和分享工具将会更加普及，为我们的数字生活带来便捷和高效。
根据给定的部分内容，我们可以了解到行车记录仪升级的一些具体步骤： 1. **准备工具**：首先需要准备一个USB闪存盘，并确保其容量足够存储升级文件。例如，文件中提到“ԲʶUߣεUSBٽУȴ20”，推测可能是指需要...
4. **具体问题和答案**：记录表应详细记录面试官提出的问题和候选人的回答，这有助于回顾和比较不同候选人的表现。 5. **观察与备注**：面试官可以在此部分记录候选人的非语言行为，如肢体语言、表情、自信程度等，...
在问题描述中，错误发生是因为 `MESSAGE` 语句放置在了 `FOR EACH` 循环内部，但 `END.` 语句放在了错误的位置，导致循环提前结束，未正确处理所有循环中的记录。 5. **错误修正**： 要解决错误，应将 `END.` 移动...
要把别人导出的全部MHT格式的聊天记录读出来，结果网上找的一些MHT转HTML的工具都不支持大的MHT格式的聊天记录转换，查了一下MHT的存储方式原理挺简单，就自己写了个，测试转换10G的MHT文件没问题。 使用说明: 该...
本压缩包文件“记录学习mysql中遇到的一些问题，自己写的练习代码.zip”可能包含了一些作者在学习MySQL时解决的问题以及对应的练习代码，虽然没有具体的标签提供更多的信息，但我们可以从常见的学习路径和问题出发，...