dannyhz
- 浏览: 395447 次
- 性别:
- 来自: 杭州
-
文章分类
- 全部博客 (760)
- 股票日志 (26)
- Selenium (0)
- selenium 2 环境的搭建 (1)
- 并发 (7)
- 框架开发 (1)
- 动态代理 (2)
- Struts2 (2)
- POI (2)
- jdk (3)
- maven (31)
- spring (35)
- mysql (31)
- 工作机会 (3)
- xtream (1)
- oracle dbms_metadata GET_DDL (0)
- SSI (1)
- DB (61)
- powermock (4)
- java 基础 (25)
- 多线程 (11)
- 高手 (2)
- java 底层 (2)
- 专业网站 (1)
- 开发联想 (1)
- 开发联想 (1)
- bat文件 (2)
- 清queue 语句 (1)
- 清queue 语句 (1)
- jquery (7)
- html5 (1)
- Jenkins (10)
- Linux (17)
- 工作issue (2)
- tomcat log (3)
- jvm (23)
- 项目细节 (0)
- oracle (41)
- 泛型 (3)
- 新知识点 (1)
- 数据库ddl 语句 (0)
- AQ (2)
- jms (0)
- 网络资源 (6)
- github (6)
- Easymock (1)
- Dom 解析XML (1)
- windows命令 (2)
- java (7)
- 正则表达式 (5)
- sequence (1)
- oracle 表meta信息 (1)
- 小工具技巧 (1)
- 辅助工具 (1)
- Junit (1)
- 泛型 generic (2)
- Java程序设计 (1)
- cglib (2)
- 架构师之路 (1)
- 数据库连接池 (5)
- c3p0 (1)
- eclipse使用 (1)
- oracle sql plus (1)
- 码农人生 (3)
- SVN (15)
- sqlplus (2)
- jsoup (1)
- 网络爬虫 (2)
- 新技能 (1)
- zookeeper (4)
- hadoop (1)
- SVNKIT (1)
- 从工具到知识点的整理 (1)
- log4j (13)
- 读文件 (0)
- 转义字符 (1)
- command (1)
- web service (3)
- 锁 (1)
- shell 脚本 (1)
- 遇到的错误 (2)
- tomcat (14)
- 房产 (5)
- bootstrap jquery ui (1)
- easyui (2)
- 个人征信 (1)
- 读写分离 (1)
- 备份 (1)
- rmi (6)
- webservice (1)
- JMX (4)
- 内存管理 (3)
- java设计 (1)
- timer (1)
- lock (2)
- concurrent (2)
- collection (1)
- tns (1)
- java基础 (15)
- File (1)
- 本机资源 (1)
- bat (1)
- windows (4)
- 数据结构 (3)
- 代码安全 (1)
- 作用域 (1)
- 图 (2)
- jvm内存结构 (1)
- 计算机思想 (1)
- quartz (6)
- Mongo DB (2)
- Nosql (4)
- sql (5)
- 第三方Java 工具 jar 项目 (2)
- drools (1)
- java swing (2)
- 调用console (1)
- runtime (1)
- process (1)
- swing (2)
- grouplayout (1)
- dubbo (0)
- bootstrap (0)
- nodejs (2)
- SVN hooks (1)
- jdbc (3)
- jdbc error (1)
- precedure (1)
- partition_key (1)
- active mq (1)
- blob (2)
- Eclipse (6)
- web server (1)
- bootstrapt (2)
- struts (1)
- ajax (1)
- js call back (1)
- 思想境界拓展 (1)
- JIRA (1)
- log (1)
- jaxb (3)
- xml java互相转换 (1)
- 装修 (2)
- 互联网 (2)
- threadlocal (3)
- mybatis (22)
- xstream (1)
- 排序 (1)
- 股票资源 (1)
- RPC (2)
- NIO (3)
- http client (6)
- 他人博客 (1)
- 代理服务器 (1)
- 网络 (2)
- web (1)
- 股票 (5)
- deadlock (1)
- JConsole (2)
- activemq (3)
- oralce (1)
- 游标 (1)
- 12月13日道富内部培训 (0)
- grant (1)
- 速查 (2)
- classloader (4)
- netty (4)
- 设计模式 (2)
- 缓存 (2)
- ehcache (2)
- framework (1)
- 内存分析 (2)
- dump (1)
- memory (2)
- 多高线程，并发 (1)
- hbase (2)
- 分布式系统 (1)
- socket (3)
- socket (1)
- 面试问题 (1)
- jetty (2)
- http (2)
- 源码 (1)
- 日志 (2)
- jni (1)
- 编码约定 (1)
- memorycache (1)
- redis (13)
- 杂谈 (1)
- drool (1)
- blockingqueue (1)
- ScheduledExecutorService (1)
- 网页爬虫 (1)
- httpclient (4)
- httpparser (1)
- map (1)
- 单例 (1)
- synchronized (2)
- thread (1)
- job (1)
- hashcode (1)
- copyonwriteArrayList (2)
- 录制声音 (1)
- java 标准 (2)
- SSL/TLS (1)
- itext (1)
- pdf (1)
- 钻石 (2)
- sonar (1)
- unicode (1)
- 编码 (4)
- html (1)
- SecurityManager (1)
- 坑 (1)
- Restful (2)
- svn hook (1)
- concurrentHashMap (1)
- 垃圾回收 (1)
- vbs (8)
- visual svn (2)
- power shell (1)
- wmi (3)
- mof (2)
- c# (1)
- concurrency (1)
- 劳动法 (1)
- 三国志游戏 (2)
- 三国 (1)
- 洪榕 (2)
- 金融投资知识 (1)
- motan (1)
- tkmybatis mapper (1)
- 工商注册信息查询 (1)
- consul (1)
- 支付业务知识 (2)
- 数据库备份 (1)
- 字段设计 (1)
- 字段 (1)
- dba (1)
- 插件 (2)
- PropEdit插件 (1)
- web工程 (1)
- 银行业知识 (2)
- 国内托管银行 (1)
- 数据库 (1)
- 事务 (2)
- git (18)
- component-scan (1)
- 私人 (0)
- db2 (14)
- alias (1)
- 住房 (1)
- 户口 (1)
- fastjson (1)
- test (6)
- RSA (2)
- 密钥 (1)
- putty (1)
- sftp (1)
- 加密 (1)
- 公钥私钥 (3)
- markdown (1)
- sweet (1)
- sourcetree (1)
- 好工具 (1)
- cmd (1)
- scp (1)
- notepad++ (1)
- ssh免密登录 (1)
- https (1)
- ssl (2)
- js (2)
- h2 (1)
- 内存 (2)
- 浏览器 (1)
- js特效 (1)
- io (1)
- 乱码 (1)
- 小工具 (1)
- 每周技术任务 (1)
- mongodb (7)
- 内存泄漏 (1)
- 码云 (2)
- 如何搭建java 视频服务器 tomcat (1)
- 资源 (1)
- 书 (1)
- 四色建模法 (1)
- 建模 (1)
- 配置 (1)
- 职位 (1)
- nginx (1)
- excel (1)
- log4j2 (2)
- 做菜 (1)
- jmap (1)
- jspwiki (1)
- activiti (1)
- 工作流引擎 (1)
- 安卓 (1)
- acitviti 例子 (1)
- 二维码 (1)
- 工作流 (1)
- powerdesign (2)
- 软件设计 (1)
- 乐观锁 (1)
- 王者荣耀 (1)
- session (2)
- token (5)
- cookie (4)
- springboot (24)
- jwt (2)
- 项目路径 (1)
- magicbook (1)
- requestType (1)
- json (2)
- swagger (1)
- eolinker (1)
- springdata (1)
- springmvc (1)
- controlleradvice (1)
- profile (1)
- 银行四要素 (1)
- 支付人员资源 (1)
- 支付渠道 (1)
- yaml (1)
- 中文编码 (1)
- mongo (2)
- serializable (1)
- 序列化 (1)
- zyd (1)
- unittest (1)
- 工具 (1)
- Something (1)
- 通达信 (1)
- protobuf (1)
- 算法 (1)
- springcloud (2)
- hikari (1)
- rocketmq (7)
- cachecloud (1)
- serfj (1)
- axure (1)
- lombok (1)
- 分布式锁 (1)
- 线程 (2)
- 同步代码块 (1)
- cobar (1)
- mq (1)
- rabbitmq (1)
- 定时执行 (1)
- 支付系统 (3)
- 唱歌 (1)
- elasticjob (1)
- 定时任务 (1)
- 界面 (1)
- flink (2)
- 大数据 (1)
- 接私活 (0)
- 内部培训 (2)
最新评论
-
dannyhz：
做股票从短线 试水，然后 慢慢发现 波段和 中期的故事可挖， ...
搭台唱戏 -
dannyhz：
http://developer.51cto.com/art/ ...
如何自己开发框架 它的注意点是什么
相关推荐
### Spark RPC 简单代码实现详解 #### Spark RPC 概念与实现思路 Spark RPC（Remote Procedure Call，远程过程调用）是Spark 2.x版本之后引入的一种新的分布式通信机制，取代了早期版本中使用的Akka框架。Spark ...
SparkRPC层是基于优秀的网络通信框架Netty设计开发的，同时获得了Netty所具有的网络通信的可靠性和高效性。我们先把Spark中与RPC相关的一些类的关系梳理一下，为了能够更直观地表达RPC的设计，我们先从类的设计来看...
标题中的“基于 Spark Netty Rpc 框架，重新实现的一个 Netty Rpc 框架 ( scala + java )”指的是一个开发项目，该项目利用了Apache Spark的Netty RPC（远程过程调用）机制，并以此为基础创建了一个新的RPC框架。...
在本项目中，“groovy-spark-sample”是一个使用Groovy编程语言与Apache Spark进行交互的示例应用程序。Groovy是一种动态、面向对象的脚本语言，它与Java平台紧密集成，能够充分利用Java库，包括Spark。Apache Spark...
Spark 3.0.0 Application 提交给集群的原理和源码详解，内容包括Spark Application 到底是如何提交给集群的：Application 提交参数配置详解、Application ... Spark RPC 内幕解密：运行机制、源码详解、Netty 与Akka。
- **NettyBlockRpcServer** — NettyBlockTransferService中的RPC处理模块。 - **BlockFetchingListener** - **RetryingBlockFetcher** - **BlockFetchStarter** 这些机制确保了数据能够在节点之间高效、可靠地...
- `spark.rpc.io.serverThreads=64`：设置RPC Server线程数为64。 #### 扩展Spark Executor **Executor内存布局** - **概述**: 优化Executor内存分配对于提高性能至关重要。 - **关键组件**: - Shuffle Memory：...
- `spark.rpc.askTimeout`：RPC请求超时时间，与`spark.network.timeout`配合调整。 - `spark.shuffle.blockTransferService`：选择合适的传输服务，如NIO或Netty，以提高数据传输速度。 7. **垃圾回收** - `...
10. `spark.rpc.askTimeout`：RPC请求的超时时间，与上述网络超时时间相辅相成。 11. `spark.local.dir`：本地临时文件目录，可以设置多个以分散I/O负载。 12. `spark.eventLog.enabled`：是否启用事件日志记录，...
这部分可能涵盖BlockManager、BlockTransferService和RPC机制的源码解析。 7. **存储系统集成**：Spark支持多种存储系统，如HDFS、S3等。书中可能会介绍如何与这些系统交互，以及如何配置存储级别。 8. **性能优化...
此外，`org.apache.spark.rpc.RpcEnv`是Spark的远程过程调用（RPC）框架，用于Master和Worker之间的通信。 深入理解Spark-master的源码有助于开发者了解Spark的内部工作机制，例如如何进行任务调度、如何处理节点...
BlockManager是Apache Spark的核心组件之一，它构成了Spark分布式计算中的数据存储和管理基础。理解BlockManager的工作原理对于深入了解Spark的内部运作至关重要。BlockManager是一个基于key-value的分布式存储系统...
《Spark源码学习：RPC、设计模式与线程池解析》 Spark，作为大数据处理领域的重要框架，其高效、灵活的特性受到了广泛的关注。深入理解Spark的源码，不仅可以帮助我们更好地利用Spark进行数据处理，还能提升我们对...
Spark内核篇01主要探讨的是Spark的通信架构和集群启动流程，这对于理解Spark如何高效地处理大数据至关重要。首先，我们需要了解Spark的核心组件——Driver和Executor。 Driver是Spark作业的控制中心，它执行用户...
Storm适用于需要快速处理和响应数据的场景，如实时分析、在线机器学习、连续计算、分布式RPC、ETL等。 Spark则是一个基于内存计算的大数据处理框架，它是为了提高MapReduce的计算效率而设计的，可以将数据加载到...
- RpcEnv是Spark中的远程过程调用（RPC）环境，用于节点间的通信。Spark原先是基于Akka的，但现在默认使用Netty作为RPC框架，提供更高效的通信。 - SerializerManager管理数据的序列化和反序列化，以适应网络传输和...
文件的部分内容涉及到了Spark的使用方法，包括UDF（用户自定义函数）的使用、Metastore、RPC（远程过程调用）的使用、SQL查询优化等，以及ETL（提取、转换、加载）流程。以下是针对这些知识点的详细说明： Spark...