进阶之路（成神之路）

成神之路

• 先记着，慢慢学习
• 基础篇
• 多线程和java并发编程
• java反射机制和动态代理以及cglib和AOP java类加载机制 
• 面向对象设计原则和java与设计模式
• java IO/nio aio socket 以及mina和netty 
• java数据结构
• servlet api和mvc框架原理以及封装思想
• java内存结构 gc原理 内存溢出原因 以及内存调优 内存结构分析和溢出排查 tomcat优化
• java7/java8 新特性 顺带讲下 java异常体系
• 前端篇
• 面向对象的javascript和jQuery源码分析
• Bootstrap（程序员掌握的Web前端CSS框架), html5
• 运维篇和数据库篇
• 哪些归运维(服务器以及服务器的软件安装 应用依赖的软件安装和管理 不同用户权限分配 网络配置 服务器和应用系统安全 应用代码发布 各个java应用的内存分配和调优
• 服务器和应用系统的故障监控报警和响应 项目管理工具和私服 代码库和版本控制以及账号管理 数据库管理和优化以及性能监控 公司的文档库 
• 服务器的域名和dns管理 服务器以及系统资源的申请)
• 运维片之一 linux基本知识和常用命令以及服务器管理 
• 运维片之二 lvs+varnish+nginx+tomcat集群 以及 web前端优化 (以及各种服务器的优化) 持续集成工具jenkins简介 maven和ant nexus svn和github 讲解(
• 运维片之三 mysql的 各种存储引擎介绍 常用函数 存储过程 索引调优 容灾 cpu和io 事务和锁机制 集群和主从同步读写分离等 基于ssd的Flash Cache 等 Mariadb的简介
• 运维片之四 分布式缓存的应用和nosql简介 memcached redis mongodb hbase 等的 安装 基本命令 和 java语言的三方包和api 
• 扩展篇
• SOA思想和企业服务总线
• 搜索引擎和爬虫and中文切词算法
• 异步消息jms以及ActiveMQ和Apache Kafka的介绍
• 常用的三方应用框架(spring mvc spring mybatis struts),常用java工具包 apache commons和 google guava....., xml和json常用的解析三方包 
• shell脚本和压力测试和自动化测试篇
• spring 源码分析
• 大数据篇
• hadoop及其孵化项目的杂谈
• 大型网站设计
•  
• 多线程和java并发编程
• 现在服务器配置好了 如何利用多线程编程
• 操作系统的进程和线程 以及2者的区别
• Thread类简介和线程的生命周期
• java.util.concurrent 包下的并发编程框架简介 (重点 需要写代码)
• 并发编程 之 Executor 框架 和 线程池简介 (重点 需要写代码) Executors ExecutorService及其子类 ThreadPoolExecutor
• 如何分配线程池的容量(如何根据io密集型和cpu密集型以及估算的执行时间来分 大致可以 cpu核数 * cpu的目标使用率(0-1之间) * ( 1 + W(等待时间)/C(计算时间) ))
• Callable Future 简介 以及相对于Runnable的区别 以及JDK7 新加入的 fork/join 简介 和例子 (重点 需要写代码)
• 并发集合容器类讲解 ConcurrentHashMap CopyOnWriteArrayList CopyOnWriteArraySet BlockingQueue及其子类 等等 的详解
• 线程安全和并发控制 原子变量 volatile修饰符 synchronized 关键字的应用场景 单例模式 编译期的代码重排
• java 锁机制 以及 Lock ReentrantLock Reentrantreadwritelock 等以及和 synchronized修饰符的性能比较
• java反射机制和动态代理以及cglib和AOP java类加载机制
• 简单介绍下java反射机制
• 介绍下 java.lang.reflect 包下的 类
• 介绍如何 通过方式 获取 类信息 注解信息 方法 属性 构造函数 方法参数等 如何通过反射执行方法和对属性赋值 (重点 需要写demo代码)
• 介绍 jdk 的动态代理 简介cglib 
• 简介 AOP (介绍下 Aspect, Pointcut(以及切入点表达式), 各种Advice, Joinpoint,Target Object)
• 简介反射在几乎所有框架中的使用
• java ClassLoader和类加载机制介绍 (Bootstrap Loader 启动类加载器 加载System.getProperty("sun.boot.class.path") 
• Extended Loader 标准扩展类加载器ExtClassLoader AppClass Loader 系统类加载器AppClassLoader
• 在加载类时，每个类加载器会将加载任务上交给其父，如果其父找不到，再由自己去加载)
• 介绍一个容器的 ClassLoader 比如tomcat的 ClassLoader Tomcat的启动是从解析bat文件开始，bat文件最终调用org.apache.catalina.startup.Bootstrap开始类的加载
• 杨中良到时候讲解下tomcat的源码
• 面向对象设计原则和java与设计模式
• uml简介 画图工具介绍
• 面向对象基本原则
• 1、“开闭”原则 一个软件实体应该对扩展开放对修改关闭。
• 2、里氏代换原则，讲的是任何父类出现的地方都可以被子类代替。
• 3、依赖倒转原则，讲的是要依赖于抽象不要依赖于实现。
• 4、接口隔离原则，讲的是为客户端提供尽可能小的单独的接口，而不是提供大的总接口。
• 5、组合/聚合服用原则，讲的是要尽可能使用组合，聚合来达到复用目的而不是利用继承。
• 6、迪米特法则（Law of Demeter）简称LoD，讲的是一个软件实体应当与尽可能少的其他软件实体发生相互作用。
• 设计模式之创建型模式(如何创建对象) 简单工厂模式，工厂方法模式，抽象工厂模式，单例/多例模式，建造模式，原始模式
• 设计模式之结构模式(改变类的结构和对象的行为) 适配器模式，合成模式，装饰器模式，代理模式，享元模式，门面模式，桥模式。
• 设计模式之行为模式(不同对象间的算法和责任 及其相互作用) 不变模式，策略模式，模板方法模式，观察者模式，迭代子模式，责任链模式，命令模式，备忘录模式，状态模式，访问者模式，解释器模式，调停者模式
• 一些设计模式直接的相同点和不同点 什么时候用那些 各种框架对设计模式的使用 等等
• java IO/nio socket 以及mina和netty
• TCP/IP UDP HTTP协议简介
• socket简介 其实我们的通讯底层都是socket 包括各个web容器和java容器
• JAVA IO基础简介
• 同步阻塞的BIO 一建立连接就创建线程 太多线程切换 性能不好、
• 同步非阻塞的NIO jdk1.4新加的 基于reactor模式 Selector便利每个channel是否有数据来了 有数据来了 就创建线程处理、
• 异步非阻塞的AIO jdk1.7新加的 基于操作系统层面的 进行读写操作时，只须直接调用API的read或write方法即可。这两种方法均为异步的，
• 对于读操作而言，当有流可读取时，操作系统会将可读的流传入read方法的缓冲区，并通知应用程序；
• 对于写操作而言，当操作系统将write方法传递的流写入完毕时，操作系统主动通知应用程序。 
• 即可以理解为，read/write方法都是异步的，完成后会主动调用回调函数 
• NIO 详细介绍 和代码例子
• apache mina和jboss netty 介绍 以及使用demo
• java数据结构
• 时间复杂度和空间复杂度
• 线性结构 树形结构 图形结构 等的一些数据结构的简介
• 编译 排序 查找 等
• java Collection 和 Map 及其常用子类的简介 
• 什么时候用哪种集合
• 集合常用方法的介绍
• 线程安全和线程不安全集合以及并发包集合的简介
• servlet api和mvc框架原理以及封装思想 
• web开发原理 
• web.xml配置项中常用的对象介绍 
• 过滤器 监听器 servlet context-param 等的介绍
• HttpServletRequest HttpServletResponse HttpSession ServletContext Cookie 等常用servlet接口介绍
• MVC原理 如何封装web层框架
• 如何重写 request response 或session 
• 如何实现子域名下的cookie共享和如在均衡集群中的session共享
•  
• java内存结构 gc原理 内存溢出原因 以及内存调优 内存结构分析 tomcat优化
• java内存结构介绍 
• Heap(堆区) 分配对象实例的内存空间 通过-Xms与-Xmx来设置 不够会抛出出 java.lang.OutOfMemoryError: Java heap space
• MethodArea(方法区域) 类的信息及静态变量 通过-XX:PermSize 来设置 不够会抛出 java.lang.OutOfMemoryError: PermGen space 
• JavaStack(java的方法栈) 以帧为单位的压栈或出栈。通过-Xss来设置 不够会抛出StackOverflowError
• ProgramCounter(程序计数器) 线程PC寄存器 
• Nativemethodstack(本地方法栈)：保存native方法进入区域的地址
• 堆区的新生代和旧生代的划分 新生代的from和to 区 young gc 和full gc 
• 常用垃圾收集的算法分析
• JMAP、jstat jps 等jdk自带的常用命令详解
• jmap pid #打印内存使用的摘要信息
• jmap –heap pid #java heap信息
• jmap -histo:live pid #统计对象count ，live表示在使用
• jmap -histo pid >mem.txt #打印比较简单的各个有多少个对象占了多少内存的信息，一般重定向的文件
• jmap -dump:format=b,file=mem.dat pid #将内存使用的详细情况输出到mem.dat 文件
• jstat ：对VM内存使用量进行监控。 
• jstat工具特别强大，有众多的可选项，详细查看堆内各个部分的使用量，以及加载类的数量。使用时，需加上查看进程的进程id，和所选参数。以下详细介绍各个参数的意义。 
• jstat -class pid:显示加载class的数量，及所占空间等信息。 
• jstat -compiler pid:显示VM实时编译的数量等信息。 
• jstat -gc pid:可以显示gc的信息，查看gc的次数，及时间。其中最后五项，分别是young gc的次数，young gc的时间，full gc的次数，full gc的时间，gc的总时间。 
• jstat -gccapacity:可以显示，VM内存中三代（young,old,perm）对象的使用和占用大小，如：PGCMN显示的是最小perm的内存使用量，PGCMX显示的是perm的内存最大使用量，PGC是当前新生成的perm内存占用量，PC是但前perm内存占用量。其他的可以根据这个类推， OC是old内纯的占用量。 
• jstat -gcnew pid:new对象的信息。 
• jstat -gcnewcapacity pid:new对象的信息及其占用量。 
• jstat -gcold pid:old对象的信息。 
• jstat -gcoldcapacity pid:old对象的信息及其占用量。 
• jstat -gcpermcapacity pid: perm对象的信息及其占用量。 
• jstat -util pid:统计gc信息统计。 
• jstat -printcompilation pid:当前VM执行的信息。 
• 内存泄露的时候 导出内存后对java内存的分析工具 讲解 jprofiler 和 eclipse mat 等 内存分析统计
• java7/java8 新加的一些功能 顺带讲下 java异常体系
• fork/join
• Switch语句支持string类型
• Try-with-resource
• Catch多个异常
• 数字类型的下划线表示
• 泛型实例的创建可以通过类型推断来简化 可以去掉后面new部分的泛型类型，只用<>就可以了
• 在可变参数方法中传递非具体化参数,改进编译警告和错误
• NIO2的一些新特性
• IO and New IO 监听文件系统变化通知 IO and New IO遍历文件树 ，通过继承SimpleFileVisitor类，实现事件遍历目录树的操作
• AIO异步IO 文件和网络
• JDBC 4.1
• ThreadLocalRandon 并发下随机数生成类，保证并发下的随机数生成的线程安全
• phaser 类似cyclebarrier和countdownlatch，不过可以动态添加资源减少资源 
• Networking增强
• Multithreaded Custom Class Loaders 解决并发下加载class可能导致的死锁问题，这个是jdk1.6的一些新版本就解决了，jdk7也做了一些优化
• Security 增强
• Internationalization 增强
• Jdk8 lambda表达式 最大的新增的特性，虽然在很多动态语言中都已经原生支持
• 用Metaspace代替PermGen 动态扩展，可以设置最大值，限制于本地内存的大小
• 等等
•  
• 面向对象的javascript和jQuery源码分析
• javascript基础和dom介绍
• 面向对象的javascript介绍 变量作用域 上下文切换 继承 扩展方法 闭包 异步 事件和事件传播 回调 等
• 常用javascript调试工具
• javascript正则表达式
• jQuery 常用API 和源码分析
•  
• Bootstrap（程序员掌握的Web前端CSS框架), html5
• html5和css3简介
• Bootstrap 介绍和手写几个例子
•  
• linux基本知识和常用命令以及服务器管理
• linux简介 (基于redhat内核的 redhat企业和centos等简介)
• linux权限相关讲解 (用户用户组管理等 分配文件和文件夹权限 等)
• linux网络相关 (linux网络配置文件和网络相关命令讲解 DNS相关)
• linux文本文件查找编辑相关命令 
• linux 打开的文件和端口相关命令
• linux shell常用的一些 强大的丰富的文本查找编辑分析命令 grep,sed,awk
• linux软件安装相关 rpm和yum 压缩解压相关
• linux 虚拟机相关
• linux 安全和优化等等
•  
•  
• 运维片之二 lvs+vanish+nginx+tomcat集群 以及 web前端优化 (以及各种服务器的优化) 持续集成工具jenkins简介 maven和ant nexus svn 和 github
• nginx简介和参数调优 
• nginx+tomcat集群配置简介 基于分布式缓存的session服务器简介
• web网站前端优化
• 介绍 LVS
• 介绍 vanish
• 介绍 maven和ant 
• 介绍持续集成工具jenkins
• 介绍分布式版本控制github
• 运维片之三 mysql的 各种存储引擎介绍 常用函数 存储过程 索引调优 容灾 cpu和io 事务和锁机制 集群和主从同步读写分离等 常用插件和新技术 基于ssd固态硬盘的Flash Cach 
• sql语言基础 比如 连接查询 分组函数 统计函数 exists and not exists 等 常用基础介绍 什么时候用那些
• mysql的各种存储引擎
• mysql 自带的一些函数介绍 存储过程
• mysql索引调优和设计
• 事务和锁机制
• 基于ssd固态硬盘的Flash Cache (FlashCache呢是Facebook技术团队的又一力作，最初是为加速MySQL设计的。Flashcache是在Linux层面的 ，
• 传统机械硬盘的随机写随机读效率都相当低下，需要进行机械化的寻道读取 SSD的解决了随机读写的问题，
• 因为SSD是固态存储器，即不存在机械寻道和磁化问题，而是通过电位标注01,随机读写效率都相当优秀
• SSD在存储中的位置，通常作为读缓存 用于提高系统的IO性能。FlashCache便是以此为目的的使用SSd设备
• FlashCache是Linux的一个模块，可以动态地加载在Linux中，。Flashcache通过在文件系统（VFS）和机械硬盘之间新增了一次缓存层
• 利用SSD优秀的读性能，来加速系统。这个方法较之内存缓存，没有内存快，但是空间可以比内存大很多)
• Mysql 官方Memcached 插件简介和在linux下的安装
• 集群和主从同步读写分离等以及replication (如何配置 主从同步和replication 数据0丢失? 负载平衡 数据分布 备份 可用性和 容灾等)
• 可以看下网易开源mysql的 InnoSQL http://mysql.netease.com
• 大神们离队开发的 Mariadb
• 进阶篇 暂时用不到
• 分布式缓存的应用和nosql简介 memcached redis mongodb hbase
• 讲些各种类型的nosql以及一些代表产品
• 讲下 memcached redis mongodb hbase 各应用在哪些地方
• 讲下这些在linux下的配置 和相关API 和命令
• 常用nosql的java客户端api
•  
• SOA思想和企业服务总线 
• 介绍SOA思想 和服务化相关的技术
• 介绍下 mule和spring integration
•  
• 搜索引擎和爬虫and中文切词算法
• 讲下倒排索引算法
• 介绍下lucene solr nutch 和常用中文切词算法 
• 介绍solr的配置 和 solr API
• php调用solr
•  
• 异步消息jms以及ActiveMQ和Apache Kafka的介绍
• 异步消息简介
• jms 介绍
• ActiveMQ 介绍
• Apache Kafka 介绍 
• 写demo
• 常用的三方应用框架(spring mvc spring mybatis struts),常用java工具包 apache commons和 google guava....., xml和json常用的解析三方包
• apache commons下的一些工具包
• commons-lang commons-beanutils commons-collections commons-io 等等常用的utils的详解和代码例子(上网查下 很多的 或者直接看代码)
• google工具包 guava 相关的代码例子和详解(上网查下 很多的 或者直接看代码)
• java解析xml的四种方法 基本的解析方式有两种,一种叫SAX，另一种叫DOM 常用解析包讲解 比如 jdom dom4j等
• json常用解析包以及性能比较 jackson fastjson 等
• shell脚本和压力测试和自动化测试篇
• shell脚本 (重点)
• 自动化测试
• 压力测试
• spring 源码分析
• 有书 或者上网搜下 有些好的思想完全可以借鉴
• hadoop及其孵化项目的的杂谈 (任阳利下周四)
• 介绍下hadoop的发展历史
• 介绍下hadoop在一些公司的使用情况
• 简单介绍下 
• hdfs (Hadoop分布式文件系统)
• mapreduce MapReduceV1版本(分布式并行计算的编程模型 hadoop的核心 map reduce过程 JobClient JobTracker 和 TaskTracker)
• yarn (MapReduceV2 版本 mapreduce重构升级版 解决 JobTracker 集中处理点，存在单点故障 JobTracker 完成了太多的任务，造成了过多的资源消耗，当 map-reduce job 非常多的时候，会造成很大的内存开销 ,没考虑 cpu 内存平均分配 
• 集群资源利用率考虑不周到 代码好乱 yarn 原框架中核心的 JobTracker 和 TaskTracker 不见了，取而代之的是 ResourceManager, ApplicationMaster 与 NodeManager 三个部分)
• hbase (hbase是bigtable的开源版 建立在hadoop之上的分布式数据库 介于nosql和RDBMS之间，仅通过主键(row key)和主键的范围来检索，
• 支持单行事务 非常方便的支持 横向扩展 面向列存储 master-slave region server hregion 可基于zookeeper来协调)
• hive (facebook数据团队基于hadoop开发的数据仓库封装 存储结构化数据 提供 hive QL查询(解析转换成mapreduce任务) )
• pig (Yahoo捐献给Apache的一个开源数据分析项目 基于海量数据的分析和数据转换 Pig Latin 脚本 大数据文件比如日志文件 转换成分析结果的输出 
• 相对于hive需要自己编写pig latin 主要是分析和数据转换 hive主存储)
• mahout (基于hadoop的数据挖掘 机器学习算法 智能程序 提供一些可扩展的机器学习领域经典算法的实现 聚类、分类、推荐过滤、频繁子项挖掘 
• 适合从海量数据中提取有价值和需要的数据)
• zookeeper (分布式应用的协作服务 提供了一些简单的操作，使得分布式应用可以基于这些接口实现诸如同步、配置维护和分集群或者命名的服务 
• 领导选举算法 组成Zookeeper的各个服务器必须要能相互通信。他们在内存中保存了服务器状态 心跳检测 客户端连接到一个Zookeeper服务器，并且维持TCP连接。并且发送请求，获取回复，获取事件，并且发送连接信号。如果这个TCP连接断掉了，那么客户端可以连接另外一个服务器。)
•  
• Sqoop (Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，
• 也可以将HDFS的数据导进到关系型数据库中)
• avro (一个数据序列化的系统 提供 丰富的数据结构类型 快速可压缩的二进制数据形式 存储持久数据的文件容器 远程过程调用RPC 简单的动态语言结合功能，Avro和动态语言结合后，读写数据文件和使用RPC协议都不需要生成代码，而代码生成作为一种可选的优化只值得在静态类型语言中实现)
• 等
• 新版本的 yarn设计大大减小了 JobTracker（也就是现在的 ResourceManager）的资源消耗，并且让监测每一个 Job 子任务 (tasks) 状态的程序分布式化了，更安全、更优美。
• 在新的 Yarn 中，ApplicationMaster 是一个可变更的部分，用户可以对不同的编程模型写自己的 AppMst，让更多类型的编程模型能够跑在 Hadoop 集群中，可以参考 hadoop Yarn 官方配置模板中的 mapred-site.xml 配置。
• 对于资源的表示以内存为单位 ( 在目前版本的 Yarn 中，没有考虑 cpu 的占用 )，比之前以剩余 slot 数目更合理。
• 老的框架中，JobTracker 一个很大的负担就是监控 job 下的 tasks 的运行状况，现在，这个部分就扔给 ApplicationMaster 做了，
• 而 ResourceManager 中有一个模块叫做 ApplicationsMasters( 注意不是 ApplicationMaster)，它是监测 ApplicationMaster 的运行状况，如果出问题，会将其在其他机器上重启。
• Container 是 Yarn 为了将来作资源隔离而提出的一个框架。这一点应该借鉴了 Mesos 的工作，目前是一个框架，仅仅提供 java 虚拟机内存的隔离 ,hadoop 团队的设计思路应该后续能支持更多的资源调度和控制 , 既然资源表示成内存量，那就没有了之前的 map slot/reduce slot 分开造成集群资源闲置的尴尬情况。