推荐: 《Java技术书籍大全》 - awesome-java-books
- 数据结构
- 常用算法
- 并发
- 操作系统
- 设计模式
- 运维 & 统计 & 技术支持
- 中间件
- 网络
- 数据库
- 搜索引擎
- 性能
- 大数据
- 安全
- 常用开源框架
- 分布式设计
- 设计思想 & 开发模式
- 项目管理
- 通用业务术语
- 技术趋势
- 政策、法规
- 架构师素质
- 团队管理
- 资讯
- 技术资源
(Toc generated by simple-php-github-toc )
-
- 非阻塞队列:ConcurrentLinkedQueue(无界线程安全),采用CAS机制(compareAndSwapObject原子操作)。
- 阻塞队列:ArrayBlockingQueue(有界)、LinkedBlockingQueue(无界)、DelayQueue、PriorityBlockingQueue,采用锁机制;使用 ReentrantLock 锁。
- 《java数据结构与算法之栈(Stack)设计与实现》
- 《Java Stack 类》
- 《java stack的详细实现分析》
- Stack 是线程安全的。
- 内部使用数组保存数据,不够时翻倍。
每个节点最多有两个叶子节点。
- 《完全二叉树》
- 叶节点只能出现在最下层和次下层,并且最下面一层的结点都集中在该层最左边的若干位置的二叉树。
左右两个子树的高度差的绝对值不超过1,并且左右两个子树都是一棵平衡二叉树。
二叉查找树(Binary Search Tree),也称有序二叉树(ordered binary tree),排序二叉树(sorted binary tree)。
- 《最容易懂得红黑树》
- 添加阶段后,左旋或者右旋从而再次达到平衡。
- 《浅谈算法和数据结构: 九 平衡查找树之红黑树》
MySQL是基于B+树聚集索引组织表
- 《B-树,B+树,B*树详解》
- 《B-树,B+树与B*树的优缺点比较》
- B+树的叶子节点链表结构相比于 B-树便于扫库,和范围检索。
LSM(Log-Structured Merge-Trees)和 B+ 树相比,是牺牲了部分读的性能来换取写的性能(通过批量写入),实现读写之间的。 Hbase、LevelDB、Tair(Long DB)、nessDB 采用 LSM 树的结构。LSM可以快速建立索引。
-
- B+ 树读性能好,但由于需要有序结构,当key比较分散时,磁盘寻道频繁,造成写性能。
- LSM 是将一个大树拆分成N棵小树,先写到内存(无寻道问题,性能高),在内存中构建一颗有序小树(有序树),随着小树越来越大,内存的小树会flush到磁盘上。当读时,由于不知道数据在哪棵小树上,因此必须遍历(二分查找)所有的小树,但在每颗小树内部数据是有序的。
-
《LSM树(Log-Structured Merge Tree)存储引擎》
- 极端的说,基于LSM树实现的HBase的写性能比MySQL高了一个数量级,读性能低了一个数量级。
- 优化方式:Bloom filter 替代二分查找;compact 小数位大树,提高查询性能。
- Hbase 中,内存中达到一定阈值后,整体flush到磁盘上、形成一个文件(B+数),HDFS不支持update操作,所以Hbase做整体flush而不是merge update。flush到磁盘上的小树,定期会合并成一个大树。
经常用于大规模数据的排重检查。
- 《Java中的经典算法之选择排序(SelectionSort)》
- 每一趟从待排序的记录中选出最小的元素,顺序放在已排好序的序列最后,直到全部记录排序完毕。
- 《冒泡排序的2种写法》
- 相邻元素前后交换、把最大的排到最后。
- 时间复杂度 O(n²)
- 《坐在马桶上看算法:快速排序》
- 一侧比另外一次都大或小。
- 《图解排序算法(四)之归并排序》
- 分而治之,分成小份排序,在合并(重建一个新空间进行复制)。
TODO
- 《图解排序算法(三)之堆排序》
- 排序过程就是构建最大堆的过程,最大堆:每个结点的值都大于或等于其左右孩子结点的值,堆顶元素是最大值。
- 《计数排序和桶排序》
- 和桶排序过程比较像,差别在于桶的数量。
- 《【啊哈!算法】最快最简单的排序——桶排序》
- 《排序算法(三):计数排序与桶排序》
- 桶排序将[0,1)区间划分为n个相同的大小的子区间,这些子区间被称为桶。
- 每个桶单独进行排序,然后再遍历每个桶。
按照个位、十位、百位、...依次来排。
-
- 要求待查找的序列有序。
- 时间复杂度 O(logN)。
-
- while + 递归。
- 《Arrays.sort和Collections.sort实现原理解析》
- Collections.sort算法调用的是合并排序。
- Arrays.sort() 采用了2种排序算法 -- 基本类型数据使用快速排序法,对象数组使用归并排序。
常用于大数据的排重,比如email,url 等。 核心原理:将每条数据通过计算产生一个指纹(一个字节或多个字节,但一定比原始数据要少很多),其中每一位都是通过随机计算获得,在将指纹映射到一个大的按位存储的空间中。注意:会有一定的错误率。 优点:空间和时间效率都很高。 缺点:随着存入的元素数量增加,误算率随之增加。
- 《布隆过滤器 -- 空间效率很高的数据结构》
- 《大量数据去重:Bitmap和布隆过滤器(Bloom Filter)》
- 《基于Redis的布隆过滤器的实现》
- 基于 Redis 的 Bitmap 数据结构。
- 《网络爬虫:URL去重策略之布隆过滤器(BloomFilter)的使用》
- 使用Java中的 BitSet 类 和 加权和hash算法。
KMP:Knuth-Morris-Pratt算法(简称KMP) 核心原理是利用一个“部分匹配表”,跳过已经匹配过的元素。
-
- P(B|A)=P(A|B)P(B)/P(A)
-
未提交读:一个事务可以读取另一个未提交的数据,容易出现脏读的情况。
-
读提交:一个事务等另外一个事务提交之后才可以读取数据,但会出现不可重复读的情况(多次读取的数据不一致),读取过程中出现UPDATE操作,会多。(大多数数据库默认级别是RC,比如SQL Server,Oracle),读取的时候不可以修改。
-
可重复读: 同一个事务里确保每次读取的时候,获得的是同样的数据,但不保障原始数据被其他事务更新(幻读),Mysql InnoDB 就是这个级别。
-
序列化:所有事物串行处理(牺牲了效率)
-
- 幻读的例子非常清楚。
- 通过 SELECT ... FOR UPDATE 解决。
-
- 图解脏读、不可重复读、幻读问题。
-
- innodb 中 MVCC 用在 Repeatable-Read 隔离级别。
- MVCC 会产生幻读问题(更新时异常。)
-
- 通过隐藏版本列来实现 MVCC 控制,一列记录创建时间、一列记录删除时间,这里的时间
- 每次只操作比当前版本小(或等于)的 行。
-
- 主要包括 synchronized、ReentrantLock、和 ReadWriteLock。
-
- 有数量控制
- 申请用 acquire,申请不要则阻塞;释放用 release。
-
- 简单的说 就是Mutex是排它的,只有一个可以获取到资源, Semaphore也具有排它性,但可以定义多个可以获取的资源的对象。
公平锁的作用就是严格按照线程启动的顺序来执行的,不允许其他线程插队执行的;而非公平锁是允许插队的。
- 《公平锁与非公平锁》
- 默认情况下 ReentrantLock 和 synchronized 都是非公平锁。ReentrantLock 可以设置成公平锁。
悲观锁如果使用不当(锁的条数过多),会引起服务大面积等待。推荐优先使用乐观锁+重试。
-
- 乐观锁的方式:版本号+重试方式
- 悲观锁:通过 select ... for update 进行行锁(不可读、不可写,share 锁可读不可写)。
-
《Mysql查询语句使用select.. for update导致的数据库死锁分析》
- mysql的innodb存储引擎实务锁虽然是锁行,但它内部是锁索引的。
- 锁相同数据的不同索引条件可能会引起死锁。
- 《乐观锁的一种实现方式——CAS》
- 和MySQL乐观锁方式相似,只不过是通过和原值进行比较。
由于高并发,在CAS下,更新后可能此A非彼A。通过版本号可以解决,类似于上文Mysql 中提到的的乐观锁。
- 《Java CAS 和ABA问题》
- 《Java 中 ABA问题及避免》
- AtomicStampedReference 和 AtomicStampedReference。
可以对CopyOnWrite容器进行并发的读,而不需要加锁。CopyOnWrite并发容器用于读多写少的并发场景。比如白名单,黑名单,商品类目的访问和更新场景,不适合需要数据强一致性的场景。
-
《JAVA中写时复制(Copy-On-Write)Map实现》
- 实现读写分离,读取发生在原始数据上,写入发生在副本上。
- 不用加锁,通过最终一致实现一致性。
-
- 通过简单代码举例说明可重入锁和不可重入锁。
- 可重入锁指同一个线程可以再次获得之前已经获得的锁。
- 可重入锁可以用户避免死锁。
- Java中的可重入锁:synchronized 和 java.util.concurrent.locks.ReentrantLock
-
《ReenTrantLock可重入锁(和synchronized的区别)总结》
- synchronized 使用方便,编译器来加锁,是非公平锁。
- ReenTrantLock 使用灵活,锁的公平性可以定制。
- 相同加锁场景下,推荐使用 synchronized。
互斥锁:同时只能有一个线程获得锁。比如,ReentrantLock 是互斥锁,ReadWriteLock 中的写锁是互斥锁。 共享锁:可以有多个线程同时或的锁。比如,Semaphore、CountDownLatch 是共享锁,ReadWriteLock 中的读锁是共享锁。
-
- 互斥、持有、不可剥夺、环形等待。
-
- JConsole 可以识别死锁。
-
- jstack 可以显示死锁。
典型的 CPU 有三级缓存,距离核心越近,速度越快,空间越小。L1 一般 32k,L2 一般 256k,L3 一般12M。内存速度需要200个 CPU 周期,CPU 缓存需要1个CPU周期。
TODO
- 《终结python协程----从yield到actor模型的实现》
- 线程的调度是由操作系统负责,协程调度是程序自行负责
- 与线程相比,协程减少了无谓的操作系统切换.
- 实际上当遇到IO操作时做切换才更有意义,(因为IO操作不用占用CPU),如果没遇到IO操作,按照时间片切换.
- 《设计模式的六大原则》
- 开闭原则:对扩展开放,对修改关闭,多使用抽象类和接口。
- 里氏替换原则:基类可以被子类替换,使用抽象类继承,不使用具体类继承。
- 依赖倒转原则:要依赖于抽象,不要依赖于具体,针对接口编程,不针对实现编程。
- 接口隔离原则:使用多个隔离的接口,比使用单个接口好,建立最小的接口。
- 迪米特法则:一个软件实体应当尽可能少地与其他实体发生相互作用,通过中间类建立联系。
- 合成复用原则:尽量使用合成/聚合,而不是使用继承。
-
-
结构型模式:
- 适配器:用来把一个接口转化成另一个接口,如 java.util.Arrays#asList()。
- 桥接模式:这个模式将抽象和抽象操作的实现进行了解耦,这样使得抽象和实现可以独立地变化,如JDBC;
- 组合模式:使得客户端看来单个对象和对象的组合是同等的。换句话说,某个类型的方法同时也接受自身类型作为参数,如 Map.putAll,List.addAll、Set.addAll。
- 装饰者模式:动态的给一个对象附加额外的功能,这也是子类的一种替代方式,如 java.util.Collections#checkedList|Map|Set|SortedSet|SortedMap。
- 享元模式:使用缓存来加速大量小对象的访问时间,如 valueOf(int)。
- 代理模式:代理模式是用一个简单的对象来代替一个复杂的或者创建耗时的对象,如 java.lang.reflect.Proxy
-
创建模式:
- 抽象工厂模式:抽象工厂模式提供了一个协议来生成一系列的相关或者独立的对象,而不用指定具体对象的类型,如 java.util.Calendar#getInstance()。
- 建造模式(Builder):定义了一个新的类来构建另一个类的实例,以简化复杂对象的创建,如:java.lang.StringBuilder#append()。
- 工厂方法:就是 一个返* 回具体对象的方法,而不是多个,如 java.lang.Object#toString()、java.lang.Class#newInstance()。
- 原型模式:使得类的实例能够生成自身的拷贝、如:java.lang.Object#clone()。
- 单例模式:全局只有一个实例,如 java.lang.Runtime#getRuntime()。
-
行为模式:
- 责任链模式:通过把请求从一个对象传递到链条中下一个对象的方式,直到请求被处理完毕,以实现对象间的解耦。如 javax.servlet.Filter#doFilter()。
- 命令模式:将操作封装到对象内,以便存储,传递和返回,如:java.lang.Runnable。
- 解释器模式:定义了一个语言的语法,然后解析相应语法的语句,如,java.text.Format,java.text.Normalizer。
- 迭代器模式:提供一个一致的方法来顺序访问集合中的对象,如 java.util.Iterator。
- 中介者模式:通过使用一个中间对象来进行消息分发以及减少类之间的直接依赖,java.lang.reflect.Method#invoke()。
- 空对象模式:如 java.util.Collections#emptyList()。
- 观察者模式:它使得一个对象可以灵活的将消息发送给感兴趣的对象,如 java.util.EventListener。
- 模板方法模式:让子类可以重写方法的一部分,而不是整个重写,如 java.util.Collections#sort()。
-
TODO
- 《MVC 模式》
- 模型(model)-视图(view)-控制器(controller)
- 《理解 IOC》
- 《IOC 的理解与解释》
- 正向控制:传统通过new的方式。反向控制,通过容器注入对象。
- 作用:用于模块解耦。
- DI:Dependency Injection,即依赖注入,只关心资源使用,不关心资源来源。
- 《轻松理解AOP(面向切面编程)》
- 《Spring AOP详解》
- 《Spring AOP的实现原理》
- Spring AOP使用的动态代理,主要有两种方式:JDK动态代理和CGLIB动态代理。
- 《Spring AOP 实现原理与 CGLIB 应用》
- Spring AOP 框架对 AOP 代理类的处理原则是:如果目标对象的实现类实现了接口,Spring AOP 将会采用 JDK 动态代理来生成 AOP 代理类;如果目标对象的实现类没有实现接口,Spring AOP 将会采用 CGLIB 来生成 AOP 代理类
-
- 定律一:组织沟通方式会通过系统设计表达出来,就是说架构的布局和组织结构会有相似。
- 定律二:时间再多一件事情也不可能做的完美,但总有时间做完一件事情。一口气吃不成胖子,先搞定能搞定的。
- 定律三:线型系统和线型组织架构间有潜在的异质同态特性。种瓜得瓜,做独立自治的子系统减少沟通成本。
- 定律四:大的系统组织总是比小系统更倾向于分解。合久必分,分而治之。
-
- 监控的方式:主动、被动、旁路(比如舆情监控)
- 监控类型: 基础监控、服务端监控、客户端监控、 监控、用户端监控
- 监控的目标:全、块、准
- 核心指标:请求量、成功率、耗时
-
- Zabbix、Nagios、Ganglia、Zenoss、Open-falcon、监控宝、 360网站服务监控、阿里云监控、百度云观测、小蜜蜂网站监测等。
命令行监控工具
-
- top、sar、tsar、nload
APM — Application Performance Management
-
主要开源软件,按字母排序
-
- 主要基于 Google的Dapper(大规模分布式系统的跟踪系统) 思想。
-
- 常用指标:访问与访客、停留时长、跳出率、退出率、转化率、参与度
-
- 第三方统计:友盟、百度移动、魔方、App Annie、talking data、神策数据等。
-
- 所谓无痕、即通过可视化工具配置采集节点,在前端自动解析配置并上报埋点数据,而非硬编码。
开发、测试、生成环境分离。
- 《深度解读 - TDD(测试驱动开发)》
- 基于测试用例编码功能代码,XP(Extreme Programming)的核心实践.
- 好处:一次关注一个点,降低思维负担;迎接需求变化或改善代码的设计;提前澄清需求;快速反馈;
- 《Java单元测试之JUnit篇》
- 《JUnit 4 与 TestNG 对比》
- TestNG 覆盖 JUnit 功能,适用于更复杂的场景。
- 《单元测试主要的测试功能点》
- 模块接口测试、局部数据结构测试、路径测试 、错误处理测试、边界条件测试 。
- Confluence-收费文档管理系统
- GitLab?
- Wiki
-
- Nginx 通过异步非阻塞的事件处理机制实现高并发。Apache 每个请求独占一个线程,非常消耗系统资源。
- 事件驱动适合于IO密集型服务(Nginx),多进程或线程适合于CPU密集型服务(Apache),所以Nginx适合做反向代理,而非web服务器使用。
-
- nginx只适合静态和反向代理,不适合处理动态请求。
- 官方网站
- 《浅谈 OpenResty》
- 通过 Lua 模块可以在Nginx上进行开发。
- agentzh 的 Nginx 教程
-
《JBoss vs. Tomcat: Choosing A Java Application Server》
- Tomcat 是轻量级的 Serverlet 容器,没有实现全部 JEE 特性(比如持久化和事务处理),但可以通过其他组件代替,比如Spring。
- Jboss 实现全部了JEE特性,软件开源免费、文档收费。
-
- 启动NIO模式(或者APR);调整线程池;禁用AJP连接器(Nginx+tomcat的架构,不需要AJP);
-
- AJP 协议(8009端口)用于降低和前端Server(如Apache,而且需要支持AJP协议)的连接数(前端),通过长连接提高性能。
- 并发高时,AJP协议优于HTTP协议。
- 《Jetty 的工作原理以及与 Tomcat 的比较》
- 《jetty和tomcat优势比较》
- 架构比较:Jetty的架构比Tomcat的更为简单。
- 性能比较:Jetty和Tomcat性能方面差异不大,Jetty默认采用NIO结束在处理I/O请求上更占优势,Tomcat默认采用BIO处理I/O请求,Tomcat适合处理少数非常繁忙的链接,处理静态资源时性能较差。
- 其他方面:Jetty的应用更加快速,修改简单,对新的Servlet规范的支持较好;Tomcat 对JEE和Servlet 支持更加全面。
-
- 堆内、堆外、磁盘三级缓存。
- 可按照缓存空间容量进行设置。
- 按照时间、次数等过期策略。
-
- 简单轻量、无堆外、磁盘缓存。
-
- 主要是利用 Cache-Control 参数。
-
- 采用多路复用技术提高并发性。
- slab分配算法: memcached给Slab分配内存空间,默认是1MB。分配给Slab之后 把slab的切分成大小相同的chunk,Chunk是用于缓存记录的内存空间,Chunk 的大小默认按照1.25倍的速度递增。好处是不会频繁申请内存,提高IO效率,坏处是会有一定的内存浪费。
-
《memcache 中 add 、 set 、replace 的区别》
- 区别在于当key存在还是不存在时,返回值是true和false的。
-
- 使用 ziplist 存储链表,ziplist是一种压缩链表,它的好处是更能节省内存空间,因为它所存储的内容都是在连续的内存区域当中的。
- 使用 skiplist(跳跃表)来存储有序集合对象、查找上先从高Level查起、时间复杂度和红黑树相当,实现容易,无锁、并发性好。
-
- RDB方式:定期备份快照,常用于灾难恢复。优点:通过fork出的进程进行备份,不影响主进程、RDB 在恢复大数据集时的速度比 AOF 的恢复速度要快。缺点:会丢数据。
- AOF方式:保存操作日志方式。优点:恢复时数据丢失少,缺点:文件大,回复慢。
- 也可以两者结合使用。
- 官方网站
- 《Tair和Redis的对比》
- 特点:可以配置备份节点数目,通过异步同步到备份节点
- 一致性Hash算法。
- 架构:和Hadoop 的设计思想类似,有Configserver,DataServer,Configserver 通过心跳来检测,Configserver也有主备关系。
几种存储引擎:
- MDB,完全内存性,可以用来存储Session等数据。
- Rdb(类似于Redis),轻量化,去除了aof之类的操作,支持Restfull操作
- LDB(LevelDB存储引擎),持久化存储,LDB 作为rdb的持久化,google实现,比较高效,理论基础是LSM(Log-Structured-Merge Tree)算法,现在内存中修改数据,达到一定量时(和内存汇总的旧数据一同写入磁盘)再写入磁盘,存储更加高效,县比喻Hash算法。
- Tair采用共享内存来存储数据,如果服务挂掉(非服务器),重启服务之后,数据亦然还在。
-
《消息队列-推/拉模式学习 & ActiveMQ及JMS学习》
- RabbitMQ 消费者默认是推模式(也支持拉模式)。
- Kafka 默认是拉模式。
- Push方式:优点是可以尽可能快地将消息发送给消费者,缺点是如果消费者处理能力跟不上,消费者的缓冲区可能会溢出。
- Pull方式:优点是消费端可以按处理能力进行拉去,缺点是会增加消息延迟。
消息总线相当于在消息队列之上做了一层封装,统一入口,统一管控、简化接入成本。
支持事务,推拉模式都是支持、适合需要可靠性消息传输的场景。
Java实现,推拉模式都是支持,吞吐量逊于Kafka。可以保证消息顺序。
纯Java实现,兼容JMS,可以内嵌于Java应用中。
高吞吐量、采用拉模式。适合高IO场景,比如日志同步。
生产者、消费者模式完全是客户端行为,list 和 拉模式实现,阻塞等待采用 blpop 指令。
TODO
-
- fork 进程 + sleep 轮询
-
- 定时调度在 QuartzSchedulerThread 代码中,while()无限循环,每次循环取出时间将到的trigger,触发对应的job,直到调度器线程被关闭。
-
- opencron、LTS、XXL-JOB、Elastic-Job、Uncode-Schedule、Antares
-
- Quartz集群中,独立的Quartz节点并不与另一其的节点或是管理节点通信,而是通过相同的数据库表来感知到另一Quartz应用的
-
- 核心角色:Server: 暴露服务的服务提供方、Client: 调用远程服务的服务消费方、Registry: 服务注册与发现的注册中心。
** SPI ** TODO
- 官方网站
- 《Thrift RPC详解》
- 支持多语言,通过中间语言定义接口。
服务端可以认证加密,在外网环境下,可以保证数据安全。
-
- Spring Boot 和 Spring Cloud
- 支持推、拉模式更新配置
- 支持多种语言
servlet 3.0 异步特性可用于配置中心的客户端
主要职责:请求转发、安全认证、协议转换、容灾。
- 《HTTP 2.0 原理详细分析》
- 《HTTP2.0的基本单位为二进制帧》
- 利用二进制帧负责传输。
- 多路复用。
-
- 使用非对称加密协商加密算法
- 使用对称加密方式传输数据
- 使用第三方机构签发的证书,来加密公钥,用于公钥的安全传输、防止被中间人串改。
-
《web优化必须了解的原理之I/o的五种模型和web的三种工作模式》
- 五种I/O模型:阻塞I/O,非阻塞I/O,I/O复用、事件(信号)驱动I/O、异步I/O,前四种I/O属于同步操作,I/O的第一阶段不同、第二阶段相同,最后的一种则属于异步操作。
- 三种 Web Server 工作方式:Prefork(多进程)、Worker方式(线程方式)、Event方式。
-
- select,poll,epoll本质上都是同步I/O,因为他们都需要在读写事件就绪后自己负责进行读写,也就是说这个读写过程是阻塞的。
- select 有打开文件描述符数量限制,默认1024(2048 for x64),100万并发,就要用1000个进程、切换开销大;poll采用链表结构,没有数量限制。
- select,poll “醒着”的时候要遍历整个fd集合,而epoll在“醒着”的时候只要判断一下就绪链表是否为空就行了,通过回调机制节省大量CPU时间;select,poll每次调用都要把fd集合从用户态往内核态拷贝一次,而epoll只要一次拷贝。
- poll会随着并发增加,性能逐渐下降,epoll采用红黑树结构,性能稳定,不会随着连接数增加而降低。
-
- 在连接数少并且连接都十分活跃的情况下,select和poll的性能可能比epoll好,毕竟epoll的通知机制需要很多函数回调。
-
- NIO 是一种同步非阻塞的 IO 模型。同步是指线程不断轮询 IO 事件是否就绪,非阻塞是指线程在等待 IO 的时候,可以同时做其他任务
- 《Netty原理剖析》
- Reactor 模式介绍。
- Netty 是 Reactor 模式的一种实现。
- 《对于 Netty ByteBuf 的零拷贝(Zero Copy) 的理解》
- 多个物理分离的buffer,通过逻辑上合并成为一个,从而避免了数据在内存之间的拷贝。
- 《Hessian原理分析》 Binary-RPC;不仅仅是序列化
-
《Protobuf协议的Java应用例子》 Goolge出品、占用空间和效率完胜其他序列化类库,如Hessian;需要编写 .proto 文件。
-
- 关于协议的解释;缺点:可读性差;
-
- protostuff 的好处是不用写 .proto 文件,Java 对象直接就可以序列化。
- 《数据库的三大范式以及五大约束》
- 第一范式:数据表中的每一列(每个字段)必须是不可拆分的最小单元,也就是确保每一列的原子性;
- 第二范式(2NF):满足1NF后,要求表中的所有列,都必须依赖于主键,而不能有任何一列与主键没有关系,也就是说一个表只描述一件事情;
- 第三范式:必须先满足第二范式(2NF),要求:表中的每一列只与主键直接相关而不是间接相关,(表中的每一列只能依赖于主键);
-
- 两种类型最主要的差别就是Innodb 支持事务处理与外键和行级锁
-
- 原则上就是缩小扫描范围。
MyISAM 是非聚集,InnoDB 是聚集
-
- 文中有一处错误:
对于复合索引,在查询使用时,最好将条件顺序按找索引的顺序,这样效率最高; select * from table1 where col1=A AND col2=B AND col3=D 如果使用 where col2=B AND col1=A 或者 where col2=B 将不会使用索引
- 原文中提到索引是按照“col1,col2,col3”的顺序创建的,而mysql在按照最左前缀的索引匹配原则,且会自动优化 where 条件的顺序,当条件中只有 col2=B AND col1=A 时,会自动转化为 col1=A AND col2=B,所以依然会使用索引。
- MongoDB 教程
- 《Mongodb相对于关系型数据库的优缺点》
- 优点:弱一致性(最终一致),更能保证用户的访问速度;内置GridFS,支持大容量的存储;Schema-less 数据库,不用预先定义结构;内置Sharding;相比于其他NoSQL,第三方支持丰富;性能优越;
- 缺点:mongodb不支持事务操作;mongodb占用空间过大;MongoDB没有如MySQL那样成熟的维护工具,这对于开发和IT运营都是个值得注意的地方;
-
- 空数据不存储,节省空间,且适用于并发。
-
- rowkey 按照字典顺序排列,便于批量扫描。
- 通过散列可以避免热点。
-
- 代码层面、业务层面、数据库层面、服务器层面、前端优化。
- 《联网性能与容量评估的方法论和典型案例》
- 《互联网架构,如何进行容量设计?》
- 评估总访问量、评估平均访问量QPS、评估高峰QPS、评估系统、单机极限QPS
- [《Kafka Stream调研:一种轻量级流计算模式》](https://yq.aliyun