Fork me on GitHub
image frame

杨海波

Java资源大全

Java资源大全中文版

我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列的资源整理。awesome-java 就是 akullpp 发起维护的 Java 资源列表，内容包括：构建工具、数据库、框架、模板、安全、代码分析、日志、第三方库、书籍、Java 站点等等。伯乐在线已经把 awesome-java 资源列表翻成中文后发布于 ImportNew。

Awesome 系列虽然挺全，但基本只对收录的资源做了极为简要的介绍，如果有更详细的中文介绍，对相应开发者的帮助会更大。这也是我们发起这个开源项目的初衷。

我们要做什么？

如何参与本项目？

如何为列表贡献新资源？

欢迎大家为列表贡献高质量的新资源，提交PR时请参照以下要求：

  • 请确保推荐的资源自己使用过
  • 提交PR时请注明推荐理由

资源列表管理收到PR请求后，会定期（每周）在微博转发本周提交的PR列表，并在微博上面听取使用过这些资源的意见。确认通过后，会加入资源大全。

感谢您的贡献！

本项目的参与者

注：名单不分排名，不定期补充更新

目录

古董级工具

这些工具伴随着Java一起出现，在各自辉煌之后还在一直使用。

构建工具

构建及应用依赖关系处理工具。

  • Apache Maven：Maven是一款声明式构建及依赖管理工具，采用约定优于配置方式进行管理。相对Apache Ant更推荐使用Maven，前者采用了过程式管理，维护相对困难。官网
  • Bazel：来自Google的构建工具，可以快速、可靠地构建代码。官网
  • Gradle：使用Groovy（非XML）进行增量构建，可以很好地与Maven依赖管理配合工作。官网
  • Buck：Facebook构建工具。官网

字节码操作

编程方式操作字节码的开发库。

  • ASM：通用底层字节码操作和分析开发库。官网
  • Byte Buddy：使用流式API进一步简化字节码生成。官网
  • Byteman：在运行时通过DSL（规则）操作字节码进行测试和故障排除。官网
  • Javassist：一个简化字节码编辑尝试。官网

集群管理

在集群内动态管理应用程序的框架。

  • Apache Aurora：Apache Aurora是一个Mesos框架，用于长时间运行服务和定时任务（cron job）。官网
  • Singularity：Singularity是一个Mesos框架，方便部署和操作。它支持Web Service、后台运行、调度作业和一次性任务。官网

代码分析

测量代码指标和质量工具。

  • Checkstyle：代码编写规范和标准静态分析工具。官网
  • Error Prone：将常见编程错误作为运行时错误报告。官网
  • FindBugs：通过字节码静态分析查找隐藏bug。官网
  • jQAssistant：使用基于Neo4J查询语言进行代码静态分析。官网
  • PMD：对源代码分析查找不良的编程习惯。官网
  • SonarQube：通过插件集成其它分析组件，对过去一段时间内的数据进行统计。官网

编译器生成工具

用来创建解析器、解释器或编译器的框架。

  • ANTLR：复杂的全功能自顶向下解析框架。官网
  • JavaCC：JavaCC是更加专门的轻量级工具，易于上手且支持语法超前预测。官网

外部配置工具

支持外部配置的开发库。

约束满足问题求解程序

帮助解决约束满足问题的开发库。

  • Choco：可直接使用的约束满足问题求解程序，使用了约束规划技术。官网
  • JaCoP：为FlatZinc语言提供了一个接口，可以执行MiniZinc模型。官网
  • OptaPlanner：业务规划与资源调度优化求解程序。官网
  • Sat4J：逻辑代数与优化问题最先进的求解程序。官网

持续集成

  • Bamboo：Atlassian解决方案，可以很好地集成Atlassian的其他产品。可以选择开源许可，也可以购买商业版。官网
  • CircleCI：提供托管服务，可以免费试用。官网
  • Codeship：提供托管服务，提供有限的免费模式。官网
  • fabric8：容器集成平台。官网
  • Go：ThoughtWork开源解决方案。官网
  • Jenkins：支持基于服务器的部署服务。官网
  • TeamCity：JetBrain的持续集成解决方案，有免费版。官网
  • Travis：通常用作开源项目的托管服务。官网
  • Buildkite: 持续集成工具，用简单的脚本就能设置pipeline，而且能快速构建，可以免费试用。官网

CSV解析

简化CSV数据读写的框架与开发库

  • uniVocity-parsers：速度最快功能最全的CSV开发库之一，同时支持TSV与固定宽度记录的读写。官网

数据库

简化数据库交互的相关工具。

  • Apache Phoenix：HBase针对低延时应用程序的高性能关系数据库层。官网
  • Crate：实现了数据同步、分片、缩放、复制的分布式数据存储。除此之外还可以使用基于SQL的语法跨集群查询。官网
  • Flyway：简单的数据库迁移工具。官网
  • H2：小型SQL数据库，以可以作为内存数据库使用著称。官网
  • HikariCP：高性能JDBC连接工具。官网
  • JDBI：便捷的JDBC抽象。官网
  • jOOQ：为SQL schema生成typesafe代码。官网
  • MapDB：以磁盘或堆内存中并发集合为基础的嵌入式数据库引擎。官网
  • Presto：针对大数据的分布式SQL查询引擎。官网
  • Querydsl：Typesafe统一查询。官网

数据结构

  • Apache Parquet：Google Dremel论文中发布的基于组装算法的列式（Columnar）存储格式。官网
  • Protobuf：Google数据交换格式。官网
  • SBE：简单二进制编码，是最快速的消息格式之一。官网
  • Wire：整洁轻量级协议缓存。官网

时间日期工具库

处理时间和日期的开发库。

  • Joda-Time：在Java 8发布前，Joda-Time是实际使用的时间日期库标准。官网
  • Time4J：高级时间和日期库。官网
  • ThreeTen：JSR-310实现，为JDK提供更具特点的时间和日期API。官网

依赖注入

帮实现依赖翻转范式的开发库。 官网

开发流程增强工具

从最基本的层面增强开发流程。

  • ADT4J：针对代数数据类型的JSR-269代码生成器。官网
  • AspectJ：面向切面编程（AOP）的无缝扩展。官网
  • Auto：源代码生成器集合。官网
  • DCEVM：通过修改JVM在运行时支持对已加载的类进行无限次重定义。官网
  • HotswapAgent：支持无限次重定义运行时类与资源。官网
  • Immutables：类似Scala的条件类。官网
  • JHipster：基于Spring Boot与AngularJS应用程序的Yeoman源代码生成器。官网
  • JRebel：无需重新部署，可以即时重新加载代码与配置的商业软件。官网
  • Lombok：减少冗余的代码生成器。官网
  • Spring Loaded：类重载代理。官网
  • vert.x：多语言事件驱动应用框架。官网

分布式应用

用来编写分布式容错应用的开发库和框架。

  • Akka：用来编写分布式容错并发事件驱动应用程序的工具和运行时。官网
  • Apache Storm：实时计算系统。官网
  • Apache ZooKeeper：针对大型分布式系统的协调服务，支持分布式配置、同步和名称注册。官网
  • Hazelcast：高可扩展内存数据网格。官网
  • Hystrix：提供延迟和容错。官网
  • JGroups：提供可靠的消息传递和集群创建的工具。官网
  • Orbit：支持虚拟角色（Actor），在传统角色的基础上增加了另外一层抽象。官网
  • Quasar：为JVM提供轻量级线程和角色。官网

分布式数据库

对应用程序而言，在分布式系统中的数据库看起来就像是只有一个数据源。

  • Apache Cassandra：列式数据库，可用性高且没有单点故障。官网
  • Apache HBase：针对大数据的Hadoop数据库。官网
  • Druid：实时和历史OLAP数据存储，在聚集查询和近似查询方面表现不俗。官网
  • Infinispan：针对缓存的高并发键值对数据存储。官网
  • TiDB：开源分布式HTAP数据库，结合了传统的RDBMS和NoSQL的最佳特性。官网

发布

以本机格式发布应用程序的工具。

  • Bintray：发布二进制文件版本控制工具。可以于Maven或Gradle一起配合使用。提供开源免费版本和几种商业收费版本。官网
  • Central Repository：最大的二进制组件仓库，面向开源社区提供免费服务。Apache Maven默认使用Central 官网Repository，也可以在所有其他构建工具中使用。
  • IzPack：为跨平台部署建立创作工具（Authoring Tool）。官网
  • JitPack：打包GitHub仓库的便捷工具。可根据需要构建Maven、Gradle项目，发布可立即使用的组件。官网
  • Launch4j：将JAR包装为轻量级本机Windows可执行程序。官网
  • Nexus：支持代理和缓存功能的二进制管理工具。官网
  • packr：将JAR、资源和JVM打包成Windows、Linux和Mac OS X本地发布文件。官网

文档处理工具

处理Office文档的开发库。

  • Apache POI：支持OOXML规范（XLSX、DOCX、PPTX）以及OLE2规范（XLS、DOC、PPT）。官网
  • documents4j：使用第三方转换器进行文档格式转换，转成类似MS Word这样的格式。官网
  • jOpenDocument：处理OpenDocument格式（由Sun公司提出基于XML的文档格式）。官网

函数式编程

函数式编程支持库。

  • Cyclops：支持一元（Monad）操作和流操作工具类、comprehension（List语法）、模式匹配、trampoline等特性。官网
  • Fugue：Guava的函数式编程扩展。官网
  • Functional Java：实现了多种基础和高级编程抽象，用来辅助面向组合开发（composition-oriented development）。官网
  • Javaslang：一个函数式组件库，提供持久化数据类型和函数式控制结构。官网
  • jOOλ：旨在填补Java 8 lambda差距的扩展，提供了众多缺失的类型和一组丰富的顺序流API。官网

游戏开发

游戏开发框架。

  • jMonkeyEngine：现代3D游戏开发引擎。官网
  • libGDX：全面的跨平台高级框架。官网
  • LWJGL：对OpenGL/CL/AL等技术进行抽象的健壮框架。官网
  • jPCT：基于OpenGL技术开发的3D图形引擎。纯Java的3D引擎。官网

GUI

现代图形化用户界面开发库。

高性能计算

涵盖了从集合到特定开发库的高性能计算相关工具。

  • Agrona：高性能应用中常见的数据结构和工具方法。官网
  • Disruptor：线程间消息传递开发库。官网
  • fastutil：快速紧凑的特定类型集合（Collection）。官网
  • GS Collections：受Smalltalk启发的集合框架。官网
  • HPPC：基础类型集合。官网
  • Javolution：实时和嵌入式系统的开发库。官网
  • JCTools：JDK中缺失的并发工具。官网
  • Koloboke：Hash set和hash map。官网
  • Trove：基础类型集合。官网
  • High-scale-lib:Cliff Click 个人开发的高性能并发库官网

IDE

简化开发的集成开发环境。

  • Eclipse：老牌开源项目，支持多种插件和编程语言。官网
  • IntelliJ IDEA：支持众多JVM语言，是安卓开发者好的选择。商业版主要针对企业客户。官网
  • NetBeans：为多种技术提供集成化支持，包括Java SE、Java EE、数据库访问、HTML5等。官网
  • Scala IDE：一款基于Eclipse开源平台打造的Scala集成开发环境。官网
  • SpringSource Tool Suite（STS）:一款基于Eclipse开源平台打造的Spring应用开发环境。官网

图像处理

创建、评价和操作图片的支持库。

  • Imgscalr：纯Java 2D实现，简单、高效、支持硬件加速的图像缩放开发库。官网
  • Picasso：安卓图片下载和图片缓存开发库。官网
  • Thumbnailator：Thumbnailator是一个高质量Java缩略图开发库。官网
  • ZXing：支持多种格式的一维、二维条形码图片处理开发库。官网
  • im4java: 基于ImageMagick或GraphicsMagick命令行的图片处理开发库，基本上ImageMagick能够支持的图片格式和处理方式都能够处理。官网
  • Apache Batik：在Java应用中程序以SVG格式显示、生成及处理图像的工具集，包括SVG解析器、SVG生成器、SVG DOM等模块，可以集成使用也可以单独使用，还可以扩展自定义的SVG标签。官网

JSON

简化JSON处理的开发库。

  • Genson：强大且易于使用的Java到JSON转换开发库。官网
  • Gson：谷歌官方推出的JSON处理库，支持在对象与JSON之间双向序列化，性能良好且可以实时调用。官网
  • Jackson：与GSON类似，在频繁使用时性能更佳。官网
  • LoganSquare：基于Jackson流式API，提供对JSON解析和序列化。比GSON与Jackson组合方式效果更好。官网
  • Fastjson：一个Java语言编写的高性能功能完善的JSON库。官网
  • Kyro：快速、高效、自动化的Java对象序列化和克隆库。官网

JVM与JDK

目前的JVM和JDK实现。

基于JVM的语言

除Java外，可以用来编写JVM应用程序的编程语言。

  • Scala：融合了面向对象和函数式编程思想的静态类型编程语言。官网
  • Groovy：类型可选（Optionally typed）的动态语言，支持静态类型和静态编译。目前是一个Apache孵化器项目。官网
  • Clojure：可看做现代版Lisp的动态类型语言。官网
  • Ceylon：RedHat开发的面向对象静态类型编程语言。官网
  • Kotlin：JetBrain针对JVM、安卓和浏览器提供的静态类型编程语言。官网
  • Xtend：一种静态编程语言，能够将其代码转换为简洁高效的Java代码，并基于JVM运行。官网

日志

记录应用程序行为日志的开发库。

  • Apache Log4j 2：使用强大的插件和配置架构进行完全重写。官网
  • kibana：分析及可视化日志文件。官网
  • Logback：强健的日期开发库，通过Groovy提供很多有趣的选项。官网
  • logstash：日志文件管理工具。官网
  • Metrics：通过JMX或HTTP发布参数，并且支持存储到数据库。官网
  • SLF4J：日志抽象层，需要与具体的实现配合使用。官网

机器学习

提供具体统计算法的工具。其算法可从数据中学习。

消息传递

在客户端之间进行消息传递，确保协议独立性的工具。

  • Aeron：高效可扩展的单播、多播消息传递工具。官网
  • Apache ActiveMQ：实现JMS的开源消息代理（broker），可将同步通讯转为异步通讯。官网
  • Apache Camel：通过企业级整合模式（Enterprise Integration Pattern EIP）将不同的消息传输API整合在一起。官网
  • Apache Kafka：高吞吐量分布式消息系统。官网
  • Apache RocketMQ: Apache RocketMQ是一个开源的分布式消息传递和流数据平台。官网
  • Hermes：快速、可靠的消息代理（Broker），基于Kafka构建。官网
  • JBoss HornetQ：清晰、准确、模块化，可以方便嵌入的消息工具。官网
  • JeroMQ：ZeroMQ的纯Java实现。官网
  • Smack：跨平台XMPP客户端函数库。官网
  • Openfire：是开源的、基于XMPP、采用Java编程语言开发的实时协作服务器。 Openfire安装和使用都非常简单，并可利用Web界面进行管理。 官网 GitHub
  • Spark：是一个开源，跨平台IM客户端。它的特性支持集组聊天，电话集成和强大安全性能。如果企业内部部署IM使用Openfire+Spark是最佳的组合。 官网 GitHub
  • Tigase： 是一个轻量级的可伸缩的 Jabber/XMPP 服务器。无需其他第三方库支持，可以处理非常高的复杂和大量的用户数，可以根据需要进行水平扩展。 官网

杂项

未分类其它资源。

  • Design Patterns：实现并解释了最常见的设计模式。官网
  • Jimfs：内存文件系统。官网
  • Lanterna：类似curses的简单console文本GUI函数库。官网
  • LightAdmin：可插入式CRUD UI函数库，可用来快速应用开发。官网
  • OpenRefine：用来处理混乱数据的工具，包括清理、转换、使用Web Service进行扩展并将其关联到数据库。官网
  • RoboVM：Java编写原生iOS应用。官网
  • Quartz：强大的任务调度库.官网

应用监控工具

监控生产环境中应用程序的工具。

原生开发库

用来进行特定平台开发的原生开发库。

  • JNA：不使用JNI就可以使用原生开发库。此外，还为常见系统函数提供了接口。官网

自然语言处理

用来专门处理文本的函数库。

  • Apache OpenNLP：处理类似分词等常见任务的工具。官网
  • CoreNLP：斯坦佛CoreNLP提供了一组基础工具，可以处理类似标签、实体名识别和情感分析这样的任务。官网
  • LingPipe：一组可以处理各种任务的工具集，支持POS标签、情感分析等。官网
  • Mallet：统计学自然语言处理、文档分类、聚类、主题建模等。官网

网络

网络编程函数库。

  • Async Http Client：异步HTTP和WebSocket客户端函数库。官网
  • Grizzly：NIO框架，在Glassfish中作为网络层使用。官网
  • Netty：构建高性能网络应用程序开发框架。官网
  • OkHttp：一个Android和Java应用的HTTP+SPDY客户端。官网
  • Undertow：基于NIO实现了阻塞和非阻塞API的Web服务器，在WildFly中作为网络层使用。官网
  • unirest-java: Unirest 是一个轻量级的 HTTP 请求库，涵盖 Node、Ruby、Java、PHP、Python、Objective-C、.NET 等多种语言。可发起 GET, POST, PUT, PATCH, DELETE, HEAD, OPTIONS 请求。官网
  • brpc-java: java版baidu rpc框架，高性能、多协议、易扩展、低耦合。官网

ORM

处理对象持久化的API。

  • Ebean：支持快速数据访问和编码的ORM框架。官网
  • EclipseLink：支持许多持久化标准，JPA、JAXB、JCA和SDO。官网
  • Hibernate：广泛使用、强健的持久化框架。Hibernate的技术社区非常活跃。官网
  • MyBatis：带有存储过程或者SQL语句的耦合对象（Couples object）。官网
  • OrmLite：轻量级开发包，免除了其它ORM产品中的复杂性和开销。官网
  • Nutz：另一个SSH。官网，Github，论坛
  • JFinal：JAVA WEB + ORM框架。官网，Github
  • Apache OpenJPA: 实现了 EJB 3.0 中的 JPA 标准,为开发者提供功能强大、使用简单的持久化数据管理框架。 官网

PDF

用来帮助创建PDF文件的资源。

性能分析

性能分析、性能剖析及基准测试工具。

响应式开发库

用来开发响应式应用程序的开发库。

  • Reactive Streams：异步流处理标准，支持非阻塞式反向压力（backpressure）。官网
  • Reactor：构建响应式快速数据（fast-data）应用程序的开发库。官网
  • RxJava：通过JVM可观察序列（observable sequence）构建异步和基于事件的程序。官网

REST框架

用来创建RESTful 服务的框架。

  • Dropwizard：偏向于自己使用的Web框架。用来构建Web应用程序，使用了Jetty、Jackson、Jersey和Metrics。官网
  • Feign：受Retrofit、JAXRS-2.0和WebSocket启发的HTTP客户端连接器（binder）。官网
  • Jersey：JAX-RS参考实现。官网
  • RESTEasy：经过JAX-RS规范完全认证的可移植实现。官网
  • RestExpress：一个Java类型安全的REST客户端。官网
  • RestX：基于注解处理和编译时源码生成的框架。官网
  • Retrofit：类型安全的REST客户端。官网
  • Spark：受到Sinatra启发的Java REST框架。官网
  • Swagger：Swagger是一个规范且完整的框架，提供描述、生产、消费和可视化RESTful Web Service。官网
  • Blade：国人开发的一个轻量级的MVC框架. 它拥有简洁的代码，优雅的设计。官网

科学计算与分析

用于科学计算和分析的函数库。

  • DataMelt：用于科学计算、数据分析及数据可视化的开发环境。官网
  • JGraphT：支持数学图论对象和算法的图形库。官网
  • JScience：用来进行科学测量和单位的一组类。官网

文档索引引擎，用于搜索和分析。

  • Apache Solr：一个完全的企业搜索引擎。为高吞吐量通信进行了优化。官网
  • Elasticsearch：一个分布式、支持多租户（multitenant）全文本搜索引擎。提供了RESTful Web接口和无schema的JSON文档。官网
  • Apache Lucene：是一个开放源代码的全文检索引擎工具包，是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。官网

安全

用于处理安全、认证、授权或会话管理的函数库。

  • Apache Shiro：执行认证、授权、加密和会话管理。官网
  • Bouncy Castle，涵盖了从基础的帮助函数到PGP/SMIME操作。官网：多途加密开发库。支持JCA提供者（JCA provider)
  • Cryptomator：在云上进行客户端跨平台透明加密。官网
  • Keycloak：为浏览器应用和RESTful Web Service集成SSO和IDM。目前还处于beta版本，但是看起来非常有前途。官网
  • PicketLink：PicketLink是一个针对Java应用进行安全和身份认证管理的大型项目（Umbrella Project）。官网
  • Sa-Token：Sa-Token 是一个轻量级 Java 权限认证框架，主要解决：登录认证、权限认证、Session会话、单点登录、OAuth2.0、微服务网关鉴权 等一系列权限相关问题。官网

序列化

用来高效处理序列化的函数库。

  • FlatBuffers：高效利用内存的序列化函数库，无需解包和解析即可高效访问序列化数据。官网
  • Kryo：快速、高效的对象图形序列化框架。官网
  • FST：提供兼容JDK的高性能对象图形序列化。官网
  • MessagePack：一种高效的二进制序列化格式。官网

应用服务器

用来部署应用程序的服务器。

模板引擎

在模板中替换表达式的工具。

  • Apache Velocity：提供HTML页面模板、email模板和通用开源代码生成器模板。官网
  • FreeMarker：通用模板引擎，不需要任何重量级或自己使用的依赖关系。官网
  • Handlebars.java：使用Java编写的模板引擎，逻辑简单，支持语义扩展（semantic Mustache）。官网
  • Thymeleaf：旨在替换JSP，支持XML文件的工具。官网
  • Beetl：新一代的模板引擎，功能强大，性能良好，超过当前流行的模板引擎。而且还易学易用。官网

测试

测试内容从对象到接口，涵盖性能测试和基准测试工具。

  • Apache JMeter：功能性测试和性能评测。官网
  • Arquillian：集成测试和功能行测试平台，集成Java EE容器。官网
  • AssertJ：支持流式断言提高测试的可读性。官网
  • Awaitility：用来同步异步操作的DSL。官网
  • Cucumber：BDD测试框架。官网
  • Gatling：设计为易于使用、可维护的和高性能负载测试工具。官网
  • Hamcrest：可用来灵活创建意图（intent）表达式的匹配器。官网
  • JMockit：用来模拟静态、final方法等。官网
  • JUnit：通用测试框架。官网
  • Mockito：在自动化单元测试中创建测试对象，为TDD或BDD提供支持。官网
  • PowerMock： 支持模拟静态方法、构造函数、final类和方法、私有方法以及移除静态初始化器的模拟工具。官网
  • REST Assured：为REST/HTTP服务提供方便测试的Java DSL。官网
  • Selenide：为Selenium提供精准的周边API，用来编写稳定且可读的UI测试。官网
  • Selenium：为Web应用程序提供可移植软件测试框架。官网
  • Spock：JUnit-compatible framework featuring an expressive Groovy-derived specification language.官网兼容JUnit框架，支持衍生的Groovy范的语言。
  • TestNG：测试框架。官网
  • Truth：Google的断言和命题（proposition）框架。官网
  • Unitils：模块化测试函数库，支持单元测试和集成测试。官网
  • WireMock：Web Service测试桩（Stub）和模拟函数。官网

通用工具库

通用工具类函数库。

  • Apache Commons：提供各种用途的函数，比如配置、验证、集合、文件上传或XML处理等。官网
  • args4j：命令行参数解析器。官网
  • CRaSH：为运行进行提供CLI。官网
  • Gephi：可视化跨平台网络图形化操作程序。官网
  • Guava：集合、缓存、支持基本类型、并发函数库、通用注解、字符串处理、I/O等。官网
  • JADE：构建、调试多租户系统的框架和环境。官网
  • javatuples：正如名字表示的那样，提供tuple支持。尽管目前tuple的概念还有留有争议。官网
  • JCommander：命令行参数解析器。官网
  • Protégé：提供存在论（ontology）编辑器以及构建知识系统的框架。官网
  • Hutool：一个Java工具集，缓存、HTTP、加密解密、DFA、JSON、分组配置文件、数据库操作、图片验证码、Excel读写、定时任务、模板引擎、邮件、Servlet、二维码、Emoji、分词等一系列工具类。官网

网络爬虫

用于分析网站内容的函数库。

  • Apache Nutch：可用于生产环境的高度可扩展、可伸缩的网络爬虫。官网
  • Crawler4j：简单的轻量级网络爬虫。官网
  • JSoup：刮取、解析、操作和清理HTML。官网
  • webmagic：一个可扩展的Java爬虫框架，架构类似Python的Scrapy。

Web框架

用于处理Web应用程序不同层次间通讯的框架。

  • Apache Tapestry：基于组件的框架，使用Java创建动态、强健的、高度可扩展的Web应用程序。官网
  • Apache Wicket：基于组件的Web应用框架，与Tapestry类似带有状态显示GUI。官网
  • Google Web Toolkit：一组Web开发工具集，包含在客户端将Java代码转为JavaScript的编译器、XML解析器、RCP 官网API、JUnit集成、国际化支持和GUI控件。
  • Grails：Groovy框架，旨在提供一个高效开发环境，使用约定而非配置、没有XML并支持混入（mixin）。官网
  • Ninja：Java全栈Web开发框架。非常稳固、快速和高效。官网
  • Pippo：小型、高度模块化的类Sinatra框架。官网
  • Play：使用约定而非配置，支持代码热加载并在浏览器中显示错误。官网
  • PrimeFaces：JSF框架，提供免费和带支持的商业版本。包括若干前端组件。官网
  • Ratpack：一组Java开发函数库，用于构建快速、高效、可扩展且测试完备的HTTP应用程序。官网
  • Spring Boot：微框架，简化了Spring新程序的开发过程。官网
  • Spring：旨在简化Java EE的开发过程，提供依赖注入相关组件并支持面向切面编程。官网
  • Vaadin：基于GWT构建的事件驱动框架。使用服务端架构，客户端使用Ajax。官网
  • Blade：国人开发的一个轻量级的MVC框架. 它拥有简洁的代码，优雅的设计。官网

业务流程管理套件

流程驱动的软件系统构建。

  • jBPM：非常灵活的业务流程管理框架，致力于构建开发与业务分析人员之间的桥梁。官网
  • Activity：轻量级工作流和业务流程管理框架。官网 github

资源

社区

  • r/java：Reddit的Java子社区。官网
  • stackoverflow：问答平台。官网
  • vJUG：虚拟Java用户组。官网
  • java8 新特性教程例子。github

有影响力的书

具有广泛影响且值得阅读的Java经典书籍。

播客

可以一边编程一边听的东西。

  • Java Council：官网
  • Java Posse：Discontinued as of 02/2015.官网

微博、微信公众号

  • ImportNew：是最受欢迎的、专注Java技术分享的微信公众号。专注Java技术分享，包括Java基础技术、进阶技能、架构设计和Java技术领域动态等。

  • ImportNew 微博：@ImportNew

Twitter

  • Adam Bien：自由职业者、作家、JavaONE明星演讲者、顾问、Java Champion。
  • Antonio Goncalves：Java Champion、JUG Leader、Devoxx France、Java EE 6/7、JCP、作家。
  • Arun Gupta：Java Champion、JavaONE明星演讲者、JUG Leader、Devoxx4Kids成员、Red Hatter。
  • Bruno Borges：Oracle产品经理、Java Jock。
  • Ed Burns：Oracle技术团队顾问。
  • Eugen Paraschiv：Spring安全课程作者。
  • James Weaver：Java、JavaFX、IoT开发者、作者和演讲者。
  • Java EE：Java EE Twitter官方账号。
  • Java Magazine：Java杂志官方账号。
  • Java.net：Java.net官方账号。
  • Java：Java Twitter官方账号。
  • Javin Paul：知名Java博客作者。
  • Lukas Eder：Data Geekery（jOOQ）创始人兼CEO。
  • Mario Fusco：RedHatter、JUG协调、活跃讲师和作者。
  • Mark Reinhold：Oracle首席架构师、Java平台开发组。
  • Martijn Verburg：London JUG co-leader、演讲者、作家、Java Champion等。
  • OpenJDK：OpenJDK官方账号。
  • Reza Rahman：Java EE、GlassFish、WebLogic传道者、作家、演讲者、开源黑客。
  • Simon Maple：Java Champion、virtualJUG创始人、LJC leader、RebelLabs作者。
  • Stephen Colebourne： Java Champion、演讲者。
  • Tim Boudreau：作家、NetBeans大牛。
  • Trisha Gee：Java Champion、演讲者。

微博、微信公众号

  • ImportNew 微博：@ImportNew
  • ImportNew：最受欢迎的、专注Java技术分享的微信公众号。专注Java技术分享，包括Java基础技术、进阶技能、架构设计和Java技术领域动态等。

知名网站

值得关注的Java技术站点。

中文站点

  • ImportNew（ImportNew 专注 Java 技术）

英文站点

允许一切发生

Kubernetes的网络模型：Overlay和Underlay

     本文分别介绍 Overlay 网络模型和 Underlay 网络模型。

     Overlay 网络模型物理网络模型中，连通多个物理网桥上的主机的一个简单办法是通过媒介直接连接这些网桥设备，各个主机处于同一个局域网（LAN）之中，管理员只需要确保各个网桥上每个主机的 IP 地址不相互冲突即可。类似地，若能够直接连接宿主机上的虚拟网桥形成一个大的局域网，就能在数据链路层打通各宿主机上的内部网络，让容器可通过自有IP地址直接通信。为避免各容器间的 IP 地址冲突，一个常见的解决方案是将每个宿主机分配到同一网络中的不同子网，各主机基于自有子网向其容器分配 IP 地址。

     显然，主机间的网络通信只能经由主机上可对外通信的网络接口进行，跨主机在数据链路层直接连接虚拟网桥的需求必然难以实现，除非借助宿主机间的通信网络构建的通信“隧道”进行数据帧转发。这种于某个通信网络之上构建出的另一个逻辑通信网络通常即 10.1.2 节提及的 Overlay 网络或Underlay 网络。图 10-7 为 Overlay 网络功能示意图。

图 10-7 Overlay网络功能示意图

     隧道转发的本质是将容器双方的通信报文分别封装成各自宿主机之间的报文，借助宿主机的网络“隧道”完成数据交换。这种虚拟网络的基本要求是各宿主机只需支持隧道协议即可，对于底层网络没有特殊要求。VXLAN 协议是目前最流行的 Overlay 网络隧道协议之一，它也是由 IETF 定义的 NVO3（Network Virtualization over Layer 3）标准技术之一，采用 L2 over L4（MAC-in-UDP）的报文封装模式，将二层报文用三层协议进行封装，可实现二层网络在三层范围内进行扩展，将“二层域”突破规模限制形成“大二层域”。

     那么，同一大二层域就类似于传统网络中 VLAN（虚拟局域网）的概念，只不过在 VXLAN 网络中，它被称作 Bridge-Domain，以下简称为 BD。类似于不同的 VLAN 需要通过 VLAN ID 进行区分，各 BD 要通过 VNI 加以标识。但是，为了确保 VXLAN 机制通信过程的正确性，涉及 VXLAN 通信的 IP 报文一律不能分片，这就要求物理网络的链路层实现中必须提供足够大的 MTU 值，或修改其 MTU 值以保证 VXLAN 报文的顺利传输。不过，降低默认MTU 值，以及额外的头部开销，必然会影响到报文传输性能。VXLAN 的显著的优势之一是对底层网络没有侵入性，管理员只需要在原有网络之上添加一些额外设备即可构建出虚拟的逻辑网络来。这个额外添加的设备称为 VTEP（VXLAN Tunnel Endpoints），它工作于 VXLAN 网络的边缘，负责相关协议报文的封包和解包等操作，从作用来说相当于 VXLAN 隧道的出入口设备。VTEP 代表着一类支持 VXLAN 协议的交换机，而支持 VXLAN 协议的操作系统也可将一台主机模拟为 VTEP，Linux 内核自 3.7 版本开始通过 vxlan 内核模块原生支持此协议。于是，各主机上由虚拟网桥构建的 LAN 便可借助 vxlan 内核模块模拟的 VTEP 设备与其他主机上的 VTEP 设备进行对接，形成隧道网络。同一个二层域内的各 VTEP 之间都需要建立 VXLAN 隧道，因此跨主机的容器间直接进行二层通信的 VXLAN 隧道是各 VTEP 之间的点对点隧道，如图 10-8 所示。

![图10-8 Linux VTEP](/pic/工程/云计算/K8S/Kubernetes的网络模型：Overlay和Underlay/Linux VTEP.png)

     对于 Flannel 来说，这个 VTEP 设备就是各节点上生成 flannel.1 网络接口，其中的“1”是 VXLAN 中的 BD 标识 VNI，因而同一 Kubernetes 集群上所有节点的 VTEP 设备属于 VNI 为 1 的同一个 BD。

     类似 VLAN 的工作机制，相同 VXLAN VNI 在不同 VTEP 之间的通信要借助二层网关来完成，而不同 VXLAN 之间，或者 VXLAN同非 VXLAN 之间的通信则需经由三层网关实现。VXLAN 支持使用集中式和分布式两种形式的网关：前者支持流量的集中管理，配置和维护较为简单，但转发效率不高，且容易出现瓶颈和网关可用性问题；后者以各节点为二层或三层网关，消除了瓶颈。然而，VXLAN 网络中的容器在首次通信之前，源 VTEP 又如何得知目标服务器在哪一个VTEP，并选择正确的路径传输通信报文呢？

     常见的解决思路一般有两种：多播和控制中心。

     多播是指同一个 BD 内的各 VTEP 加入同一个多播域中，通过多播报文查询目标容器所在的目标 VTEP。

     而控制中心则在某个共享的存储服务上保存所有容器子网及相关VTEP的映射信息，各主机上运行着相关的守护进程，并通过与控制中心的通信获取相关的映射信息。Flannel 默认的 VXLAN 后端采用的是后一种方式，它把网络配置信息存储在 etcd 系统上。Linux 内核自 3.7 版本开始支持vxlan 模块，此前的内核版本可以使用 UDP、IPIP 或 GRE 隧道技术。事实上，考虑到当今公有云底层网络的功能限制，Overlay 网络反倒是一种最为可行的容器网络解决方案，仅那些更注重网络性能的场景才会选择 Underlay 网络。

     Underlay 网络模型：Underlay 网络就是传统 IT 基础设施网络，由交换机和路由器等设备组成，借助以太网协议、路由协议和VLAN 协议等驱动，它还是 Overlay 网络的底层网络，为 Overlay 网络提供数据通信服务。容器网络中的 Underlay 网络是指借助驱动程序将宿主机的底层网络接口直接暴露给容器使用的一种网络构建技术，较为常见的解决方案有 MAC VLAN、IP VLAN 和直接路由等。

     MAC VLAN： MAC VLAN 支持在同一个以太网接口上虚拟出多个网络接口，每个虚拟接口都拥有唯一的 MAC 地址，并可按需配置 IP 地址。通常这类虚拟接口被网络工程师称作子接口，但在 MAC VLAN 中更常用上层或下层接口来表述。与 Bridge 模式相比，MAC VLAN 不再依赖虚拟网桥、NAT 和端口映射，它允许容器以虚拟接口方式直接连接物理接口。图 10-9 给出了 Bridge 与 MAC VLAN 网络对比示意图。

图10-9 Bridge与MAC

     MAC VLAN 有 Private、VEPA、Bridge 和Passthru 几种工作模式，它们各自的工作特性如下。

  • Private：禁止构建在同一物理接口上的多个 MAC VLAN 实例（容器接口）彼此间的通信，即便外部的物理交换机支持“发夹模式”也不行。
  • VPEA：允许构建在同一物理接口上的多个 MAC VLAN 实例（容器接口）彼此间的通信，但需要外部交换机启用发夹模式，或者存在报文转发功能的路由器设备。
  • Bridge：将物理接口配置为网桥，从而允许同一物理接口上的多个 MAC VLAN 实例基于此网桥直接通信，而无须依赖外部的物理交换机来交换报文；此为最常用的模式，甚至还是 Docker 容器唯一支持的模式。
  • Passthru：允许其中一个 MAC VLAN 实例直接连接物理接口。

     由上述工作模式可知，除了 Passthru 模式外的容器流量将被 MAC VLAN 过滤而无法与底层主机通信，从而将主机与其运行的容器完全隔离，其隔离级别甚至高于网桥式网络模型，这对于有多租户需求的场景尤为有用。由于各实例都有专用的 MAC 地址，因此 MAC VLAN 允许传输广播和多播流量，但它要求物理接口工作于混杂模式，考虑到很多公有云环境中并不允许使用混杂模式，这意味着 MAC VLAN 更适用于本地网络环境。需要注意的是，MAC VLAN 为每个容器使用一个唯一的 MAC 地址，这可能会导致具有安全策略以防止 MAC 欺骗的交换机出现问题，因为这类交换机的每个接口只允许连接一个 MAC 地址。另外，有些物理网卡存在可支撑的 MAC 地址数量上限。

     IP VLAN IP VLAN 类似于 MAC VLAN，它同样创建新的虚拟网络接口并为每个接口分配唯一的 IP 地址，不同之处在于，每个虚拟接口将共享使用物理接口的 MAC 地址，从而不再违反防止 MAC 欺骗的交换机的安全策略，且不要求在物理接口上启用混杂模式，如图 10-10 所示。

![图10-10 MAC VLAN对比IP VLAN](/pic/工程/云计算/K8S/Kubernetes的网络模型：Overlay和Underlay/MAC VLAN对比IP VLAN.png)

     IP VLAN 有 L2 和 L3 两种模型，其中 IP VLAN L2 的工作模式类似于 MAC VLAN Bridge 模式，上层接口（物理接口）被用作网桥或交换机，负责为下层接口交换报文。

     而 IP VLAN L3 模式中，上层接口扮演路由器的角色，负责为各下层接口路由报文，如图 10-11 所示。IP VLAN L2 模型与MAC VLAN Bridge 模型都支持 ARP 协议和广播流量，它们拥有直接接入网桥设备的网络接口，能够通过 802.1d 数据包进行泛洪和 MAC 地址学习。但 IP VLAN L3 模式下，网络栈在容器内处理，不支持多播或广播流量，从这个意义上讲，它的运行模式与路由器的报文处理机制相同。虽然支持多种网络模型，但 MAC VLAN 和 IP VLAN 不能同时在同一物理接口上使用。Linux 内核文档中强调，MAC VLAN 和 IP VLAN 具有较高的相似度，因此，通常仅在必须使用 IP VLAN 的场景中才不使用 MAC VLAN。一般说来，强依赖于 IP VLAN 的场景有如下几个：

  • Linux 主机连接到的外部交换机或路由器启用了防止 MAC 地址欺骗的安全策略；
  • 虚拟接口的需求数量超出物理接口能够支撑的容量上限，并且将接口置于混杂模式会给性能带来较大的负面影响；
  • 将虚拟接口放入不受信任的网络名称空间中可能会导致恶意的滥用。

图10-11 IP VLAN的L2和L3模型

     需要注意的是，Linux 内核自 4.2 版本后才支持 IP VLAN 网络驱动，且在 Linux 主机上使用 ip link 命令创建的 802.1q配置接口不具有持久性，因此需依赖管理员通过网络启动脚本保持配置。

     直接路由 “直接路由”模型放弃了跨主机容器在 L2 的连通性，而专注于通过路由协议提供容器在 L3 的通信方案。这种解决方案因为更易于集成到现在的数据中心的基础设施之上，便捷地连接容器和主机，并在报文过滤和隔离方面有着更好的扩展能力及更精细的控制模型，因而成为容器化网络较为流行的解决方案之一。

图10-12 直接路由虚拟网络示意图

一个常用的直接路由解决方案如图 10-12 所示，每个主机上的各容器在二层通过网桥连通，网关指向当前主机上的网桥接口地址。跨主机的容器间通信，需要依据主机上的路由表指示完成报文路由，因此每个主机的物理接口地址都有可能成为另一个主机路由报文中的“下一跳”，这就要求各主机的物理接口必须位于同一个 L2 网络中。于是，在较大规模的主机集群中，问题的关键便转向如何更好地为每个主机维护路由表信息。常见的解决方案有：

  • Flannel host-gw 使用存储总线 etcd 和工作在每个节点上的 flanneld 进程动态维护路由；
  • Calico 使用 BGP（Border Gateway Protocol）协议在主机集群中自动分发和学习路由信息。与 Flannel 不同的是，Calico 并不会为容器在主机上使用网桥，而是仅为每个容器生成一对 veth 设备，留在主机上的那一端会在主机上生成目标地址，作为当前容器的路由条目，如图 10-13 所示。

图10-13 Calico的直接路由模型示意图

     Calico 的直接路由模型示意图显然，较 Overlay 来说，无论是 MAC VLAN、IP VLAN 还是直接路由机制的 Underlay 网络模型的实现，它们因无须额外的报文开销而通常有着更好的性能表现，但对底层网络有着更多的限制条件。

Go语言包相关概念

1、包的相关概念

     Go 语言是使用包来组织源代码的，并实现命名空间的管理。任何源代码文件必须属于某个包。源码文件的第一行有效代码必须是 package pacakgeName 语句，通过该语句声明自己所在的包。

2、包的特征

     所有的 .go 文件，除了空行和注释，都应该在第一行声明自己所属的包。即所有代码都必须组织在 package 中。包的结构特点有：

  • 源文件头部以 package 声明包名称；
  • 包由同一目录下的多个源码文件组成，即一个目录下的同级文件属于同一个包；
  • 每个包都在一个单独的目录里；
  • 包所在的目录名最好不用 main 、 all 、 std 这三个保留名称；
  • 可执行文件必须包含 package main 和入口函数 main ， main 包是 Go 语言程序的入口包，一个 Go 语言程序必须有且仅有一个 main 包，并且，一个 main 包中也必须有且仅有一个 main 函数。如果一个程序没有 main 包，那么编译时将会出错，无法生成可执行文件；
  • 不能把多个包放到同一个目录中，也不能把同一个包的文件分拆到多个不同目录中。这意味着，同一个目录下的所有 .go 文件必须声明同一个包名；

     包中成员以名称首字母大小写决定访问权限。该规则适用于全局变量、全局常量、类型、结构字段、函数、方法等。

  • Public : 首字母大写，可被包外访问；
  • internal : 首字母小写，仅包内成员可以访问；

3、包名约束

     给包命名的惯例是使用包所在目录的名字。给包及其目录命名时，应该使用简洁、清晰且全小写的名字，这有利于开发时频繁输入包名。
     记住，并不需要所有包的名字都与别的包不同，因为导入包时是使用全路径的，所以可以区分同名的不同包。
     一般情况下，包被导入后会使用你的包名作为默认的名字，不过这个导入后的名字可以修改。这个特性在需要导入不同目录的同名包时很有用。

     关于默认包名一般采用导入路径名的最后一段的约定也有三种例外情况:

  • 包对应一个可执行程序，也就是 main 包，这时候 main 包本身的导入路径是无关紧要的。名字为 main 的包是给 go build 构建命令一个信息，这个包编译完之后必须调用连接器生成一个可执行程序。
  • 包所在的目录中可能有一些文件名是以 _test.go 为后缀的 Go 源文件（译注：前面必须有其它的字符，因为以 _ 或 . 开头的源文件会被构建工具忽略），并且这些源文件声明的包名也是以 _test 为后缀名的。这种目录可以包含两种包：一种是普通包，另一种则是测试的外部扩展包。所有以 _test 为后缀包名的测试外部扩展包都由 go test 命令独立编译，普通包和测试的外部扩展包是相互独立的。测试的外部扩展包一般用来避免测试代码中的循环导入依赖。
  • 一些依赖版本号的管理工具会在导入路径后追加版本号信息，例如“gopkg.in/yaml.v2” 这种情况下包的名字并不包含版本号后缀，而是 yaml 。

4、main 包

     在 Go 语言里，命名为 main 的包具有特殊的含义。 Go 语言的编译程序会试图把这种名字的包编译为二进制可执行文件。所有用 Go 语言编译的可执行程序都必须有一个名叫 main 的包。
     当编译器发现某个包的名字为 main 时，它一定也会发现名为 main() 的函数，否则不会创建可执行文件。 main() 函数是程序的入口，所以，如果没有这个函数，程序就没有办法开始执行。程序编译时，会使用声明 main 包代码所在目录的目录名作为二进制可执行文件的文件名。

     而且通常来说，main 包应该很简洁。我们在 main 包中会做一些命令行参数解析、资源初始化、日志设施初始化、数据库连接初始化等工作，之后就会将程序的执行权限交给更高级的执行控制对象。

5、包的声明

     在 Go 语言中，代码包中的源码文件名可以是任意的，这些任意名称的源码文件都必须以包声明语句作为文件中代码的第一行。比如 src 目录下的代码包 common/upload 包中的所有源码文件都要先声明自己属于common/upload 包：

1
package upload

     package 是 Go 语言中用于包声明语句的关键字。 Go 语言规定包声明中的包名为代码包路径的最后一个元素。如上，common/upload 包的包路径为 common/upload ，而包声明中的包名则为 upload 。而针对源码文件（即包含 main 函数的 .go 文件），无论存放在哪个包中，它都必须声明为属于 main 包。

6、包的引入

     标准包的源码位于 $GOROOT/src/ 下面，标准包可以直接引用。自定义的包和第三方包的源码必须放到 $GOPATH/src/ 目录下才能被引用。导入包需要使用关键字 import ，它会告诉编译器你想引用该位置的包内的代码。如果需要导入多个包，习惯上是将 import 语句包装在一个导入块中。包的引用路径有两种写法， 一种是绝对路径，另一种是相对路径。要在代码中引用其他包的内容，需要使用 import 关键字导入使用的包。具体语法如下：

1
import "包的路径"

     注意事项：

  • import 导入语句通常放在源码文件开头包声明语句的下面；
  • 导入的包名需要使用双引号包裹起来；
  • 包名是从GOPATH/src/ 后开始计算的，使用/ 进行路径分隔。

     包的导入有两种写法，分别是单行导入和多行导入。

  • 单行导入:

    1
    2
    import "包 1 的路径"
    import "包 2 的路径"

  • 多行导入

    1
    2
    3
    4
    import (
        "包 1 的路径"
        "包 2 的路径"
    )

6.1、包的绝对路径

     包的绝对路径就是 $GOROOT/src 或 $GOPATH/src 后面包的源码的全路径，比如下面的包引用：

1
2
3
import "common/upload"
import "database/sql/driver"
import "database/sql"

     upload 包是自定义的包，其源码位于 $GOPATH/src/common/upload 目录下，代码包导入使用的路径就是代码包在工作区的 src 目录下的相对路径，比如 upload 的绝对路径为 /home/setsunayang/gocode/src/common/upload ，而 /home/setsunayang/gocode 是被包含在环境变量 GOPATH 中的工作区目录路径，则其代码包导入路径就是 common/upload。

     sql 和 driver 包的源码分别位于 $GOROOT/src/database/sql 和 $GOROOT/src/database/sql/driver 下。

     编译器会首先查找 Go 的安装目录，然后才会按顺序查找 GOPATH 变量里列出的目录。一旦编译器找到一个满足 import 语句的包，就停止进一步查找。

6.2、相对路径引用

     相对路径只能用于引用 $GOPATH 下的包，标准包的引用只能使用全路径引用。比如下面两个包：包 a 的路径是 $GOPATH/src/lab/a ，包 b 的源码路径为 $GOPATH/src/lab/b ，假设 b 引用了 a 包，则可以使用相对路径引用方式。示例如下：

1
2
3
4
5
// 相对路径引用
import "../a" 

// 绝对路径引用
import "lab/a"

6.3、引用格式

     常用的包引用有以下 4 种格式，我们以 fmt 包为例进行说明。

  • 标准引用方式
1
import "fmt”

     此时可以用 fmt.

  • 别名引用方式
1
import F "fmt”

     此时相当于给包 fmt 起了个别名 F ，用 F. 代替标准的 fmt.作为前缀引用 fmt 包内可导出元素。

  • 省略引用方式
1
import . "fmt"

     此时相当于把包 fmt 的命名空间直接合并到当前程序的命名空间中，使用 fmt 包内可导出元素可以不用前缀 fmt. ，直接引用。示例如下：

1
2
3
4
5
6
package main
import . "fmt"
func main() {
    // 不需要加前级fmt.
    Println("hello , world”)
}
  • 仅执行包初始化 init 函数

     使用标准格式引用包，但是代码中却没有使用包，编译器会报错。如果包中有 init 初始化函数，则通过 import packageName 这种方式引用包，仅执行包的初始化函数，即使包没有 init 初始化函数，也不会引发编译器报错。示例如下：

1
import  _ "fmt"

     下划线字符 _ 在 Go 语言里称为空白标识符，这个标识符用来抛弃不想继续使用的值，如给导入的包赋予一个空名字，或者忽略函数返回的你不感兴趣的值。

  • 远程导入

     Go 工具链会使用导入路径确定需要获取的代码在网络的什么地方。

1
import "github.com/net/http"

     用导入路径编译程序时， go build 命令会使用 GOPATH 的设置，在磁盘上搜索这个包。

     事实上，这个导入路径代表一个 URL ，指向 GitHub 上的代码库。如果路径包含 URL ，可以使用 Go 工具链从分布式版本控制系统获取包，并把包的源代码保存在 GOPATH 指向的路径里与 URL 匹配的目录里。

     这个获取过程使用 go get 命令完成。go get 将获取任意指定的 URL 的包，或者一个已经导入的包所依赖的其它包。由于 go get 的这种递归特性，这个命令会扫描某个包的源码树，获取能找到的所有依赖包。

6.3、综合实践

     当导入多个代码包时，需要用圆括号括起它们，且每个代码包名独占一行。在调用被导入代码包中的函数或使用其中的结构体、变量或常量时，需要使用包路径的最后一个元素加 . 的方式指定代码所在的包。

     例如，如果我们有两个包 logging 和 go_lib/logging , 并且有相同的方法 logging_print() ，且有一个源码文件需要导入这两个包（标准引用）：

1
2
3
4
import (
    "logging"
    "go_lib/logging"
)

     则这句代码 logging.logging_print() 就会引起冲突， Go 语言无法知道 logging.Xxx() 代表的是哪一个包。所以，在 Go 语言中，如果在同一个源码文件中使用上述方法导入多个代码包，那么代码包路径的最后一个元素不可以重复。

     如果用这段代码包导入代码，在编译代码时，Go 语言会抛出：

1
”logging redeclared as imported package name”

的错误。如果确实需要导入，当有这类重复时，我们可以给它们起个别名来区别（别名引用）：

1
2
3
4
import (
    la "logging"
    lb "go_lib/logging"
)

调用包中的代码以如下方式：

1
var logger la.Logger = la.logging_print()

     这里不必给每个引起冲突的代码包都起一个别名，只要能够区分它们就可以了。如果我们想直接调用某个依赖包的程序，就可以用 . 来代替别名（省略引用）。

1
2
3
4
import (
    . "logging"
    lb "go_lib/logging"
)

在当前源码文件中，可以直接进行代码调用了：

1
var logger Logger = logging_print()

     Go 语言把变量、常量、函数、结构体和接口统称为程序实体，而把它们的名字统称为标识符。标识符可以是任何 Unicode 编码可以表示的字母字符、数字以及下划线 ”_”，并且，首字母不能是数字。标识符的首字母的大小写控制着对应程序实体的访问权限。

     如果标识符的首字母是大写的，那么它对应的程序实体就可以被本代码包之外的代码访问到，也可以称其为可导出的。否则对应的程序实体就只能被本包内的代码访问。当然，还需要有以下两个额外条件：

  • (1)、程序实体必须是非局部的。局部程序实体是被定义在函数或结构体的内部。
  • (2)、代码包所在的目录必须被包含在环境变量 GOPATH 中的工作区目录中。

     如果代码包 logging 中有一个叫做 getSimpleLogger 的函数，那么光从这个函数的名字上我们就可以看出，这个函数是不能被包外代码调用的。

     如果我们只想初始化某个代码包而不需要在当前源码文件中使用那个代码包中的任何代码，即可以用 _ 来代替别名（仅执行包初始化 init 函数的引用方式）。

1
2
3
import (
    _ "logging"
)

6.5、注意事项

     一个包可以有多个 init 函数，包加载会执行全部的 init 函数，但并不能保证执行顺序，所以不建议在一个包中放入多个 init 函数，将需要初始化的逻辑放到一个 init 函数里面。

     包不能出现循环引用。比如包 a 引用了包 b ，包 b 引用了包 c，如果包 c 又引用了包 a，则编译不能通过。

     包的重复引用是允许的。比如包 a 引用了包 b 和包 c ，包 b 和包 c 都引用了包 d 。这种场景相当于重复引用了d，这种情况是允许的， 并且 Go 编译器保证 d 的 init 函数只会执行一次。

7、包初始化

     在 Go 语言中，可以有专门的函数负责代码包初始化。这个函数需要无参数声明和结果声明，且名称必须为 init ，如下：

1
2
3
func init() {
	println("Initialize")
}

     Go 语言会在程序真正执行前对整个程序的依赖进行分析，并初始化相关的代码包。也就是说，所有的代码包初始化函数都会在 main 函数（命令源码文件中的入口函数）之前执行完成，而且只会执行一次。并且，当前代码包中的所有全局变量的初始化都会在代码包初始化函数执行前完成。这就避免了在代码包初始化函数对某个变量进行赋值之后又被该变量声明中赋予的值覆盖掉的问题。

     每个包可以包含任意多个 init 函数，这些函数都会在程序执行开始的时候被调用。所有被编译器发现的 init 函数都会安排在 main 函数之前执行。 init 函数用在设置包、初始化变量或者其他要在程序运行前优先完成的引导工作。

     Go 里面有两个保留的函数： init 函数（能够应用于所有的 package ）和 main 函数（只能应用于 package main ）。这两个函数在定义时不能有任何的参数和返回值。

     虽然一个 package 里面可以写任意多个 init 函数，但这无论是对于可读性还是以后的可维护性来说，我们都强烈建议用户在一个 package 中每个文件只写一个 init 函数。

     Go 程序会自动调用 init() 和 main() ，所以不需要在任何地方调用这两个函数。每个 package 中的 init 函数都是可选的，但 package main 只能包含一个 main 函数。

     程序的初始化和执行都起始于 main 包。如果 main 包还导入了其它的包，那么就会在编译时将它们依次导入。有时一个包会被多个包同时导入，那么它只会被导入一次（例如很多包可能都会用到 fmt 包，但它只会被导入一次，因为没有必要导入多次）。

     当一个包被导入时，如果该包还导入了其它的包，那么会先将其它包导入进来，然后再对这些包中的包级常量和变量进行初始化，接着执行 init 函数（如果有的话），依次类推。等所有被导入的包都加载完毕了，就会开始对 main 包中的包级常量和变量进行初始化，然后执行 main 包中的 init 函数（如果存在的话），最后执行 main 函数。下图详细地解释了整个执行过程：

包的初始化过程

     init 函数特征总结：

  • 每个源文件都可以定义一个或多个初始化函数，但强烈建议只定义一个。
  • 编译器不保证多个初始化函数执行次序。
  • 初始化函数在单一线程被用，仅执行一次。
  • 初始化函数在包所有全局变量初始化后执行。
  • 在所有初始化函数结束后才执行 main.main。
  • init() 函数不能被其他函数调用。

init执行过程

     所以简而言之，你只需要记住这三点就可以了：

  • 依赖包按“深度优先”的次序进行初始化；
  • 每个包内按以“常量 -> 变量 -> init 函数”的顺序进行初始化；
  • 包内的多个 init 函数按出现次序进行自动调用；

     重点关注 init 函数具备的几种行为特征：

  • 执行顺位排在包内其他语法元素常量、变量的后面；
  • 每个 init 函数在整个 Go 程序生命周期内仅会被执行一次；
  • init 函数是顺序执行的，只有当一个 init 函数执行完毕后，才会去执行下一个 init 函数。

     这里举出《Go并发编程实战》中的例子，帮助理解上面的包初始化，如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
package main // 命令源码文件必须在这里声明自己属于main包

import ( // 引入了代码包fmt和runtime
    "fmt"
    "runtime"
)

func init() { // 包初始化函数
    fmt.Printf("Map: %v\n", m) // 先格式化再打印
    // 通过调用runtime包的代码获取当前机器所运行的操作系统以及计算架构
    // 而后通过fmt包的Sprintf方法进行字符串格式化并赋值给变量info
    info = fmt.Sprintf("OS: %s, Arch: %s", runtime.GOOS, runtime.GOARCH)
}

// 非局部变量，map类型，且已初始化
var m map[int]string = map[int]string{1: "A", 2: "B", 3: "C"}
var info string // 非局部变量，string类型，未被初始化

func main() { // 命令源码文件必须有的入口函数
    fmt.Println(info) // 打印变量info
}

     输出：

1
2
Map: map[1:A 2:B 3:C]
OS: windows, Arch: amd64

     在同一个代码包中，可以存在多个代码包初始化函数，甚至代码包内的每一个源码文件都可以定义多个代码包初始化函数。Go 语言编译器不能保证同一个代码包中的多个代码包初始化函数的执行顺序。如果要求按特定顺序执行的话，可以考虑使用 Channel 。

8、编译速度

     当我们修改了一个源文件，我们必须重新编译该源文件对应的包和所有依赖该包的其他包。即使是从头构建， Go 语言编译器的编译速度也明显快于其它编译语言。 Go 语言的闪电般的编译速度主要得益于三个语言特性。

  • 所有导入的包必须在每个文件的开头显式声明，这样的话编译器就没有必要读取和分析整个源文件来判断包的依赖关系。
  • 禁止包的环状依赖，因为没有循环依赖，包的依赖关系形成一个有向无环图，每个包可以被独立编译，而且很可能是被并发编译。
  • 编译后包的目标文件不仅仅记录包本身的导出信息，目标文件同时还记录了包的依赖关系。因此，在编译一个包的时候，编译器只需要读取每个直接导入包的目标文件，而不需要遍历所有依赖的的文件（译注：很多都是重复的间接依赖）。

一个人的觉醒，是从三观破裂开始的

什么是强者思维

大大方方去做想要做的事情

  • Copyrights © 2023-2024 杨海波
  • 访问人数: | 浏览次数:

请我喝杯咖啡吧~

支付宝
微信