继续上篇，本篇的目的是将 parse 过程介绍完成，然后我们就可以进入编译和运行环节。 目录： LispReader 补充 Analyze Parser 举例：if Parser 举例：fn FnMethod Primitive 参数性能优化 总结 上篇在介绍 LispReader 源码核心片段的时候没有介绍最后一个比较关键的代码片段： String token = readToken(r, (char) ch); return interpretToken(token); interpretToken 方法将去解析字符串 token 的含义，token 就是一个词汇单元，它的含义是什么，完全由 interpretToken 决定： static private Object interpretToken(String s) { if(s.equals("nil")) { return null; } else if(s.equals("true")) { return RT.T; } else if(s.equals("false")) { return RT.F; } Object ret = null; ret = matchSymbol(s); if(ret != null) return ret; throw Util.runtimeException("Invalid token: " + s); } 代码其实很清楚，token 可能是：

开篇 最近在读《Ruby Under a Microscope》（已经有中文版《Ruby 原理剖析》）。我很喜欢这本书介绍 Ruby 语言实现的方式，图文并茂，娓娓道来，不是特别深入，但是给你一个可以开始学习 Ruby 源码的框架和概念。 我大概在 2-3 年前开始阅读 Clojure Java 实现的源码，陆陆续续也有一些心得，想着可以在读 Ruby 这本书的时候，按照这本书的思路梳理一遍。因此就有了这第一篇： Clojure 如何理解代码。 目录： IO Reader LispReader Clojure 的编译器是 one-pass 还是 two-pass？ LispReader 实现 ListReader 解析 MetaReader 解析 Dispatch Macros 总结 我们抛开 leiningen 等构建工具，Clojure 唯一需要的是 JVM 和它的 jar 包，运行一段简单的 clojure 代码，可以这样： $ java -cp clojure.jar clojure.main -e "(println (+ 2 2))" 4 clojure.main 是所有 clojure 程序的启动入口，关于启动过程，后续会有单独一篇博客来介绍。-e 用来直接执行一段传入的 clojure 代码。 当 clojure 读到 (println (+ 2 2)) 这么一行代码的时候，它看到的是一个字符串。接下来它会将这段字符串拆成一个一个字符来读入，也就是

LeanCloud 的控制台会展示一个应用列表，应用列表会展示该用户的所有应用，以及每个应用的基本信息，例如总用户数、昨天请求量和本月请求量等。我们最多允许每个用户创建 50 个应用。伪代码大概是这样: (defn add-app-info "添加应用统计信息。" [app] (assoc app :yesterday_reqs (count-reqs app 7) :monthly_reqs (count-reqs app 30) :total_users (count-users app))) (defn get-client-apps "获取用户的应用列表" [client_id] (->> client_id (db/find-apps-by-client-id) (map add-app-info))) 显然，这里每个应用为了获取这些请求信息，都至少要请求三次。虽然这些统计请求本身已经有了缓存，但是假设有 50 个应用（实际中，部分开发者的应用数量包括协作应用在内会更多），那就需要发起 150 个请求，这个过程如果完全串行处理的话，假设 add-app-info 的开销至少是 1~3 毫秒，串行处理下来也需要 50~150 毫秒，加上传输的时间，那么用户的体验的就相当差了。 这时候，我们可以用并发处理来加速了，你只需要替换一个函数，将 get-client-apps 的 map 替换为 pmap 即可： (defn get-client-apps "获取用户的应用列表" [client_id] (->> client_id (db/find-apps-by-client-id) (pmap add-app-info))) 关于 pmap 的讨论参见 并发函数pmap、pvalues和pcalls。因为 pmap 对于 chunked sequnce 的处理是批量处理，因此最多同时使用 32 个并发任务在处理，这个线程数量在这个场景下是可以接受的。加速后的性能也可以估算出来 (Math/round (/ n 32.

Clojure 的并发方面的详细介绍可以参考我过去总结的 wiki —— Clojure 并发。 这次又想写个系列，介绍下实际编程中对这些并发机制的应用。 不过，很可能不会涉及 STM。 LeanCloud 本质上是一个 web 型的应用，基础的并发模型已经由 web server 和后端存储决定了，STM 的适应场景没有出现过。 这一篇先从 future 和 promise 开始。 最近处理这么一个任务，有一段业务代码要调用一个第三方接口来查询域名备案号，但是呢，这个第三方接口非常不稳定，经常查询出错或者超时，导致这个业务经常不可用。 (defn query-icp [domain] ;; HTTP 调用第三方接口 API 。 (query-icp-from-thirdparty1 domain)) 为了提高这个接口的稳定性，我们引入另一个查询服务，想让两个服务来竞争，谁能返回正常结果，就用谁的。假设这个服务封装成了函数 query-icp-from-thirdparty2。 ok，我们先加个 or 上去 (defn query-icp [domain] (or (query-icp-from-thirdparty1 domain) (query-icp-from-thirdparty2 domain))) 先尝试从一个服务查询，如果没有返回就尝试第二个服务。 但是这样有个问题，第三方服务的调用我们是一定要设置一个超时的。这个 or 改动我们改变了 query-icp 的超时承诺，原来最多等待 query-icp-from-thirdparty1 超时，现在可能遇到最高两倍的超时时间（假设两个服务都遇到超时），因为两个是顺序调用的，这肯定是不能接受的。 第一时间想到，我们将查询并发，启个线程去同时去查询两个服务，这时候就可以用 future。其次，任何一个服务如果有结果返回，我们就使用它，不等另一个服务的结果。在 Java 里我们可以用 CountDownLatch 或者 CompletionService。 在 Clojure 里我们可以用 promise + deliver。 (defn- do-query-icp [p f domain] (future (when-let [ret (f domain)] (deliver p ret)))) (defn query-icp [domain] (let [p (promise)] (do-query-icp p query-icp-from-thirdparty1 domain) (do-query-icp p query-icp-from-thirdparty2 domain) (deref p :5000 nil))) 在 do-query-icp 里我们利用 future 来异步调用接口，当接口有返回的时候，使用 deliver 将结果 ret 喂给 promise。

上周开始将线上服务往 clojure 1.8 迁移，原来是还是使用 1.6，升级过程没有太多问题，除了一些依赖库冲突之外，基本没有遇到困难。本来想尝试 clojure 1.8 引入的 direct-linking 技术，可惜我们的代码使用了不少 redefine function 的特性，加上使用了 direct-linking 后不能使用 nREPL 做 hot fix，不得不放弃这一特性。 Direct-linking 简单来说是省略了函数调用中的 var lookup 的过程，直接在函数的调用点上使用 JVM 的 invokestatic 指令调用该函数的静态方法 invokeStatic。 我们知道 clojure 里的每个函数都是一个对象，这个对象的类继承 clojure.lang.AFn，实现了 IFn 接口，其中有一系列 invoke 的实例方法。 在 clojure 1.8 后，生成的函数字节码引入了一个 invokeStatic 的静态方法，来包装原来实现的 invoke 方法， 而原来的实例方法 invoke 将调用委托给新的静态方法 invokeStatic。在使用了 direct-linking 后，如果你调用某个函数，将直接会调用这个函数对应的类的静态方法 invokeStatic，类似 Java 代码 MyFunctionXXXX.invokeStatic(...args) 的效果。由于是静态链接了类，如果你重新定义了 MyFunction，生成一个新类 MyFunctionYYY，调用者无法感知到新的类，还是会去调用老的类 MyFunctionXXXX 的静态方法 invokeStatic。这就是 direct-linking 带来的限制。启用了 Direct-Linking 后，由于没有 var lookup 这个 clojure runtime 过程存在，全部的调用都是 JVM 的 invokestatic 指令，理论上对 JIT 编译器的优化更友好。

原来在读 clojure.core 源码的时候，就发现宏有用到两个神奇的变量 &form 和 &env，比如 defn 宏： (def …… defn (fn defn [&form &env name & fdecl] ;; Note: Cannot delegate this check to def because of the call to (with-meta name ..) (if (instance? clojure.lang.Symbol name) nil (throw (IllegalArgumentException. "Fi …… (. (var defn) (setMacro)) 这里有很关键的一行代码： (. (var defn) (setMacro)) 我们后面会谈到。 defn 之所以需要明确声明 &form 和 &env（顺序还必须 &form 在前）两个函数参数，是因为他没有使用我们通常用到的 defmacro 的方式，当然 defmacro 本质上也是一个宏。defmacro 会隐式地加入这两个参数，不信我们看下： user=> (macroexpand `(defmacro nothing [a] `~a)) (do (clojure.

最近总结下最近的一些开发经验，形成几个 clojure 的开源项目： clj.qrcode：二维码生成 https://github.com/killme2008/clj.qrgen 示例： (use 'clj.qrgen) (as-file (from "hello world")) (as-bytes (from "hello world")) (from (vcard "John Doe" :email "john.doe@example.org" :address "John Doe Street 1, 5678 Doestown" :title "Mister" :company "John Doe Inc." :phonenumber "1234" :website "www.example.org")) secure-rand：安全随机数生成器 https://github.com/killme2008/secure-rand 想要安全的随机数，还是要使用 java.security.SecureRandom 类 示例： (ns test (:refer-clojure :exclude [rand rand-int rand-nth]) (:use [secure-rand.core :only [rand rand-int rand-nth]])) (rand) (rand 10) (rand-int 100) (rand-nth (range 10)) (secure-rand.core/base64 32) clj.qiniu：七牛云存储 SDK https://github.