庄周梦蝶

生活、程序、未来

声明:本博客所有文章,未经允许,禁止转载。谢谢。

Clojure 并发实践: future 和 promise 处理异步返回值

| Comments

Clojure 的并发方面的详细介绍可以参考我过去总结的 wiki —— Clojure 并发。 这次又想写个系列,介绍下实际编程中对这些并发机制的应用。

不过,很可能不会涉及 STM。 LeanCloud 本质上是一个 web 型的应用,基础的并发模型已经由 web server 和后端存储决定了,STM 的适应场景没有出现过。

这一篇先从 future 和 promise 开始。

最近处理这么一个任务,有一段业务代码要调用一个第三方接口来查询域名备案号,但是呢,这个第三方接口非常不稳定,经常查询出错或者超时,导致这个业务经常不可用。

1
2
3
(defn query-icp [domain]
     ;; HTTP 调用第三方接口 API 。
     (query-icp-from-thirdparty1 domain))

为了提高这个接口的稳定性,我们引入另一个查询服务,想让两个服务来竞争,谁能返回正常结果,就用谁的。假设这个服务封装成了函数 query-icp-from-thirdparty2

ok,我们先加个 or 上去

1
2
3
4
(defn query-icp [domain]
  (or
    (query-icp-from-thirdparty1 domain)
    (query-icp-from-thirdparty2 domain)))

先尝试从一个服务查询,如果没有返回就尝试第二个服务。

但是这样有个问题,第三方服务的调用我们是一定要设置一个超时的。这个 or 改动我们改变了 query-icp 的超时承诺,原来最多等待 query-icp-from-thirdparty1 超时,现在可能遇到最高两倍的超时时间(假设两个服务都遇到超时),因为两个是顺序调用的,这肯定是不能接受的。

第一时间想到,我们将查询并发,启个线程去同时去查询两个服务,这时候就可以用 future。其次,任何一个服务如果有结果返回,我们就使用它,不等另一个服务的结果。在 Java 里我们可以用 CountDownLatch 或者 CompletionService。 在 Clojure 里我们可以用 promise + deliver。

1
2
3
4
5
6
7
8
9
10
(defn- do-query-icp [p f domain]
  (future
    (when-let [ret (f domain)]
      (deliver p ret))))

(defn query-icp [domain]
  (let [p (promise)]
    (do-query-icp p query-icp-from-thirdparty1 domain)
    (do-query-icp p query-icp-from-thirdparty2 domain)
    (deref p :5000 nil)))

do-query-icp 里我们利用 future 来异步调用接口,当接口有返回的时候,使用 deliver 将结果 ret 喂给 promise

而在 query-icp 里,我们先创建一个 promise,然后接连发起两次 do-query-icp 异步请求分别调用两个服务,然后利用 (deref p timeout-ms timeout-val) 等待结果,同时设置超时 5 秒和超时后的返回值 nil

当然,实质上, clojure 的 promise 也是基于 CountDownLatch 实现。

声明:本博客所有文章,未经允许,禁止转载。谢谢。

Clojure, Clojure 并发实践

« 编程小记: bug、clojure 状态和 paxos Xmemcached 死锁分析和 Aviator 可变参数方法实现 »

Comments