【英文】Dragonfly 合伙人：去中心化推理的信任问题与验证挑战

在去中心化网络中，仅运行模型和信任输出是不够的。因为在去中心化的世界里，诚实不是假定的，而是经过验证的。这就是可验证推论发挥作用的地方。经过观察，我发现解决可验证推论的方法主要有三种： 1）零知识证明（ZKML）：无论模型有多大，证明的大小都是固定的。这就是 ZKML 通过 ZK-SNARKs 的所实现的。但这样做的成本很高，因此在可预见的未来，这对于大型模型来说是不切实际的； 2）乐观欺诈证明（乐观 ML）：乐观的方法是信任但验证。我们假设推论是正确的，除非另有证明。如果某个节点试图作弊，网络中的「观察者」可以指出它作弊，并使用欺诈证明对其提出质疑。乐观 ML 的优势是，只要有一个诚实的观察者在关注，它就是安全的。其成本比 ZK ML 低，但网络中的每个观察者都在重新运行自己的每个查询。在平衡状态下，这意味着如果有 10 个观察者，安全成本就必须转嫁到用户身上，因此用户必须支付超过 10 倍的推理成本； 3）加密经济学（加密经济 ML）：用户决定有多少个节点应该运行他们的查询，每个节点公布他们的回应，如果回应之间存在差异，奇数的节点就会被砍掉。这种方式的安全性较差，大多数节点都可以理性地选择串通。但这个系统的优势在于，用户可以指定他们需要的安全程度。 为什么可验证的 ML 很难实现：ML 的独特之处在于，ML 计算通常表示为密集的计算图，旨在 GPU 上高效运行。它们并不是为证明而设计的。因此，如果你想在 ZK 或乐观环境中证明 ML 计算，就必须将它们重新编译成可以证明的格式，而这是非常复杂和昂贵的。ML 的第二个基本难题是非决定性。程序验证假定程序的输出是确定的。但如果在不同的 GPU 架构或 CUDA 版本上运行同一个模型，就会得到不同的输出结果。即使你必须强制每个节点使用相同的架构，你仍然会遇到算法中使用的随机性问题。你可以通过控制 RNG 种子来解决随机性问题。但即便如此，你仍然会遇到最后一个令人担忧的问题：浮点运算中固有的非确定性。【原文为英文】\n原文链接