Zama发布 Concrete ML v1.9 版本，该版本支持 TFHE-rs 密文格式，支持开发者使用 Rust 生态系统进行加密机器学习工作流程，能够将 Concrete ML 模型无缝集成到基于 Rust 的 FHE 管道中。同时，LoRA LLM 微调协议也得到了性能上的改进，并推出了新的 SDK，旨在构建支持 FHE 的浏览器和移动应用程序，使移动用户能够安全地处理敏感数据。
Concrete ML v1.9 引入了对 TFHE-rs 密文格式的支持，使得 Concrete ML 模型能够使用 TFHE-rs 无缝集成到基于 Rust 的 FHE 管道中。此版本还为 LoRA LLM 微调协议带来了性能改进，以及新的示例笔记本，演示了其用法。
与此同时，Zama 还推出了 Concrete ML Extensions，这是一个新的客户端 SDK，专为构建支持 FHE 的浏览器和移动应用程序而设计。该 SDK 突出了全同态加密的潜力，使移动用户能够安全地处理他们的敏感数据——而无需以明文形式暴露它。
在这篇博文中，我们将深入探讨此版本的主要功能，并探索 Concrete ML 最新进展带来的可能性。
TFHE-rs 密文格式支持
Concrete ML 现在支持 TFHE-rs 基数密文格式，使加密的 ML 工作流程与 Rust 生态系统兼容。TFHE-rs 使用具有向后兼容性的通用参数集，这意味着今天使用这些参数加密的密文在未来仍然兼容。
通过 Concrete ML v1.9 中的这种新兼容性，你现在可以使用这些密文作为 ML 模型的输入和输出。以下代码段显示了如何编译模型以使用 TFHE-rs 密文。
model.compile(x, ciphertext_format=CiphertextFormat.TFHE_RS)
y_pred_tfhers = model.predict(fhe_test_data, fhe="execute")
你还可以将 TFHE-rs 密文与客户端/服务器 API 一起使用。一个新的用例演示了如何在决策树分类器输出的 logits 上使用 TFHE-rs 后处理。请注意，使用 TFHE-rs 密文格式需要在 ML 模型中添加一个转换层，这可能会引入 4-5 倍的延迟开销。
新用例：用于数学问题求解的微调 LLAMA
Concrete v1.9 带来了一个新的示例，即在 GPU 上完全功能化的加密微调管道。在示例笔记本中，LLAMA 1B 模型使用 LoRA 在数学问题数据集上进行了微调——完全在 FHE 下进行，并在 GPU 上加速。
我们比较了加密与明文训练运行中的困惑度分数来评估模型质量。通过性能优化，FHE 微调管道现在在桌面 GPU 上实现了高达 64 个 tokens/秒 的速度。
以下是微调如何提高模型的推理能力。
在微调之前，原始 LLAMA 模型为简单的数学问题产生以下输出：
Prompt: When you multiply a number by 7, it becomes 98. What is that number?
// 提示：当你把一个数乘以 7，它变成 98。那个数字是多少？
Response: If you multiply a number by 7, it becomes 98. So, the number you're asking about is 98.
// 响应：如果你把一个数乘以 7，它变成 98。所以，你问的那个数字是 98。
微调后，模型正确地解决了问题：
Prompt: When you multiply a number by 7, it becomes 98. What is that number?
// 提示：当你把一个数乘以 7，它变成 98。那个数字是多少？
Response: To find the number, you need to divide 98 by 7. 98 ÷ 7 = 14
// 响应：要找到这个数字，你需要用 98 除以 7。98 ÷ 7 = 14
在 50 个桌面 GPU 上训练完整数据集需要 28 小时。
移动客户端 SDK：Concrete ML Extensions
如今，手机存储着数十亿人的敏感信息，这使得隐私和安全比以往任何时候都更加重要。与此同时，人工智能的兴起表明了个人数据如何解锁强大的服务——从医疗保健见解和基因分析到个性化推荐和定向广告。这是一把双刃剑：可以使我们受益的相同数据也使我们的隐私面临风险。通过将 FHE 集成到移动应用程序中，我们可以在保证用户数据完全私密和安全的同时，启用个性化功能。
Concrete ML v1.9 推出了 Concrete ML Extensions，这是一个新的 SDK，专为构建支持 FHE 的客户端应用程序而设计。开发人员可以将此 SDK 编译为 Swift，从而使 iOS 应用程序能够以原生方式执行加密、解密和密钥生成。
分步教程可指导你完成编译 Swift 库并将其集成到 iOS 应用程序中的过程。在接下来的几周内，我们还将发布一系列演示 iOS 应用程序——敬请关注！
更多链接
