Concrete ML v1.9 版本发布，引入了对 TFHE-rs 密文格式的支持，使 Concrete ML 模型能够无缝集成到基于 Rust 的 FHE 管道中。
Concrete ML v1.9 引入了对 TFHE-rs 密文格式 的支持，从而可以使用 TFHE-rs 将 Concrete ML 模型无缝集成到基于 Rust 的 FHE 管道中。此版本还为 LoRA LLM 微调协议带来了 性能改进，以及展示其使用的新 example notebooks。
与此同时，Zama 还在推出 Concrete ML Extensions，这是一个新的客户端 SDK，专为构建支持 FHE 的浏览器和移动应用程序而设计。该 SDK 突出了全同态加密的潜力，它可以使移动用户安全地处理其敏感数据，而无需以明文形式公开。
在这篇博文中，我们将深入探讨此版本的主要功能，并探索 Concrete ML 的最新进展带来的可能性。
TFHE-rs 密文格式支持
Concrete ML 现在支持 TFHE-rs radix 密文格式，使加密的 ML 工作流程与 Rust 生态系统兼容。TFHE-rs 使用具有向后兼容性的通用参数集，这意味着今天使用这些参数加密的密文在未来仍然兼容。
通过 Concrete ML v1.9 中的这种新兼容性，你现在可以将这些密文用作 ML 模型的输入和输出。以下代码段展示了如何编译模型以使用 TFHE-rs 密文。
model.compile(x, ciphertext_format=CiphertextFormat.TFHE_RS)
y_pred_tfhers = model.predict(fhe_test_data, fhe="execute")
你还可以将 TFHE-rs 密文与客户端/服务器 API 一起使用。一个新的 use-case 演示了如何在决策树分类器输出的 logits 上使用 TFHE-rs 后处理。请注意，使用 TFHE-rs 密文格式需要在 ML 模型中使用转换层，这可能会引入 4-5 倍的延迟开销。
新的 use-case：用于解决数学问题的微调 LLAMA
Concrete v1.9 带来了一个新的 完全功能的加密微调管道 示例，该管道在 GPU 上运行。example notebook 中，LLAMA 1B 模型使用 LoRA 在数学问题数据集上进行了微调——完全在 FHE 下进行，并在 GPU 上加速。
我们比较了加密训练运行与明文训练运行的模型质量，使用了困惑度评分。通过性能优化，FHE 微调管道现在在桌面 GPU 上实现了高达 64 tokens/秒。
以下是微调如何提高模型的推理能力。
在微调之前，原始 LLAMA 模型为简单的数学问题生成以下输出：
Prompt: When you multiply a number by 7, it becomes 98. What is that number? # 提示：当你将一个数字乘以 7 时，它变为 98。那个数字是多少？
Response: If you multiply a number by 7, it becomes 98. So, the number you're asking about is 98. # 响应：如果将一个数字乘以 7，它变为 98。所以，你要求的数字是 98。
微调后，模型正确地解决了问题：
Prompt: When you multiply a number by 7, it becomes 98. What is that number? # 提示：当你将一个数字乘以 7 时，它变为 98。那个数字是多少？
Response: To find the number, you need to divide 98 by 7. 98 ÷ 7 = 14 # 响应：要找到这个数字，你需要将 98 除以 7。98 ÷ 7 = 14
在 50 个桌面 GPU 上对完整数据集进行训练需要 28 小时。
移动客户端 SDK：Concrete ML Extensions
如今，手机存储着数十亿人的敏感信息，这使得隐私和安全比以往任何时候都更加重要。与此同时，人工智能的兴起表明，个人数据如何解锁强大的服务——从医疗保健见解和基因分析，到个性化推荐和定向广告。这是一把双刃剑：可以使我们受益的相同数据也会使我们的隐私面临风险。通过将 FHE 集成到移动应用中，我们可以在确保用户数据完全私密和安全的同时，启用个性化功能。
Concrete ML v1.9 引入了 Concrete ML Extensions，这是一个新的 SDK，专为构建支持 FHE 的客户端应用而设计。开发人员可以将此 SDK 编译为 Swift，使 iOS 应用程序能够在本地执行加密、解密和密钥生成。
step-by-step tutorial 可指导你完成编译 Swift 库并将其集成到 iOS 应用中的过程。在接下来的几周内，我们还将发布一系列演示 iOS 应用程序——敬请关注！
附加链接
