用于 LLM 和 VLM 的高性能服务框架，具有用于自动前缀缓存的 RadixAttention。

使用 Transformer 进行句子和文本嵌入的 Python 框架。

Ray Train 以最少的代码更改将机器学习训练从单 GPU 扩展到多节点集群。

适用于 ML 和 AI 工作负载的分布式数据处理库。

PyTorch Lightning 组织 PyTorch 代码以消除样板文件，同时保持灵活性。

该技能教会编码代理如何通过正确的初始化、分片、混合精度/卸载配置和检查点将 PyTorch FSDP2 添加到训练循环中。

Prompt Guard 是一个 86M 参数分类器，可检测 LLM 应用程序中的提示注入和越狱尝试。

当您需要执行以下操作时，请使用大纲：

NeMo Guardrails 在运行时向 LLM 应用程序添加可编程安全导轨。

nanoGPT 是专为学习和实验而设计的简化 GPT 实现。

当您需要执行以下操作时，请使用教育部培训：

当您需要执行以下操作时，请使用模型合并：

当您需要执行以下操作时，请使用 MLflow：

当您需要执行以下操作时，请使用长上下文技术：

LlamaGuard是专门用于内容安全分类的7-8B参数模型。

具有最小依赖性的纯 C/C++ LLM 推理，针对 CPU 和非 NVIDIA 硬件进行了优化。

用于构建 LLM 支持的应用程序的最流行的框架。

当您需要执行以下操作时，请使用知识蒸馏：

当您需要执行以下操作时，请使用讲师：

快速、可用于生产的分词器，具有 Rust 性能和 Python 易用性。