ChatGPT for Robotics：大模型+智能机器人结合初探

微软团队发布了一篇名为《ChatGPT for Robotics: Design Principles and Model Abilities》的技术报告，展现出了使用 ChatGPT 来实现自然的人机交互的可能性，为如何将 ChatGPT 融入机器人L域提供了一种全新的视角，也是对于大模型和机器人的结合进行了初探。

ChatGPT 在机器人L域的应用主要体现在两个方面：自然语言交互和自动化决策。大多数的机器人任务需要由工程师来构建完整的G低J指令代码、不断进行迭代循环才能完成任务。而 ChatGPT 则带来了新的机器人任务范式，ChatGPT 具备自然语言交互和自动化决策能力，机器人可以通过 ChatGPT来理解人类的自然语言指令，并根据指令进行相应的动作。另外，机器人在 执行任务时需要做出各种决策，例如路径规划、物体识别等。ChatGPT 可以应用于机器人的自动 化决策中，机器人可以通过 ChatGPT 来生成任务方案，根据任务要求做出相应的决策。引入 ChatGPT 后，工程师仅需做好机器人的底层库函数及其描述，ChatGPT 就能够自己利用这些底 层函数来编写代码以完成目标，将工程师从循环中解放出来。

微软团队给出了一套适合为机器人任务编写提示方法的设计原则。先，定义机器人的功能库函 数，比如检测物体、移动底盘等，函数命名要与实际动作符合。第二，为 ChatGPT 编写 prompt， 描述任务目标，同时明确说明可用的GJ函数库中的哪些函数。提示还可以包含有关任务约束的 信息，或者有关 ChatGPT如何形成其答案（特定编码语言，使用辅助解析元素）的信息。第三， 在仿真环境中运行并评估 ChatGPT的代码输出，保证模型能够安全完整地做好任务。后，将算 法部署到机器人上。

基于该设计原则可以实现多种 ChatGPT 结合机器人的应用，为进一步研究大模型+通用机器人打 下了基础。微软团队也针对几个场景进行了 ChatGPT 结合机器人的测试，包括用无人机检查货 架、模拟环境中用无人机进行工业巡检、控制机器人手臂拼积木等。由于 ChatGPT只能用文字进行交互，对于外界环境的感知需要对传感器传回的图像进行对象检测，并转化为文本描述才能输 入给 ChatGPT。微软团队的研究初步展示了 ChatGPT 这一大语言模型作为机器人的决策中枢的 可能性，为后续更加深度的大模型+机器人探索迈出了D一步。