海尔的case

看起来海尔是AWS的一个大客户。展示了AIGC的几个例子：

• 文生图（没看明白跟海尔的产品有什么关系）
• 图生图，通过输入设计线稿，生成产品概念图
• 批量图，用于家装的，从3D数据到效果图
• 全场景图，生成产品图、营销图

主要受益是加速设计。

西门子的case

内部业务助手，以及打通业务数据分析的平台。

店匠科技的case

产品模特图的生成（真人模特图替换模特与背景场景）

总结的几个难点有点意思，比如：服装区域的精准分割，残缺人台的骨骼检测优化，精准控制生成过程

企业在介入生成式AI应用时会思考的问题，这一页归纳得挺好，当然了，这也是来参加这个会的目的吧？

• 什么样的User Case真能帮到业务？（重点是“真”）
• 如何衡量一个生成式AI User Case的成功？（投入产出，未来，明的利益，暗的优势等等）
• 如何选择大模型去构建应用？（企业自身必须要有靠得住的AI咨询方）
• 如何保证企业私有数据不被大模型吸收？（这些问题开始就有较多的技术解决方案了）
• 我们缺乏高质量的数据怎么办？（买吧，但是还是要有质量标准）
• 构建生成式AI应用工程化的挑战有哪些？如何克服？
• 如何去购买xx加速去做生成式AI User Case的实验？（还是实验，现在让资本市场很短视的，不大允许费资源只是做个实验）
• 模式适配/调优，Prompt Engineering/RAG/Finetune用哪种方法合适？（细节，专业的问题，还是要有专业咨询或内部专家）
• 如何设定Guardrail（护栏）为负责任的生成式AI应用？（先把合规性准备好）
• 构建生成式AI应用需要团队的Skills有哪些改变？（目前的回答是有的，但是答案本身也在动态更新中）

不得不说，是不是刻意留了不少英文单词在里面，导致读起来不大爽。

接着是讲端到端构建AIGC应用的关键路径：

1. 应用范围：定义使用场景与用例
2. 模型选择：选择现有基础模型或预训练自己的模型
3. 模型适配和模型调整：Prompt Engineering + 知识增强 + 微调 –>评估效果
4. 应用程序集成：部署模型及运行推理 –> 构建由基础模型驱动的应用程序

几种适配调整的成本与效果的排列，原图是平面坐标图，改成顺序排列：

• 成本：RAG < Prompt Engineering < 预训练 == 微调
• 效果：PE < RAG = 微调 < 预训练

预训练当然好，但优质数据贵啊

AIGC的业务风险：

法律/监管/偏见/幻觉/隐私保护/问责制/业务透明度/滥用/有害内容/知识产权保护

ISV和SI就不罗列了。天天变的东西。

AIGC工程化“最后三公里”的挑战：

UI用户界面开发（用户体验） / 工具链 / 模型调优（持续的？） / 数据工程（提取、清晰、治理、数据模型） / 云基座（这里就涉及到AWS提供的系列支撑了）

AWS中国区组织了这个生成式AI的高管峰会，其意义在于将他们在AWS上做的AI IaaS及PaaS介绍给之前用云服务不错的客户，一起来挖掘更好的AI SaaS，达到双赢。

基于对AWS发展历程的了解，我相信如果纯粹做SaaS的话，应该不用担心AWS的抄袭问题。

Gartner的演讲嘉宾上来，肯定是标准的Hype Cycle了。

没有细看各种技术点的位置，感觉Gartner已经入魔了，什么行业都搞Hype Cycle，网上一搜，经常有新的图出来，有些位置感觉就是拍脑袋了。

Gartner将AI技术栈格局分成四层：模型——工程工具——应用领域——基础设施和支持

AWS自然是基础设施和支持这一层，而应用领域，是在座的去挖掘，前面两个，有太多AI团队在做了。

企业对AI的关注：

保护投资：AI信任、风险、安全管理（即用AI来增强企业安全）

开发者增强：用AI来增强开发能力

交付价值：AI自动化增强互联劳动力

这三个领域有交错需要有：行业AI云平台、智能化应用、可持续的民主化生成式人工智能

讲得能理解，但原PPT有点诘屈聱牙。

以零售行业为例，AI已经产生的作用：提高生产力、节约成本、提高用户体验、驱动新产品开发、提高准确性、改进型号。

机遇（其实也有不少新的case了）：增强搜索向上营销、助理招聘入职、社交媒体情绪分析、供应链优化、增强文本（文案、话术）

制造业方面的也一样是老生常谈（至少对我来说）……不罗列了。

对于生成式AI，建议关注的层面，除了技术栈四个层面之外，

风险与价值：注意偏见、过度投资、合规风险

自研与生态：寻找生态系统中的合作伙伴、培养内部专家

（未完待续）

国内怎么用Open AI的问题

微软和亚马逊都陆续给出相关的答案，使用还是不难的，只要你是Azure或者AWS的正式的商用客户，自然就可以使用±Open AI或者AWS预建的AI平台进行二次开发。

多模态技术

对于不同的AI能力，称之为多模态，多模态相当于人的几种感官：分别处理图像／视频，音频，文本理解。大模型如人的大脑，存储知识并推理，多模态则五官，接收和融合信息，两者结合才是通用AI的发展。

智能体Agent

讲者说智能体是手，其实当时听就觉得不对，智能体是通用AI的多个分身，每个分身处在不同的工作环境下，处理不同的工作任务。这也是我之前提及元宇宙的未来：AI让人类个体可以在不同元宇宙有其分身，个体的财富和能力体现不同元宇宙中的能力。

AI时代设计思考

产品与用户时间的交互会倾向于多模态的方式，而不仅仅是自然语言或图形界面的方式；

大模型时代的产品会融合AI 1.0的千人千面和AI 2.0的生成式特性；

要构建不断增长的数据飞轮，通过数据驱动产品运营全过程。

AI大模型要继续压缩以适应端部署（独立AI）

近期参加了一些AI的会议，也看了关于Open AI新的发布会的一些内容，大概整理下。

1024翌日参加了深圳程序员节的一个讲座，其中印象深刻的是华为的某博士介绍其CodeArts，之前还有一位同济大学的教授在讲AI带来的工程/工作范式的变革，一并节录并解读：

软件即模型

如SaaS一样，SaaM（软件即模型）也逐渐普及起来，大模型或垂直模型可以完成一系列大型软件，比如：回答问题、翻译、写作、摘要、分析诊断、预测、图像搜索、文生图、语音合成、视频解读等等。

跟SaaS集中在修改软件的商业模式不一样，SaaM更多是重构了软件生成的方式……

当然了，未来SaaM也有传统软件开发的壳在外面，也可以如SaaS那样根据使用付费。

常态化的人与AI的交互

交互常态化后，人类的经验将持续引导LLM的升级，上下文明确、反馈以改进、协助LLM学习、调优控制、结果审查。

不过我觉得这样还是太费人了。

新的工作范式

这个范式是一种对人比较好的假设：人的角色没变，每个人都有一个强大的AI助手，而工作团队变小了，能做事更高效。

助手的能力包括但不限于：BA助手、架构咨询、UI设计助手、编程/测试/部署/发布助手、AIOps、技术支持、客户服务助手。

对于内容生产而言，则有一个新的范式：模型+数据=生产

软件工程3.0

可以用自然语言（prompt）来编程了，架构或传统编程概念也就是一句话的事情，编程效率将提升，AI也将渗透到软件工程的各个场景。

华为也籍此介绍Code Arts的能力。

生成：代码、测试用例、注释、移植

问答：知识、代码调试、代码解释、检查与修复、代码检视、代码优化

协同：研发工具协同、云服务调用、Code Interpreter、Low Code协同

集成测试：测试脚本生成、用例文本优化、测试序列生成、测试日志总结与分析、测试设计辅助

运维：日志埋点、日志模板提取、故障报因分析

---

虽然华为说的很大很多，但以我对华为和做AI的团队的理解，他们大概率是没有把工程团队的经验和Code Arts真正结合的……

所以感兴趣的可以试用一下。