海尔的case
看起来海尔是AWS的一个大客户。展示了AIGC的几个例子:
- 文生图(没看明白跟海尔的产品有什么关系)
- 图生图,通过输入设计线稿,生成产品概念图
- 批量图,用于家装的,从3D数据到效果图
- 全场景图,生成产品图、营销图
主要受益是加速设计。
西门子的case
内部业务助手,以及打通业务数据分析的平台。
店匠科技的case
产品模特图的生成(真人模特图替换模特与背景场景)
总结的几个难点有点意思,比如:服装区域的精准分割,残缺人台的骨骼检测优化,精准控制生成过程
海尔的case
看起来海尔是AWS的一个大客户。展示了AIGC的几个例子:
主要受益是加速设计。
西门子的case
内部业务助手,以及打通业务数据分析的平台。
店匠科技的case
产品模特图的生成(真人模特图替换模特与背景场景)
总结的几个难点有点意思,比如:服装区域的精准分割,残缺人台的骨骼检测优化,精准控制生成过程
企业在介入生成式AI应用时会思考的问题,这一页归纳得挺好,当然了,这也是来参加这个会的目的吧?
不得不说,是不是刻意留了不少英文单词在里面,导致读起来不大爽。
接着是讲端到端构建AIGC应用的关键路径:
几种适配调整的成本与效果的排列,原图是平面坐标图,改成顺序排列:
预训练当然好,但优质数据贵啊
AIGC的业务风险:
法律/监管/偏见/幻觉/隐私保护/问责制/业务透明度/滥用/有害内容/知识产权保护
ISV和SI就不罗列了。天天变的东西。
AIGC工程化“最后三公里”的挑战:
UI用户界面开发(用户体验) / 工具链 / 模型调优(持续的?) / 数据工程(提取、清晰、治理、数据模型) / 云基座(这里就涉及到AWS提供的系列支撑了)
AWS中国区组织了这个生成式AI的高管峰会,其意义在于将他们在AWS上做的AI IaaS及PaaS介绍给之前用云服务不错的客户,一起来挖掘更好的AI SaaS,达到双赢。
基于对AWS发展历程的了解,我相信如果纯粹做SaaS的话,应该不用担心AWS的抄袭问题。
Gartner的演讲嘉宾上来,肯定是标准的Hype Cycle了。
没有细看各种技术点的位置,感觉Gartner已经入魔了,什么行业都搞Hype Cycle,网上一搜,经常有新的图出来,有些位置感觉就是拍脑袋了。
Gartner将AI技术栈格局分成四层:模型——工程工具——应用领域——基础设施和支持
AWS自然是基础设施和支持这一层,而应用领域,是在座的去挖掘,前面两个,有太多AI团队在做了。
企业对AI的关注:
保护投资:AI信任、风险、安全管理(即用AI来增强企业安全)
开发者增强:用AI来增强开发能力
交付价值:AI自动化增强互联劳动力
这三个领域有交错需要有:行业AI云平台、智能化应用、可持续的民主化生成式人工智能
讲得能理解,但原PPT有点诘屈聱牙。
以零售行业为例,AI已经产生的作用:提高生产力、节约成本、提高用户体验、驱动新产品开发、提高准确性、改进型号。
机遇(其实也有不少新的case了):增强搜索向上营销、助理招聘入职、社交媒体情绪分析、供应链优化、增强文本(文案、话术)
制造业方面的也一样是老生常谈(至少对我来说)……不罗列了。
对于生成式AI,建议关注的层面,除了技术栈四个层面之外,
风险与价值:注意偏见、过度投资、合规风险
自研与生态:寻找生态系统中的合作伙伴、培养内部专家
(未完待续)
国内怎么用Open AI的问题
微软和亚马逊都陆续给出相关的答案,使用还是不难的,只要你是Azure或者AWS的正式的商用客户,自然就可以使用±Open AI或者AWS预建的AI平台进行二次开发。
多模态技术
对于不同的AI能力,称之为多模态,多模态相当于人的几种感官:分别处理图像/视频,音频,文本理解。大模型如人的大脑,存储知识并推理,多模态则五官,接收和融合信息,两者结合才是通用AI的发展。
智能体Agent
讲者说智能体是手,其实当时听就觉得不对,智能体是通用AI的多个分身,每个分身处在不同的工作环境下,处理不同的工作任务。这也是我之前提及元宇宙的未来:AI让人类个体可以在不同元宇宙有其分身,个体的财富和能力体现不同元宇宙中的能力。
AI时代设计思考
产品与用户时间的交互会倾向于多模态的方式,而不仅仅是自然语言或图形界面的方式;
大模型时代的产品会融合AI 1.0的千人千面和AI 2.0的生成式特性;
要构建不断增长的数据飞轮,通过数据驱动产品运营全过程。
AI大模型要继续压缩以适应端部署(独立AI)
近期参加了一些AI的会议,也看了关于Open AI新的发布会的一些内容,大概整理下。
1024翌日参加了深圳程序员节的一个讲座,其中印象深刻的是华为的某博士介绍其CodeArts,之前还有一位同济大学的教授在讲AI带来的工程/工作范式的变革,一并节录并解读:
软件即模型
如SaaS一样,SaaM(软件即模型)也逐渐普及起来,大模型或垂直模型可以完成一系列大型软件,比如:回答问题、翻译、写作、摘要、分析诊断、预测、图像搜索、文生图、语音合成、视频解读等等。
跟SaaS集中在修改软件的商业模式不一样,SaaM更多是重构了软件生成的方式……
当然了,未来SaaM也有传统软件开发的壳在外面,也可以如SaaS那样根据使用付费。
常态化的人与AI的交互
交互常态化后,人类的经验将持续引导LLM的升级,上下文明确、反馈以改进、协助LLM学习、调优控制、结果审查。
不过我觉得这样还是太费人了。
新的工作范式
这个范式是一种对人比较好的假设:人的角色没变,每个人都有一个强大的AI助手,而工作团队变小了,能做事更高效。
助手的能力包括但不限于:BA助手、架构咨询、UI设计助手、编程/测试/部署/发布助手、AIOps、技术支持、客户服务助手。
对于内容生产而言,则有一个新的范式:模型+数据=生产
软件工程3.0
可以用自然语言(prompt)来编程了,架构或传统编程概念也就是一句话的事情,编程效率将提升,AI也将渗透到软件工程的各个场景。
华为也籍此介绍Code Arts的能力。
生成:代码、测试用例、注释、移植
问答:知识、代码调试、代码解释、检查与修复、代码检视、代码优化
协同:研发工具协同、云服务调用、Code Interpreter、Low Code协同
集成测试:测试脚本生成、用例文本优化、测试序列生成、测试日志总结与分析、测试设计辅助
运维:日志埋点、日志模板提取、故障报因分析
虽然华为说的很大很多,但以我对华为和做AI的团队的理解,他们大概率是没有把工程团队的经验和Code Arts真正结合的……
所以感兴趣的可以试用一下。
Digital Darwinism
先抄一些meme代替阅读过程的体会吧:
要理解技术产生的背后的意义,而不是技术本身。
新技术应当应用与业务核心core,而并非边沿edge。(感觉大多数保守的公司都只愿意将新技术用在edge业务上,避免风险)
人们通常低估了技术应用的深度,高估了短期影响,也低估了长期影响。
转型中最大的忧虑是,何时采用新技术,要不要再等等,等更好更完善的(这跟买手机、买电脑有点像)。
旧的会议方式难以评估错过新技术/思想的损失,所以财务去主导转型不合适。
技术是转型的背景,而不应是主导,人们需要的是解决方案,而非技术本身。
几个采用新技术的思路:
应用AI的策略上,作为公司,应有精心设计的战略,而不是在边际上进行小实验。
套用已有模型不会有明显的成功,大脑中的模型要革新,不应该是之前的XXX,直接修改成数字时代的XXX、人工时代的XXX。
目前看到AI的应用,只是取代人类原来的工作(岗位、职责),将失去真正转型的意义。要考虑改变企业架构(为前提),考虑做人类没有做过的事情。
忘记大数据,聚焦innate data,数据不需要多大规模,但有用且效果好。
围绕人去设计新的技术方案,而不是做了方案/产品,投钱去推广。
看完后,最大的感想是,希望能找到真正的新范式,才能利用好AI。否则,不过是让AI重复人类、取代人类而已。
一个是Be My Eyes,这款给视障人士使用的app,本来是通过摄像头让远程的社区协助者/志愿者告知视障者视野范围的情况。GPT的应用就是,可以通过CV的分解和分析,生成相应的文本描述,告知视障者,一定程度上降低对志愿者人力的要求。
另一个是可汗学院的教学上,学生和GPT合作写故事、虚拟一个对已故人物的采访、人机对话练习,提高词汇量和使用技巧。
现在流行的悲观观点大多数是*GPT会取代人的工作,但对于教育本身来说,这些对教育手段的增强却是实在的。
中文名是因果关系。
给的例子都比较容易看懂,是科学家和专业作家合作的书,虽然思想本身都是来自科学家。
因果识别的三个层次:观测,从而发现关联性;干涉,识别因果线条以及量化关系;反事实推测,得到确定的因果。
后面的一两章开始了对AI的期望,能理解为何不喜欢单纯的数据挖掘,因为那只是第一层的内容,做得再好也是关联性的挖掘,AI必须演进到识别因果关系,才能对人类的事情产生本质的帮助。
大数据必须寻找可解释的关系,比如AI需要理解为何(Why)主人熟睡的时候不应该开吸尘器,而不是单纯记住这一个设定。
强人工智能须主动增加更高维度的理解,不要总是在二维影响中分析明暗,而应该提高维度到三维,产生光影的概念。
AI要试图进行反事实的算法化,即对输入信息有违抗的想法。
作者倒是不觉得AI会邪恶化,相反,他认为AI在得到足够好的信息后,可做出比人类更强的道德判断。
看的时间比较长,记录比较零星,有空再看一遍中文版。
AI承担DJ的工作其实是很正常的,比如现在流行的音乐APP里面,其实都有AI选曲播放的频道。
更多的是,AI可以自行根据旋律创作一些背景音乐(鼓点、midi等),如能,也可以配合现场的IoT环境,控制灯光。
AI可以通过观测现场的人群的反应(CV能力),再进行播放的调整。
当然了,作为chatbot,可以接受现场客人的点唱,也可以提供虚拟形象。
首先是要考虑最小的修改,毕竟大家手里钱都不多,改动太大或者推倒重来的话,一方面是成本高,另一方面智能店真正完全成功的还不多,大多数都是概念店和体验店。
店面大小,不适宜太大,太小也不好,就考虑那种连锁便利店1~3倍的规模好了。形状规范一点。
SKU控制一下,不超过600?有更多的话,请用减法。
尽量使用现有的基础设施,比如网络,电,监控摄像头,收银台。
AI相关:做现在SKU的数据收集和采集,买也可以。训练模型–>生产环境下的重训练(比如增加或删除SKU等)
需要的硬件或基础设施:摄像头、视频处理硬件(如GPU)、QR Scanner(当然,摄像头也可以)、AI模型服务器(边缘计算够便宜也可以)
AI,其实是CV,也该考虑人脸等隐私特征的保护。
无人零售用AI的目的:
识别顾客,绑定到一个实体/虚拟的账号,并100%跟踪其店内行为
产品识别,品类、数量、状态等
前两者的关系,也就是谁拿了什么东西,多少东西
自助结账。
无人零售的退化版本就是自助售卖机、自助餐食等。