上周饭局上聊到这个话题。AI的大发展无疑产生了比较严重的担忧，机器拥有强大的学习能力，在各种封闭领域上战胜了人类。
以前我们说机器无法超越人类，说的是意识无法产生，然而，我们现在对生物体的理解，所谓快乐和悲伤，平静和恐惧，均是一些化学物质的浓度值而已。代入到机器中，可能是某些变量（其源头是其他的环境变量？）也就是说，训练得当或者设计得当，类似的情感（或者的超越情感）也会同样出现。
既然七情六欲都有相应的模型，意识还差多少？
我们说文明的载体是记忆（无论是文字还是影像），这一点上，机器对记忆的保存比我们强大太多了。一般意义上的艺术创作，人类也陆续会被机器所替代，虽然机器做的只是抽象和模仿，但已足够强大。
人类真正的优势是什么？
碳基生物千百年来的进化框架。由于硅基生物（姑且称为生物）是设计出来的，从先天上，就不是以生存竞争为目的的。这意味着，牺牲环境熵增，成就个体熵减的做法并不成为其进化的背景。硅基生物早期的进化必须依赖于人类的参与，也就是说，事实上就是人类竞争的结果才早就了硅基生物的演进。
由于没有赋予硅基生物一个最最基本的生存任务，而这个生存任务又是自然进化而得来的（自私的基因或者遗传上的优势），硅基生物的演进属于外界选择性的进化，生存任务并不是选择的条件（之一），除了故意做这样的实验，人类目前也不会无聊到浪费资源去培养机器自我进化。
电脑病毒则不属此例。所以电脑病毒进化速度还是相当快的，也跟自然界中的病毒类似了。或者这么说，有自我复制（繁衍）能力而且可以自我进化的硅基生物在大的范围内的选择进化优势将不如那些没有自我进化能力的，相反，人类会扼杀这些病毒式的硅基生物——因为浪费资源。
另外，进化的另一个要求，是要有足够的族群规模和资源。
资源受限的情况下，就好像食物不足，可能连生存都成问题，就别想着去生小孩了。硅基生物同样如此，大型的AI体如果要自我复制，则需要提供同等的硬件载体，虽然摩尔定律存在，但同时Intel定律也存在，大型AI的人工选择会导致他自身就占用了硬件资源的大部分或绝大部分，剩下的资源不足以孕育新的作为生存竞争的AI对象。
硅基生物族群规模则可以在互联网上出现。基础通讯令硅基生物以交流为主，可能将之视为一个统一的大AI更合适，这样强则强矣，同样是没有生存要求。
……
因为进化框架是人类的优势，所以失去进化框架可能会导致机器统治人。
这就是我开始倾向于不要追求人类永生技术的理由。