五一期间把这本书看完了。成书时间应该在AlphaGo之前,主要内容是假设未来能出现一种超级智能,推演出现过程、风险、走向、智能的形式等等。
作者是未来学方面的专家Nick Bostrom,尽管不如KK那么有名,但书的内容基本上是干货。目前大模型的发展,多种势力投入等,都符合书上的推演。比如不存在单一的一家企业或者国家直接垄断最前沿的决定性的超级智能,应该是竞争者本身水平已很高,看到对手的领先后能快速跟上。
相比之下,KK的书则显得水的成分比较多。
后面有对于超级智能与人类之间的关系,如何避免超级智能形成对人类的重大威胁或危机,也有很长的篇幅。大致来说,应考虑亦步亦趋的方式给予智能体不那么终结性的方向或指令,这样可以避免智能体在执行过程中自行挖掘漏洞或者曲解。
也可考虑人类监督智能体,或者智能体监督智能体的方式。