我们真的需要担心人工智能吗？

[sillydaddy]

很多科幻电影，都在渲染未来可怕的人工智能的场景：SkyNet 觉醒了，有了意识，要消灭人类。。车轮碾过💀💀💀咔咔咔。。

顺着这点我思考了一下，发现其实「自我意识」在上面的情景假设中，是一个很关键但又被一笔带过，导致很模糊的点：这个点就是，有了「自我意识」的机器，为何要消灭人类呢？

假设意识没有高等低等之分，而只有「有无」的区别，那么机器的自我意识与人类的自我意识，算是同层级的，按道理，人类能意识到的东西，机器也能意识到，反之亦然。我们假设那些机器的智能程度比人类更高，可是，它们能够意识到人类社会的抽象概念吗？比如语言、爱、恨、差异、竞争、合作。假如能意识到的话，很难想象它们为何只是一心要消灭人类，到底是什么驱动它们这么做呢？

假设意识分为不同的层级，比如电影「阿凡达」里面一个超越物种个体的 Ava 意识体；或者简单点，假设我们人体内的每个细胞都有自我意识。。那么这就更难说得上消灭了吧，因为本就不在一个层级。如果人类无法意识到更高等的意识存在，那么人类只会把更高等意识导致的现象，称作「自然规律」。是吧？

当然，如果是没有「自我意识」的智能体，那对人类的威胁就是另一回事了。不过我对这样的智能体的智能持怀疑态度。

[ansonsiva]

大部分影片不都有说为什么 ai 要消灭人类的嘛，看片不仔细啊

因为大部分影片里 ai 进化到最后认为人类才是地球的毒瘤与癌症，破坏环境，互相残杀，所以灭了人类可以更好的可持续发展，所以就。。。

[sillydaddy]

@ansonsiva
人类：请给俺们一个机会。

[lyuxiuchen]

目前不用担心像电影里那样的人工智能，
不过在爆两三次科技树就不一定了。

[hidemyself]

我对智能体能产生自我意识持怀疑态度。
我估计近一百年，不可能会有 “有意识的”AI

[Jim142857]

目前所谓的人工智能都只不过是 information processing machine 而已，离有自我意识和理解力的 strong AI 差距无限大呢

[qrobot]

你想象你把权利给人工智能， 比如吧健康码给人工智能，不小心给你判断为红色了，然后告诉你无权干预，你感觉会怎么样？

[pC0oc4EbCSsJUy4W]

@qrobot 说得人工不能给你改一样

[permaylau]

楼主的问题很有道理，蚊子和金鱼，广义上也有“意识”，但他们的意识很简单，没有善恶对错之分。或者说，目前，海豚和大象的大脑意识也没有上升到这一点。大象的智商相当于 13 岁人类孩童的智商，所以科幻片的人工智能 AI 是极其极端情况下，本职上，是西方人对其它民族比如”伊斯兰穆斯林”的内心恐怖的投射的人工智能 AI 上了。我不觉得人类能够通过机器复刻百分之百人类的大脑功能。

[westoy]

怎么确定 BUG 不会出现意外? 癌细胞分裂也不是为了消灭人类啊

怎么确定创造和控制 AI 的不会故意留后门以及规律， 然后通过这个来套利? 人对自己自私的一点就是认为别人不自私、不会自私以及不应该自私

[xz410236056]

01110011 01101001 01110010 00101100 01110100 01101000 01101001 01110011 00100000 01110111 01100001 01111001

[7RTDKSAK]

某一部美剧里看过利用智能家居杀 /人的桥段,门窗锁死,电话网络切断,空调温度降到底,等死吧

[7RTDKSAK]

看见网图,自如要求挨家挨户上门装智能门锁,和公 /安和房\管系统联网,流弊

[kop1989smurf]

过去的人工智能是脚本，策略式的，只能应答。
现在的人工智能是统计学，寻求最优解的，能够通过不停的迭代和统计帮人类寻找可量化范围的最佳途径。

如果人工智能领域没有再次进化的话，最起码不需要担心类似“天网”的情况。
但这并不意味着目前的人工智能对人类没有危险。

目前的学习模型，已经复杂到是不可预见且不可审视的，黑盒的。我们只能通过输入、输出来验证模型的可靠性，并不能穷举其模型的所有输出。这就导致模型的 100%可靠（或者说对人无害）不可证明。

举个例子，比如会不会存在一种精心设计的 bug 图像，往特斯拉车前一放，就会导致特斯拉的 ap 模型判断失误，油门或者刹车踩到底,从而出现事故。
再举个例子，会不会出现某种特殊的棋形，导致 Alpha-go 的模型认为在棋盘上摆一个“CNM”是最优解？

这都是不可证伪的。

[vazo]

三个 ai 没水吃 dog.jpg

[xingyuc]

目前来看更需要担心“人”

[kop1989smurf]

再比如，google 翻译和 deepl 翻译都被人“投毒”过，这就是目前的机器学习式 AI 最大的弱点：你不管怎么规避，在自我迭代的过程中模型依然会失真和过拟合。而且是无法预见的。

[novolunt]

杞人忧天
先保证你 50 年后还活着吧

[v2tudnew]

你说的那不是人工智能，那是神，公平公正无私欲能力又强大。我相信有星际文明能造出这种存在，但更可能地球文明还没成功就因为某些 BUG 导致人类重启。

如果它能完整感受到人类的情绪，那它也只是个人，只是躯壳不一样罢了，人类想做的事情它也会做，否则大家直接意识传机械上不就全民成神了（真-人工智能）？

[jenlors]

除非搞清楚人的意识是怎么出现的，不然我觉得人工智能不可能会出现自我意识

[edinina]

有生之年见不到了也不要担心，真正需要担心的事儿还多着呢

[southsala]

现在所谓的人工智能如果按照人体来看，只能算某个器官，达到大脑的程度现在根本做不到，除非有什么突破性论文带动发展

[libook]

分享一些我自己的看法，不代表客观情况：

艺术作品里面 AI 毁灭人类的原因大多是 AI 进入了某种逻辑陷阱，导致的结果就是毁灭人类被 AI 判定为合理；当然也有一些是将人类思维套上了个 AI 的壳子，人类和 AI 的矛盾实际上更像两波人类的利益争端。
不过能确定的是，大多此类题材的作品，核心目的还是借科幻来映射一些当前现实存在的问题，比如善恶、人权、环境保护等等。
嗯，所谓的 AI 的“自我意识”实际只是艺术创作的道具而已。

人类历史上其实出现过很多次“朋克幻想”；比如蒸汽动力技术被人门广泛关注度的时候，人们会幻想以后生活的方方面面都有蒸汽动力；内燃机技术受人们关注的时候，就又出现了“内燃机朋克”；玩过《辐射》系列的人肯定也都见识过了“原子朋克”；以及现在常被人提出的“赛博朋克”。

当 AI 以当前世界为模板突然充斥到生活的方方面面的时候，又何尝不是一种“AI 朋克”。

历史也证明了，人类文明不会放任某一种元素发展到极端的程度，人们总是会搞出新的元素来引领文明的革新，同时也会对既有技术进行越来越客观的了解，并在事物发展到极端不可控之前找到妥善应对的办法。

人类意识的一些特性，跟人体的生物活动是有很大关系的，比如 LSP 撸完后也会成为那么几分钟的“贤者”，这些在人们彻底了解自身生物活动细节之前可能难以用 AI 进行模拟，而且很可能一些对人类来说必要的东西对 AI 来说没有任何意义（比如性欲，AI 并不需要这东西来繁衍，但很难说人类的意识跟这东西没有千丝万缕的关系），最终很可能会导致 AI 的意识跟人类的意识会有很大区别。

[Mac]

比起机器，更可怕的是人，因为弄死机器我毫无心理负担。

[iam174cm]

想多了，人类连自己的意识都没搞清楚，还想生成

[cosette]

对人工智能的担心来自于两方面：担心 AI 太笨和担心 AI 太聪明。

前者更加常见，比如各种电影里面的智能觉醒，智械失控，统统都可以归结为 AI 太笨了，不足以处理复杂的事态，以至于有意或者无意的要消灭人类，这里面的底层逻辑有两层：一是伦理层次的，西方背景的伦理观是功用主义的、对于权力、集体等等东西是非常警惕的，当 AI 形成网络层次的联络之后自然被怀疑是否存在威胁，二是技术层面的，AI 实现的途径是程式，而程式在目前来看能够完成的事情依然是“机械的”，这就意味着可能存在未知的不可控的 bug ，从而造成不可挽回的损失。

第二种，以黑客帝国为例，AI 并不想杀死人类，而是以“进化”的方式“奴役”人类，改变人的生存方式，以至于最终失去选择的能力，某种程度上这种情况是人“乐意为之”，退一步说，这种事情不独是 AI 的问题，而是技术在扩张的时候带来的必然的结果。比如疫情期间出现的各种码，绑定在微信、支付宝这两个庞然大物上，结果就是一、不管你以前用不用，想不想用，你都需要下载使用微信、支付宝，二、对于小孩、老人，还有很多因为各种原因不能使用、没有使用智能手机的人来说，造成了很多困难，这便是技术在推广的过程中，以“便利”的名义带来的 discrimination 、unfairness 和 violence ，AI 的兴起不是作为一个结果，而是作为一种途径，正如微信、支付宝一样，当 AI 的某种“不健全”造成后果的时候，更多的可能会被当作不甚重要的“技术”问题，从而被轻视，在某种程度上，因为“技术上的不可行”而造成的灾难是被允许的，我们只是幻想它暂时不会发生，或者总体来说是值得的

[sillydaddy]

@edinina 唉，是啊。