Kedves Szilva!

Írod:
"Ez is csak azt jelzi, hogy nem tudunk normálisan élni vele. Továbbá, hogy fennáll a veszélye egy szakbarbár AI létrehozásának, amely alkotója életére tör."
A világon semmi igazán új dolgot nem lehet úgy létrehozni, hogy egyúttal az összes következményei is világosak lennének. Az AI ebből a szempontból nem különbözik pl. a tűzgyújtás, a ruházkodás, vagy éppen a kerék feltalálásától. Mind olyan dolgok, amelyeknek igen nagy horderejű, de előre nem jól látható következményeik vannak. Még abból a szempontból sincs nagy különbség, hogy szinte minden igazán hatékony dolgot/eljárást föl lehet használni pusztító szándékkal. De ezért én még egyáltalán nem nevezném az új dolog fölfedezőjét/föltalálóját/ismertetőjét gonosz szakbarbárnak. Maga az AI persze elvileg éppúgy lehet szakbarbár és gyilkos indulatú, mint a természetes intelligencia. Szerintem azzal lehet a legjobban elejét venni az ilyenek megalkotásának, ha a jóindulatú és nem szakbarbár AI fejlesztésébe több pénzt/munkát fektetünk.

Kérdezed:
"mi van, ha a tudatosságot nemcsak az emberhez kötjük? ..."
A magam részéről a tudatosságot egyáltalán nem csak az emberhez kötöm.

Folytatod:
"de ha felveszik a moziban valamelyik rokonszenves színész alakját, rögtön feltételezzük, hogy ugyanolyan etikai normái vannak, mint nekünk, minden OK."
Ha felettébb emberszerű az az idegen, akkor valahol érthető a feltételezés. Ettől függetlenül, az idegen által követett etikai normák teljesen másmilyenek is lehetnek, ez tehát közelebbi vizsgálatra szorul.

Írod:
"A problémát én ott látom, hogy létrehozunk egy mesterséges intelligencia nevű valamit, és nem tudjuk mi az. Mint a gyerek, aki homokból akkora várat épít, hogy aztán amikor belép, az egész összedől, és maga alá temeti."
Azt gondolom, hogy egy igazi mesterséges intelligenciát csak akkor tudunk létrehozni, ha már tudjuk is, hogy mi az. Ez persze nem jelenti azt, hogy mindenki tudni fogja. Hiszen vajon hányan tudják, hogy hogyan is működik a legegyszerűbb tranzisztor? Szóval az alapvető kérdés itt szerintem az, hogy hogyan legyen megszervezve a társadalomban a demokrácia és a (szak)tudás kapcsolata. Valószínűleg ez lesz a következő évszázad legfontosabb problémája.