Kedves Szilva!

Írod:
"Nem vagyok én abban olyan biztos, hogy a ténykedés alapján könnyen meg lehetne ítélni valamit, hogy intelligens-e avagy sem."
Nyilván nem könnyű, de erre ez az egyedüli lehetséges módszer. Másrészt, hogy az önálló döntésekre képes lény döntései önmagára nézve mennyire értelmesek, azt a társadalomnak NEM kell vizsgálnia. Az maradjon csak az önálló döntésekre képes lény dolga! A Társadalomnak csupán 2 dolgot kell mérlegelnie:
1.) Képes-e önállóan döntésekre jutni?
2.) Ha igen, akkor úgy teszi-e ezt meg, hogy azzal megfelelően beilleszkedik a társadalomba, vagy sem.

Folytatod:
"Szerintem is, ha a ,,társadalomra" bíznánk, hogy na most valaki/valami értelmesen cselekedett-e, bizony jónéhány művész/tudós/más kultúrájú/mást gondoló ember igencsak rosszul járna."
Az előbbi válaszommal már remélhetőleg eloszlattam a félreértést. Szerintem ugyanis nem a fene nagy értelmesség, vagy az okos önzés, hanem a döntésképesség implikálja a döntési szabadságot (jogot), feltéve, hogy nem ütközik a szélesebb közösség érdekeibe.

Kérdezed:
"Pl. mi értelme van koncertre járni, festményt készíteni, stb? Egy racionális rendszerben ezek mind értelmetlen cselekedetek."
Miért lenne? A döntésképes egyén dolga eldönteni, hogy kíván-e élni ezekkel az egyébként megengedett lehetőségekkel, és ha igen, miért.

Folytatod:
"Ugyanígy fennáll a veszélye annak, hogy létrehozunk egy intelligenciát, akivel/amivel nem tudunk ,,normálisan" szót érteni."
Ez természetesen előfordulhat (:-(((. Példa rá számtalan szülő és gyerek esete.

Írod:
"Nem vagyok az AI ellen egyébként, de szeretném megjegyezni, hogy a tűzgyújtás/kerék stb. mind az intelligencia terméke. Most, amikor az intelligencia elhagyni készül a kémiai-biológiai tokját, ha ez sikerül, ez egész más, mint eszközöket létrehozni."
A nevezett dolgok nemcsak termékei, hanem egyúttal legfőbb motiválói, fejlődési iránymutatói is voltak az intelligenciának. Annak az intelligenciának, amely időnként magasabb sebességi fokozatra kapcsol. Mondjuk kb. 200 ezer éve megjelent a fejlett beszéd, 5-10 ezer éve megjelentek az első írásbeliségre épülő civilizációk, pár száz éve megjelent a tömeges könyvnyomtatás, néhány évtizede az elektronikus kommunikáció, kb. 10 éve a tömeges számítógépesítés. Mindegyik döbbenetesen megváltoztatta az intelligencia helyét, szerepét és tartalmát a korábbiakhoz képest.
A "tranzisztoragyú" gépekhez képest képzeld el a következő még vadabbnak tűnő dolgot: némi genetikai manipulációkkal olyan Ember 2.0-át is alkothatunk, amelynek szellemi képességei sokszorosan meghaladhatja a mienkét. Sokkal egyszerűbben, mint csinálni egy valóban intelligens gépet.

Írod:
"Továbbá, nem vagyok benne biztos, hogy észre fogjuk venni, hogy ,,nna most!" létrehoztunk egy tudatos intelligenciát."
Ennek azért viszonylag csekély az esélye. Ismétlem, a tudatossághoz, az önálló akarathoz nem kell túl magas fokú intelligencia.