Hver fer í fangelsi þegar róbóti fremur stríðsglæpi?

Hvað gerist þegar róbóti getur gengið í hlutverk hermanns? Hvaða reglur eiga að gilda, og hvers má vænta, þegar ákvarðanir sem geta kostað mannslíf eru teknar í rafheila?

Banvæn vélmenni hafa lengi verið viðfangsefni vísindaskáldskapar. Isaac Asimov samdi á fimmta áratugnum þrjú grundvallarlög rótótans, sem þyrftu að liggja til grundvallar öllum gjörðum véla sem geta „hugsað“, og miða að því að róbóti geti ekki skaðað nokkra manneskju.

Kvikmyndin I Robot, með Will Smith, byggðist á samnefndri skáldsögu Asimovs og sýndi að ef þessar reglur eru brotnar er svo sannarlega komið babb í bátinn.

Kvikmyndirnar um Tortímandann hafa síðan orðið til þess að hjá mörgum sprettur fram kaldur sviti þegar fréttir berast af nýjustu framförunum í hernaðartækni. Gervigreind fleygir fram með hverju árinu, róbótar verða æ fullkomnari og það virðist bara tímaspursmál áður en óvígur her úr stáli og móðurborðum er sendur á vígstöðvarnar.

Gunnar Dofri, laganemi við Háskóla Íslands, skrifaði mastersritgerð um þetta efni, og hvaða lagalegu álitamál þarf að útkljá þegar hernaðarróbótar taka ákvörðun um líf og dauða. Ritgerðin ber titilinn Harder, Better, Faster, Stronger: Lethal Autonomous Robots under International Humanitarian Law og var skrifuð undir handleiðslu Péturs Dam Leifssonar, dósents við lagadeild HÍ.

Gunnar bendir á að grundvallarmunur sé á tækninni eins og hún er nú, og hvernig hún gæti orðið. Þó drápstólin verði æ fullkomnari sé alltaf manneskja af holdi og blóði sem ákveður að taka í gikkinn eða varpa sprengjunum. Drónar geta sveimað á sjálfstýringu yfir Arabíuskaganum og Hellfire-loftskeytin stýra sér sjálf á skotmarkið, en ákvarðanatakan um að taka líf á sér stað í kolli flugmanns sem heldur um stýripinna í loftkældu rými vestur í Texas.

Ákvörðun um að drepa

„Sú tækni sem ritgerðin fjallar um hafa verið kallaðir LARs, sem stendur fyrir Lethal Autonomous Robots. Þetta eru róbótar sem væru ekki bara hannaðir til að geta orðið fólki að bana heldur myndu búa yfir getunni til að taka sjálfir ákvarðanir um hvenær á að beita banvænu afli, og gegn hvaða skotmörkum,“ útskýrir Gunnar.

Örfá hernaðartól komast nálægt því að virka með þessum hætti í dag. Dæmi um þau eru CIWS, (Close-in weapon system) flugskeytavarnarkerfi á herskipum og Iron Dome eldflaugavarnakerfið sem ver Ísrael frá eldflaugum sem skotið er frá Palestínu. „CIWS-kerfið er hannað til að granda loftskeytum sem beint er að skipinu og gert ráð fyrir að hermaður um borð velji skotmörkin eða taki að minnsta kosti ákvörðun um að skjóta. Þessi tæki eru þó með þann möguleika að vera á fullri sjálfstýringu og velja skotmörkin sjálf og skjóta, en sú leið er hugsuð fyrir þau tilvik þar sem árásin er yfirþyrmandi og aðrar leiðir ekki færar.“

CIWS-varnarkerfin eru samt annars eðlis en hernaðarróbótarnir í kvikmyndunum. Bendir Gunnar á að úti á rúmsjó séu minni líkur á að skotin hæfi óbreytta borgara og hugbúnaðurinn í tækinu sé hannaður til að gera greinarmun á flugskeyti sem stefnir beint að skipinu og hægfara Cessnu sem svífur friðsamlega yfir. „Og sama gildir með Iron Dome, að kerfið er forritað til að reikna út hvert eldflaugarnar stefna, meta hvort þarf að skjóta þær niður, og gera greinarmun á eldlfaug og farþegaþotu.“

iPad með vélbyssu

Vandinn er líka að LARs-tæknin, þegar hún verður tekin í notkun, verður ekki nærri því jafn háþróuð og það sem kvikmyndirnar sýna. „Við getum reiknað með að fyrstu tækin af þessum toga hafi getu sem jafnast á við það að við settum belti undir fullkominn iPad með allskonar mælitækjum og skynjurum, tengdum við vélbyssu og slepptum lausum.“

Hernaðaryfirvöld, í það minsta vestanhafs, eru þegar með hernarðartæki af þessum toga á teikniborðinu og segir Gunnar að það sé skiljanlegt að ríki vilji geta beitt fyrir sig hernaðarróbótum. Blasir við að þegnarnir þurfa ekki að halda út á vígvöllinn ef senda má róbótana í staðinn. „Róbótar gætu líka verið betri hermenn, sem stýrast af rökum frekar en tilfinningum. Þeir myndu ekki sturlast í hörmungum stríðsins og fremja ógurlega stríðsglæpi, ræna og nauðga, og gætu mögulega verið forritaðir til að fórna sjálfum sér ef það væri til að bjarga saklausum borgurum. Þeir gætu þolað að láta skot og sprengingar dynja á sér og „tekið úr umferð“ vonda menn og konur jafnvel án þess að beita banvænu valdi, í aðstæðum þar sem venjulegir hermenn myndu ekki hafa neinn annan valkost en að skjóta,“ segir Gunnar. „Sumir hafa bent á að með hernaðarróbótum gæti það jafnvel gerst að mannlegi fórnarkostnaðurinn við hernað yrði svo lítill, fyrir árásaraðilann, að menn myndu sjá minni ástæðu til að reyna fyrst að finna friðsamlega lausn á deilumálum sínum.“

Þekkir róbótinn vonda fólkið?

Málið vandast hins vegar þegar kemur að því að róbótinn tekur ákvörðun um að taka í gikkinn. Og þar fer viðfangsefnið líka að verða lagalega áhugavert.

Gunnar segir að mannúðarréttur, sem er undirgrein þjóðaréttar, setji skýrar reglur um það hvernig ríki mega heyja stríð sín á milli. „Þessar reglur fjalla ekki um það hvenær má fara í stríð, heldur hvernig stríðið fer fram. Er þannig bannað, og stríðsglæpur, að drepa óbreytta borgara ef það hefur engan hernaðarlegan tilgang. Eitt mikilvægasta skilyrðið sem lögin setja er hið svokallaða „aðgreiningarlögmál“, (e. principle of distinction), um að greint sé á milli óbreyttra borgara og hermanna. Hermenn eru lögmæt skotmörk en óbreyttir borgarar ekki. Eins og tæknin er í dag getur vélmenni ekki með góðu móti gert greinarmun á barni og ferðatösku.“

Flækir það málin enn frekar að æ oftar leggur andstæðingurinn sig fram um að blandast inn í umhverfið og fela sig inn á meðal óbreyttu borgaranna. „Óvinurinn er ekki lengur í gráum búningum með rautt band á upphandleggnum, heldur dulbýr hann sig og fellur inn í fjöldann.“

Hvar liggur ábyrgðin?

Það er líka stór spurning hver ber ábyrgð ef LARs-róbóti gerir mistök og myrðir saklausan einstakling. Gunnar segir heimspekinga og lögspekinga hafa velt vöngum yfir því hvort verknaðurinn að myrða sé ekki í raun aðeins á færi mannskepnunnar. Liggur þá sökin hjá herforingjanum sem ákvað að senda róbótann á svæðið? Eða hjá forriturunum sem skrifuðu kóðann sem tók ákvörðunina um að skjóta eða ekki skjóta?

Er það mat Gunnars að væri mjög hæpið að forritararnir yrðu sóttir til saka, þó ekki væri nema vegna þess að kóðinn að baki gervigreindinni væri svo flókinn að hann hlyti að vera afrakstur vinnu hundraða sérfræðinga. „Það er líka ósennilegt að hægt væri að höfða mál á hendur þeim sem ákvað að senda róbótann af stað því til að bera ábyrgð sem yfirmaður þyrfti hann að hafa mátt vitað að róbótinn myndi gera þann óskunda sem hann varð valdur að. Jafnvel með hæstu einkunnu frá West Point hefði venjulegur herforingi ekki sérþekkinguna á hugbúnaði og forritun til að geta vitað hvort græjan sem hann hefur yfir að ráða mun mögulega ekki virka eins og til var ætlast.“

Kannski má finna samsvörun í því hvernig við lítum á verk barnahermanna. „Við viðurkennum að þegar börn eru þvinguð til að taka þátt í hernaði þá eru þau ekki með dómgreind og vitsmuni á borð við fullorðna og þess vegna ekki hægt að refsa þeim jafnvel þó að þau hafi framið skelfileg voðaverk.“

Er Tortímandinn handan við hornið?

Ljóst er hvert tæknin stefnir og hafa málsmetandi samtök og stofnanir lýst yfir áhyggjum af mögulegri notkun LARs-róbótóa í hernaði. „Umræðan og tæknin er enn á byrjunarreit og erfitt að segja til um það af nokkru viti hvort ætti að banna þessi tæki eða ekki. Raunar hefur það aðeins einu sinni gerst að vopn hafa verið bönnuð áður en þau hafa verið þróuð og smíðuð og það var þegar alþjóðasamfélagið sammæltist um að banna notkun leysigeisla sem hefðu varandi blindandi áhrif á skotmarkið. Þótti þeim nóg að leyfa leysigeisla sem blinda aðeins tímabundið, enda þjóna þeir sama tilgangi alveg jafn vel. Hins vegar eru til dæmis jarðsprengjur og eiturgas ólögleg í hernaði, en bannið kom ekki fyrr en eftir að menn sáu hversu slæmar afleiðingar af notkun þeirra voru.“

Ekki má samt bíða mikið lengur með að kryfja þessi mál til mergjar því framtíðin gæti verið rétt handan við hornið. „Það er erfitt að afmarka tímarammann. Í einni skýrslu breska varnarmálaráðuneytisins er talað um að þessi tækni geti verið komin í notkun á næstu 10-30 árum. Aðrar heimildir segja að sá árafjöldi sé algjörlega óraunhæfur.“