Janïr AI ukax Jutïr Amigomar yatiykasaxa, Nayraqatax Uk lurañaw wakisi

Aka post ukanx Twitch dataset ukampix enlace predicción ukan irnaqaskakiñäni: clúster DB Neptune ukanx gráfico ukan yatiyawinakap mä cubo S3 ukar apkatañäni, AWS ukan churat utilidad neptuno-exportación ukamp apnaqasa. Jiwasax ‘neptune_ml’ perfil ukaruw ajlliñäni, kunawsatix datos exportación lurañ lurapktan ukhax utilidad ukax ‘training-data-configuration.json’ archivo lurani ukax qhipharux pipeline ukan apnaqañäni. Exportado datos ukax codificación de características ukat datos procesamiento ukatakiw wakicht’atäni, ukax jutir amtawiwa enlace predicción ukataki.

Aka chiqan 1 tʼaqa liytʼäta .

DATOS GRAFICO UKSAN NEPTUNE DB

Jiwasax qalltawaytanwa gráfico ukan yatiyawinakampi kunatix Neptune DB ukanx utjkistu ukampiw listas de vértices ukat bordes ukanakax Neptune Bulk Loader API ukamp apkatañ tukuyata (kunjamtix aka guia ukan 1r t’aqapan qhanañchaski ukhama).

Vertices ukax apnaqirinakaruw uñacht’ayi. Taqi vértices ukanakax pachpa propiedades ukanipxi, ukatx mä sapa vértices ukax akham uñtatawa:

 {<T.id: 1>: '153', <T.label: 4>: 'user', 'days': 1629, 'mature': True, 'views': 3615, 'partner': False}

Taqi chiqanakax pachpa etiqueta (‘arktatawa’), sapa chiqawjax 2 apnaqirinakaruw mayachthapi. Mä sapa chiqax akham uñtatawa:

 {<T.id: 1>: '0', <T.label: 4>: 'follows', <Direction.IN: 'IN'>: {<T.id: 1>: '255', <T.label: 4>: 'user'}, <Direction.OUT: 'OUT'>: {<T.id: 1>: '6194', <T.label: 4>: 'user'}}

Jiwasan amtäwisax yatiyawinak apsuñawa, ukhamat jutir chiqan jiwasan yatiyaw pipeline ukan apnaqañataki: preprocesamiento ukat codificación de características.

UTILIDAD DE NEPTUNO-EXPORTACIÓN UKA EC2 UKAN UTJAWIPA

Jiwasax AWS ukan churat neptuno-export utilidad ukampiw apnaqañäni, ukax base de datos ukan yatiyawinak apsuñataki. Utilidad ukax DB ukar mantañapatak jaysañatakix, mä EC2 instancia ukan VPC manqhan apnaqañäni kawkhantix Neptune DB clúster ukax utjki. Utilidad ukax DB ukan yatiyawinak apsuñapawa, ukax local almacenamiento ukan (mä volúmen EBS) ukan imañapawa, ukatx exportado ukan yatiyawinak S3 ukar apkatañapawa.

AWS ukax mä plantilla Cloudformation ukx churkchisa, ukax mä API privado VPC manqhan uñstayi, ukhamat exportación ukax mä HTTP mayiwimp qalltañataki, ukampirus janiw uka tuqitx aka kutix uñch’ukkañäniti. Kunjamakitix amtäwisax kunjams pipeline de datos ukax irnaqaski uk uñacht’ayañawa (ukatx janiw API ukar utt’ayañakiti), ukakipkarakiw EC2 instancian consola ukax utilidad neptuno-exportación ukamp chikt’atäñatak apnaqañani. Ukhamarus, uka consola kamachinakax AWS Systems Manager Run Command ukat Step Functions ukampiw automáticamente lurasispa.

EC2 instancia ukax neptuno-export ukax apnaqañapawa. AMI ukatakix Ubuntu 24.04 LTS ukaruw ajlliwaytanxa. Jiwasax Neptuno clúster ukax EC2 instancia ukat puriñjamaw uñjañasa, ukhamat pachpa VPC ukan instancia lurañani kawkhantix Neptuno clúster ukax utjki uka chiqana, ukatx seguridad tamanakarux wakicht’añaniw red ukan trafico ukar instancia ukat clúster ukanakan utjañapataki. Ukhamaraki, mä volúmenes EBS ukax mä jach’a tamaw apkatañasa, ukhamat exportados datos ukanakax utjañapataki. Uka conjunto de datos ukatakix kunatix irnaqasktan ukatakix mä 8GB volúmenes ukax wakisiwa.

Instancia qalltaskipanxa, mä IAM lurawi lurañasawa, ukaxa qillqañatakixa destino S3 cubo ukaru mantañatakixa, ukhamaraki yaqhipa RDS lurawinakampi, kunjamatixa uñacht’ayata aka política ukanxa. Nayrïr arsuwix política ukax obligatorio ukhamawa, payïr arsuwix mä clúster clonado ukan datos ukar apsuñakiw wakisi. Clusteres clonados ukanakat yatiyawinak apsuñax aka post ukan qhipharux aruskipt’atäni.

 { "Version": "2012-10-17", "Statement": [ { "Sid": "RequiredPart", "Effect": "Allow", "Action": [ "rds:ListTagsForResource", "rds:DescribeDBInstances", "rds:DescribeDBClusters" ], "Resource": "*" }, { "Sid": "OptionalPartOnlyRequiredForExportingFromClonedCluster", "Effect": "Allow", "Action": [ "rds:AddTagsToResource", "rds:DescribeDBClusters", "rds:DescribeDBInstances", "rds:ListTagsForResource", "rds:DescribeDBClusterParameters", "rds:DescribeDBParameters", "rds:ModifyDBParameterGroup", "rds:ModifyDBClusterParameterGroup", "rds:RestoreDBClusterToPointInTime", "rds:DeleteDBInstance", "rds:DeleteDBClusterParameterGroup", "rds:DeleteDBParameterGroup", "rds:DeleteDBCluster", "rds:CreateDBInstance", "rds:CreateDBClusterParameterGroup", "rds:CreateDBParameterGroup" ], "Resource": "*" } ] }

Ukax mä amtañ clúster ukarukiw mantañax jaysatäspa (taqi clústeres ukanakat sipansa) ‘Recurso’ uksan chiqanchasa.

Ukhamaraki, lurawixa mä política de confianza ukaniñaparakiwa, ukaxa EC2 ukaruxa uka lurawi katuqañapataki:

 { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "ec2.amazonaws.com" }, "Action": "sts:AssumeRole" } ] }

Mä kutix EC2 instancia ukat rol ukax wakicht’atäxi ukhax rol ukax instancia ukaruw apkatañäni.

Ukxarusti, neptuno-exportación uka utilidad ukax instancia ukan uñstayañaw wakisi. Uk lurañatakix instancia ukar mantañäni ukat aka kamachinak apnaqañäni JDK 8 ukar uñstayañataki ukat utilidad ukar apkatañataki:

 sudo apt update -y sudo apt install -y openjdk-8-jdk curl -O https://s3.amazonaws.com/aws-neptune-customer-samples/neptune-export/bin/neptune-export.jar

Jichhax wakicht’apxtanwa EC2 instancia, destino S3 cubo, ukatx IAM ukaruw uñt’ayawaytan ukax rol ukax permite escribir acceso a la destino S3 cubo instancia, ukax qalltaraksnawa datos exportación. Aka kamachimpiw lurañ qalltañatakix apnaqañäni, wakiskir parámetros ukanakax mä JSON objeto ukham churañataki:

 java -jar /home/ubuntu/neptune-export.jar nesvc \ --root-path /home/ubuntu/neptune-export \ --json '{ "command": "export-pg", "outputS3Path" : "s3://YOUR_TARGET_S3_BUCKET/neptune-export", "params": { "endpoint" : "YOUR_CLUSTER_ENDPOINT", "profile": "neptune_ml" } }'

Aka chiqanx wakiskir parámetros ukakiw apnaqapxta ukampis jasakiw config ukax jilxattaspa. Uka chimpuxa ‘filtro’ parámetro ukampiwa kuna chiqasa apsutäspa ukxa ajlliraksnawa: nodos, bordes, ukhamaraki propiedades ukanaka ajlliñawa.

Mä jakkir yatiyaw chiqat yatiyawinak apsuñax, ' cloneCluster ' ukat ' cloneClusterReplicaCount ' uka parámetros ukanakamp apnaqañamawa, neptue-export utilidad ukax mä jamuq apsuñapataki, uka jamuqat machaq Neptune clúster lurañataki, ullart’at réplicas ukar uñstayañataki, ukatx ukanak apnaqañamawa yatiyawinak apsuñataki. Ukham lurasax, jakkir base de datos ukax janiw yaqha carga ukampix datos exportación ukanx jan walt’ayatakiti.

Parámetros ukan taqpach listapax akan jikxatasi ( https://docs.aws.amazon.com/neptune/latest/userguide/export-parameters.html ).

EXPORTADO DATOS UKAT JUTIRI TUQIT UÑACHT’AYAÑA

Kunawsatix exportación ukax tukuyataxi ukhax neptuno-export ukax mä qawqha estadísticas ukanakaw imprimi, ukax vértices ukat bordes ukanakan jakhüwinakap uñt’ayi:

 Source: Nodes: 7126 Edges: 70648 Export: Nodes: 7126 Edges: 70648 Properties: 28504 Details: Nodes: user: 7126 |_ days {propertyCount=7126, minCardinality=1, maxCardinality=1, recordCount=7126, dataTypeCounts=[Integer:7126]} |_ mature {propertyCount=7126, minCardinality=1, maxCardinality=1, recordCount=7126, dataTypeCounts=[Boolean:7126]} |_ views {propertyCount=7126, minCardinality=1, maxCardinality=1, recordCount=7126, dataTypeCounts=[Integer:7126]} |_ partner {propertyCount=7126, minCardinality=1, maxCardinality=1, recordCount=7126, dataTypeCounts=[Boolean:7126]} Edges: (user)-follows-(user): 70648

Ukat ukxarusti ukax S3 ukar apkatatawa.

Uñakipt’añäni kuna archivonakas lurasi ukax target S3 cubo ukanxa:

‘Nodos’ ukat ‘edges’ directorios ukax CSV archivonakaniwa, ukax nodos ukat bordes ukanakan listanakapamp chikaw utji, ukax kuntix 1 t’aqapanx apnaqawayktan ukar uñtasitawa, kunapachatix datos ukar apkatawayktan ukhama. Jach’a gráficos ukanakatakix walja archivonakaw utji, ukampis jiwasan conjunto de datos ukax jisk’akiwa ukatx sapa directorio ukanx mä archivokiw utji. Ukhamaraki, training-data-configuration.json qillqatax utjarakiwa, ukax chiqañchañawa ukat jutïr lurawisan apnaqañapawa.

Mä kuti exportación lurasksta ukhaxa, jichhax EC2 instancia ukat EBS volumen ukanak chhaqtayañax wali askiwa, kunatix S3 cubo de meta ukan archivonakakiw jutïr pachanx apnaqasini. Jan ukhamäkanixa, EC2 instancia ukax sayt’ayañakiw wakisi, ukhamat jan kuna pachas jan qullqiniñapataki (EBS ukan imañapatakix wali qullqiw apsutäni jan ukax chhaqtayatäni).

Aka chiqanx S3 ukanx gráfico ukan datos ukanakax formato ukanw utji, ukax jutir lurawinx apnaqasispawa, ukatx codificación de características ukat proceso de datos ukanak lurañatakix wakicht’ataw jikxatastanxa, ukax jutir post ukanw aruskipt’asini.