From 540ccdb2d2fe1181aedb4f2ad1f05f901d91bab3 Mon Sep 17 00:00:00 2001 From: Patrick Dowler Date: Wed, 13 Dec 2023 14:51:26 -0800 Subject: [PATCH] oops: add new files --- .../java/org/opencadc/vault/TransferTest.java | 108 ++++++++++++++++ .../java/org/opencadc/vault/GetKeyAction.java | 115 ++++++++++++++++++ .../vault/uws/AsyncTransferManager.java | 97 +++++++++++++++ 3 files changed, 320 insertions(+) create mode 100644 vault/src/intTest/java/org/opencadc/vault/TransferTest.java create mode 100644 vault/src/main/java/org/opencadc/vault/GetKeyAction.java create mode 100644 vault/src/main/java/org/opencadc/vault/uws/AsyncTransferManager.java diff --git a/vault/src/intTest/java/org/opencadc/vault/TransferTest.java b/vault/src/intTest/java/org/opencadc/vault/TransferTest.java new file mode 100644 index 00000000..4c15f7e0 --- /dev/null +++ b/vault/src/intTest/java/org/opencadc/vault/TransferTest.java @@ -0,0 +1,108 @@ +/* +************************************************************************ +******************* CANADIAN ASTRONOMY DATA CENTRE ******************* +************** CENTRE CANADIEN DE DONNÉES ASTRONOMIQUES ************** +* +* (c) 2023. (c) 2023. +* Government of Canada Gouvernement du Canada +* National Research Council Conseil national de recherches +* Ottawa, Canada, K1A 0R6 Ottawa, Canada, K1A 0R6 +* All rights reserved Tous droits réservés +* +* NRC disclaims any warranties, Le CNRC dénie toute garantie +* expressed, implied, or énoncée, implicite ou légale, +* statutory, of any kind with de quelque nature que ce +* respect to the software, soit, concernant le logiciel, +* including without limitation y compris sans restriction +* any warranty of merchantability toute garantie de valeur +* or fitness for a particular marchande ou de pertinence +* purpose. NRC shall not be pour un usage particulier. +* liable in any event for any Le CNRC ne pourra en aucun cas +* damages, whether direct or être tenu responsable de tout +* indirect, special or general, dommage, direct ou indirect, +* consequential or incidental, particulier ou général, +* arising from the use of the accessoire ou fortuit, résultant +* software. Neither the name de l'utilisation du logiciel. Ni +* of the National Research le nom du Conseil National de +* Council of Canada nor the Recherches du Canada ni les noms +* names of its contributors may de ses participants ne peuvent +* be used to endorse or promote être utilisés pour approuver ou +* products derived from this promouvoir les produits dérivés +* software without specific prior de ce logiciel sans autorisation +* written permission. préalable et particulière +* par écrit. +* +* This file is part of the Ce fichier fait partie du projet +* OpenCADC project. OpenCADC. +* +* OpenCADC is free software: OpenCADC est un logiciel libre ; +* you can redistribute it and/or vous pouvez le redistribuer ou le +* modify it under the terms of modifier suivant les termes de +* the GNU Affero General Public la “GNU Affero General Public +* License as published by the License” telle que publiée +* Free Software Foundation, par la Free Software Foundation +* either version 3 of the : soit la version 3 de cette +* License, or (at your option) licence, soit (à votre gré) +* any later version. toute version ultérieure. +* +* OpenCADC is distributed in the OpenCADC est distribué +* hope that it will be useful, dans l’espoir qu’il vous +* but WITHOUT ANY WARRANTY; sera utile, mais SANS AUCUNE +* without even the implied GARANTIE : sans même la garantie +* warranty of MERCHANTABILITY implicite de COMMERCIALISABILITÉ +* or FITNESS FOR A PARTICULAR ni d’ADÉQUATION À UN OBJECTIF +* PURPOSE. See the GNU Affero PARTICULIER. Consultez la Licence +* General Public License for Générale Publique GNU Affero +* more details. pour plus de détails. +* +* You should have received Vous devriez avoir reçu une +* a copy of the GNU Affero copie de la Licence Générale +* General Public License along Publique GNU Affero avec +* with OpenCADC. If not, see OpenCADC ; si ce n’est +* . pas le cas, consultez : +* . +* +************************************************************************ +*/ + +package org.opencadc.vault; + +import ca.nrc.cadc.util.FileUtil; +import ca.nrc.cadc.util.Log4jInit; +import java.io.File; +import java.net.URI; +import org.apache.log4j.Level; +import org.apache.log4j.Logger; +import org.junit.Ignore; + +/** + * + * @author pdowler + */ +public class TransferTest extends org.opencadc.conformance.vos.TransferTest { + private static final Logger log = Logger.getLogger(TransferTest.class); + + static { + Log4jInit.setLevel("org.opencadc.conformance.vos", Level.DEBUG); + Log4jInit.setLevel("org.opencadc.vospace", Level.DEBUG); + } + + private static File ADMIN_CERT = FileUtil.getFileFromResource("vault-test.pem", NodesTest.class); + + public TransferTest() { + super(URI.create("ivo://opencadc.org/vault"), ADMIN_CERT); + } + + @Override + public void asyncMoveTest() { + super.asyncMoveTest(); + } + + @Ignore + @Override + public void syncPushPullTest() { + super.syncPushPullTest(); + } + + +} diff --git a/vault/src/main/java/org/opencadc/vault/GetKeyAction.java b/vault/src/main/java/org/opencadc/vault/GetKeyAction.java new file mode 100644 index 00000000..d0b1fa46 --- /dev/null +++ b/vault/src/main/java/org/opencadc/vault/GetKeyAction.java @@ -0,0 +1,115 @@ +/* +************************************************************************ +******************* CANADIAN ASTRONOMY DATA CENTRE ******************* +************** CENTRE CANADIEN DE DONNÉES ASTRONOMIQUES ************** +* +* (c) 2023. (c) 2023. +* Government of Canada Gouvernement du Canada +* National Research Council Conseil national de recherches +* Ottawa, Canada, K1A 0R6 Ottawa, Canada, K1A 0R6 +* All rights reserved Tous droits réservés +* +* NRC disclaims any warranties, Le CNRC dénie toute garantie +* expressed, implied, or énoncée, implicite ou légale, +* statutory, of any kind with de quelque nature que ce +* respect to the software, soit, concernant le logiciel, +* including without limitation y compris sans restriction +* any warranty of merchantability toute garantie de valeur +* or fitness for a particular marchande ou de pertinence +* purpose. NRC shall not be pour un usage particulier. +* liable in any event for any Le CNRC ne pourra en aucun cas +* damages, whether direct or être tenu responsable de tout +* indirect, special or general, dommage, direct ou indirect, +* consequential or incidental, particulier ou général, +* arising from the use of the accessoire ou fortuit, résultant +* software. Neither the name de l'utilisation du logiciel. Ni +* of the National Research le nom du Conseil National de +* Council of Canada nor the Recherches du Canada ni les noms +* names of its contributors may de ses participants ne peuvent +* be used to endorse or promote être utilisés pour approuver ou +* products derived from this promouvoir les produits dérivés +* software without specific prior de ce logiciel sans autorisation +* written permission. préalable et particulière +* par écrit. +* +* This file is part of the Ce fichier fait partie du projet +* OpenCADC project. OpenCADC. +* +* OpenCADC is free software: OpenCADC est un logiciel libre ; +* you can redistribute it and/or vous pouvez le redistribuer ou le +* modify it under the terms of modifier suivant les termes de +* the GNU Affero General Public la “GNU Affero General Public +* License as published by the License” telle que publiée +* Free Software Foundation, par la Free Software Foundation +* either version 3 of the : soit la version 3 de cette +* License, or (at your option) licence, soit (à votre gré) +* any later version. toute version ultérieure. +* +* OpenCADC is distributed in the OpenCADC est distribué +* hope that it will be useful, dans l’espoir qu’il vous +* but WITHOUT ANY WARRANTY; sera utile, mais SANS AUCUNE +* without even the implied GARANTIE : sans même la garantie +* warranty of MERCHANTABILITY implicite de COMMERCIALISABILITÉ +* or FITNESS FOR A PARTICULAR ni d’ADÉQUATION À UN OBJECTIF +* PURPOSE. See the GNU Affero PARTICULIER. Consultez la Licence +* General Public License for Générale Publique GNU Affero +* more details. pour plus de détails. +* +* You should have received Vous devriez avoir reçu une +* a copy of the GNU Affero copie de la Licence Générale +* General Public License along Publique GNU Affero avec +* with OpenCADC. If not, see OpenCADC ; si ce n’est +* . pas le cas, consultez : +* . +* +************************************************************************ +*/ + +package org.opencadc.vault; + +import ca.nrc.cadc.rest.InlineContentHandler; +import ca.nrc.cadc.rest.RestAction; +import java.io.OutputStream; +import javax.naming.Context; +import javax.naming.InitialContext; +import javax.naming.NamingException; +import org.apache.log4j.Logger; +import org.opencadc.inventory.PreauthKeyPair; + +/** + * + * @author pdowler + */ +public class GetKeyAction extends RestAction { + private static final Logger log = Logger.getLogger(GetKeyAction.class); + + public GetKeyAction() { + super(); + } + + @Override + protected InlineContentHandler getInlineContentHandler() { + return null; + } + + @Override + public void doAction() throws Exception { + String jndiPreauthKeys = appName + "-" + PreauthKeyPair.class.getName(); + Context ctx = new InitialContext(); + try { + log.warn("lookup: " + jndiPreauthKeys); + PreauthKeyPair keys = (PreauthKeyPair) ctx.lookup(jndiPreauthKeys); + log.warn("found: " + keys); + byte[] pub = keys.getPublicKey(); + syncOutput.setHeader("content-length", pub.length); + syncOutput.setHeader("content-type", "application/octet-stream"); + syncOutput.setCode(200); + try (OutputStream ostream = syncOutput.getOutputStream()) { + ostream.write(pub); + ostream.flush(); + } + } catch (NamingException ex) { + throw new RuntimeException("BUG: failed to find keys via JNDI", ex); + } + } +} diff --git a/vault/src/main/java/org/opencadc/vault/uws/AsyncTransferManager.java b/vault/src/main/java/org/opencadc/vault/uws/AsyncTransferManager.java new file mode 100644 index 00000000..d2976276 --- /dev/null +++ b/vault/src/main/java/org/opencadc/vault/uws/AsyncTransferManager.java @@ -0,0 +1,97 @@ +/* +************************************************************************ +******************* CANADIAN ASTRONOMY DATA CENTRE ******************* +************** CENTRE CANADIEN DE DONNÉES ASTRONOMIQUES ************** +* +* (c) 2022. (c) 2022. +* Government of Canada Gouvernement du Canada +* National Research Council Conseil national de recherches +* Ottawa, Canada, K1A 0R6 Ottawa, Canada, K1A 0R6 +* All rights reserved Tous droits réservés +* +* NRC disclaims any warranties, Le CNRC dénie toute garantie +* expressed, implied, or énoncée, implicite ou légale, +* statutory, of any kind with de quelque nature que ce +* respect to the software, soit, concernant le logiciel, +* including without limitation y compris sans restriction +* any warranty of merchantability toute garantie de valeur +* or fitness for a particular marchande ou de pertinence +* purpose. NRC shall not be pour un usage particulier. +* liable in any event for any Le CNRC ne pourra en aucun cas +* damages, whether direct or être tenu responsable de tout +* indirect, special or general, dommage, direct ou indirect, +* consequential or incidental, particulier ou général, +* arising from the use of the accessoire ou fortuit, résultant +* software. Neither the name de l'utilisation du logiciel. Ni +* of the National Research le nom du Conseil National de +* Council of Canada nor the Recherches du Canada ni les noms +* names of its contributors may de ses participants ne peuvent +* be used to endorse or promote être utilisés pour approuver ou +* products derived from this promouvoir les produits dérivés +* software without specific prior de ce logiciel sans autorisation +* written permission. préalable et particulière +* par écrit. +* +* This file is part of the Ce fichier fait partie du projet +* OpenCADC project. OpenCADC. +* +* OpenCADC is free software: OpenCADC est un logiciel libre ; +* you can redistribute it and/or vous pouvez le redistribuer ou le +* modify it under the terms of modifier suivant les termes de +* the GNU Affero General Public la “GNU Affero General Public +* License as published by the License” telle que publiée +* Free Software Foundation, par la Free Software Foundation +* either version 3 of the : soit la version 3 de cette +* License, or (at your option) licence, soit (à votre gré) +* any later version. toute version ultérieure. +* +* OpenCADC is distributed in the OpenCADC est distribué +* hope that it will be useful, dans l’espoir qu’il vous +* but WITHOUT ANY WARRANTY; sera utile, mais SANS AUCUNE +* without even the implied GARANTIE : sans même la garantie +* warranty of MERCHANTABILITY implicite de COMMERCIALISABILITÉ +* or FITNESS FOR A PARTICULAR ni d’ADÉQUATION À UN OBJECTIF +* PURPOSE. See the GNU Affero PARTICULIER. Consultez la Licence +* General Public License for Générale Publique GNU Affero +* more details. pour plus de détails. +* +* You should have received Vous devriez avoir reçu une +* a copy of the GNU Affero copie de la Licence Générale +* General Public License along Publique GNU Affero avec +* with OpenCADC. If not, see OpenCADC ; si ce n’est +* . pas le cas, consultez : +* . +* +************************************************************************ +*/ + +package org.opencadc.vault.uws; + +import ca.nrc.cadc.uws.server.JobExecutor; +import ca.nrc.cadc.uws.server.JobPersistence; +import ca.nrc.cadc.uws.server.JobUpdater; +import ca.nrc.cadc.uws.server.ThreadPoolExecutor; +import org.apache.log4j.Logger; +import org.opencadc.vospace.server.transfers.TransferRunner; + +/** + * + * @author pdowler + */ +public class AsyncTransferManager extends VaultJobManager { + private static final Logger log = Logger.getLogger(AsyncTransferManager.class); + + public AsyncTransferManager() { + super(); + JobPersistence jp = createJobPersistence(); + JobUpdater ju = (JobUpdater) jp; + JobExecutor jobExec = new ThreadPoolExecutor(ju, TransferRunner.class, 6, "vault-transfers"); + super.setJobPersistence(jp); + super.setJobExecutor(jobExec); + + // these are made up and bogus + super.setMaxDestruction(600000L); + super.setMaxExecDuration(60000L); + super.setMaxQuote(60000L); + } +}