Merge pull request #1384 from sebastian-luna-valero/eosc-eu-node-01

Add pulsar endpoint deployed on the EOSC EU Node

files/galaxy/config/user_preferences_extra_conf.yml

@@ -146,6 +146,7 @@ preferences:
                   - ["Ankara (Turkey) - TÜBİTAK ULAKBİM", tubitak-pulsar]
                   - ["Krakow (Poland) - Cyfronet", pl-pulsar]
                   - ["Heraklion-Crete (Greece) - HCMR", hcmr-gr-pulsar]
+                  - ["EOSC EU Node 01", eosc-eu-node-01-pulsar]
 
     ega_account:
         description: Your EGA (European Genome Archive) account

files/galaxy/tpv/destinations.yml.j2

@@ -387,6 +387,17 @@ destinations:
       require:
         - hcmr-gr-pulsar
 
+  pulsar_eosc01_tpv:
+    inherits: pulsar_default
+    runner: pulsar_eu_eosc01
+    max_accepted_cores: 4
+    max_accepted_mem: 31
+    min_accepted_gpus: 0
+    max_accepted_gpus: 0
+    scheduling:
+      require:
+        - eosc-eu-node-01-pulsar
+
   #############################
   # LOCAL CONDOR DESTINATIONS #
   #############################

group_vars/mq.yml

@@ -120,6 +120,9 @@ rabbitmq_users:
   - user: galaxy_tubitak01
     password: '{{ rabbitmq_password_galaxy_tubitak01 }}'
     vhost: /pulsar/galaxy_tubitak01
+  - user: galaxy_eosc01
+    password: '{{ rabbitmq_password_galaxy_eosc01 }}'
+    vhost: /pulsar/galaxy_eosc01
 
 rabbitmq_plugins:
   - rabbitmq_management

secret_group_vars/pulsar.yml

@@ -1,74 +1,76 @@
 $ANSIBLE_VAULT;1.1;AES256
-33663930656361333931363465373563303339633339633766313164633139613662663736366366
-6437313064643135306330313561333161353034666132620a346330363665326639393464376466
-64313632666539643861376139346439386431303230633837323766343234373465636261386461
-6637393132316431320a333032396636393732336632646430306337333565383639313365396237
-63353630393366336139343932653663643631393335353236643436383831633031393764613864
-35386165303363356162653338376566373136633462666139363162386561316335653432353437
-38306461356632376364376261666363343365306263636361333338306663636466633736643033
-38333732353732326639643366386438366338373661323761356136373633336332343630373366
-64343565373764613565653566666539373432653231636237306132303662303563383461333362
-65643365363635396662626663303536663932353536663161303631313133333532353766313362
-33366430643436393035383338633765326633323738666532323066333465336231336130306365
-35303334633363353039616532653866636535613134376462626239633038376462663265383238
-39613931666233366362363438623864306263616630653535656631666435376136663533373565
-65656238613433376339636635633461623165366463313830303463353864316330323032656232
-32396237363639633062656165633736353964613730313438373661623236663465343637303865
-32366532363562633535643532336436363934613338356464623166303462346366356166663137
-38653639346632386161633261613066373566623964336439356663643635323961366537343438
-62303066646338663361663732643632643234613665663631316262316635653235343162373836
-38646264386365343765666431633136363038633135623832316233363963333961356466393462
-32303937346338613031313834653062313933336431663535633933666635633230623434373537
-63356663626130363165646362646339363037353235326236323931663664323865613265343063
-38306138383339396437616436653030346330396238633332353432336138376538636633363637
-32383139373064323333613032643131363366353264636632643139663530333638323232616531
-39633732666330626130396338373833663961366235333933323331343838633165393431313961
-63343931313063616564643035326663633138316230316530333638343636643063616433616331
-33386462653633616263363361613230633866653536663135323239666534653165333566363766
-62386432653963356439353236383866376662313536353864666539323139303762623235326361
-63383438306238353162393034643935623338343235656561373263333761373033646465313764
-64366336613839323866356533353038646238303835363638333765323438303839653061343935
-33336330363232653137396639623966363536303534653539653936316638633465643138386535
-63626364363933646166646466363731333364613764316266353734303762363464626566646634
-30386334313536383466323338383338333434626463656430306539366235306133383238333239
-35663761313235343234626564323034353938343033303232623538303563623133666261366636
-31373661646135333033336436613663653965633035643161626639326339336633356430343132
-65336234353536366434636462333631383333383933306435636666323263313233303833623065
-32376439656666633364363037386666366331346463336465376239636333383537333266653137
-62623333643135303666343564366363646236323761303935366136303937326631323031663832
-32663963333365306531376239306130616432383865336164613966373536373835306561313739
-65333538343562626233633130666336633263623830316164353630393538393830363261346561
-37303432643837653739666238646661343866656234353363323062366166613537343461373837
-37393062316662316531396432363336633264326431653737613035663266613637656366333661
-38303166626533633738626238326136303537326661306363666661336233353038626461373130
-63333361633430343065646536343235333863323435643365633362613063373962643230616461
-32653866303963383633396665373336326663623236653261613563323165613836656136353939
-39633739623133326536386139376235323135643230346562323366313332663939643861613365
-31366534616332323263376330376233333766346336613634643064313632643136396636303036
-31386438616338666234666238326361333336646363333339306664653438356164313734613236
-36653531663935626464303437343431646562336336653938613539396565313731333332623432
-38343736346335636339363938363732336633376138636636643230393836626563646632303236
-66313064393036666135363162636263353339626261623530303232383665313838346462633966
-61333033613434333530356361623930656130326561303938366366376239343539656465633236
-35633735373739626234386363633930363337623837633931636533356431663632666238626361
-65323530343834646233633037626166303163306461333336643964343833643663666663353035
-36666130366534323331366630356164376364333234383839633433396538373530333532626633
-63303162623466396239306561373665363432356463646566316432326161353564343338383731
-65653531303731666632363237336336363631376264656235363833353832346234633865656238
-37353137646132666461356163333063623639653565323464336336646565353962633538613262
-35643363316430303131343161623934643462316334333232363430646238336534353232383030
-39356338656662623161666335653964346630363730666665666431643466633934333733663734
-33383430376363323631633935653465643063353938333830623237643534303130663935646437
-66613835643133623232626663613262623132393731636633653565373932323762653866643831
-62346330353332623865396461346239653264383436343165646161653865353963306630616135
-35653433623863333030376139353038633032363162373961666162653330626234326431626464
-34393334383438393732363337323538666435363237633163333636616239353836613132666162
-38333333626337643266666433663930396564343434643866653530373431343434366531326130
-36343339666339326462626161663137623932303765616539346338666265386432373664373662
-63623966616331343261316237393461306661306566613134336566373562306339613437313534
-61623866656361633534653436393536373234303535353836623535336334653532393661316464
-30393530646130393737636431333331333936396139323463336337313734626661373264313231
-61656337313135363563353566636637633431323931306166656134633762353839353166656238
-61356231343464383662616437666265386166323631366134643034393233323366373134303461
-61653233396662396130396433353563653331356633623166376531636463336466623962303634
-3965
+64653961363036393433373462316661626433373363643934353839623964383863356165383235
+3037653663373966643662366363653266316563653766390a646330363533343766313636376363
+34353633383664646165373361373933383736346135303330653465646431343164663261386264
+3361383339653932390a303434346562626137653236633730326439373135356662383336363161
+37653065386466343339633536626232656265633236316566393830663439353637633831346464
+39383361623364623562373461343265393133306631346237613962663933396636373262633563
+63623961643139356263306530313330376566623563303238323437623936356539656163366632
+35636361323563393134323233303863303863343339363061303239353339353734356432336265
+35616565363332386662356262333164633038336565343732353233396137353966393663636537
+34333363373635336432333466653034383039373162633739326166336438373634313639303734
+31353362646235386239316334376365306230616438663163336332363637613837373137633365
+39653431643034396632366461663062636330626231656466393038386538333662623932306539
+34613461333630356562313031326637396236643062633464313062666330633032333837376335
+37353664346336303865353234323435316434363536356139366366313761663763343562303539
+39656263343636623239646331633038333830613433613763346537346563613239326263376238
+62663130396131313233336633643731636465643163346266333462323364643034656637643537
+38353866623765663833393132613763396632373034623461313466613462633662633035373836
+36303366393234366564323036323564663063643036643734366133333664653864393063633936
+63353035363539396566316462336234323165616561313561353331343238346465383632643430
+37396134396134613363643734613436333066666462613438396364656130303832633062303434
+38393839303462633463313332613332386234656237613861353631393763303939666462396230
+61353763303966336261326331646337346235353664343434356331356233356331656165333838
+66636134343564393663326235353436643730326239653631393738326264343461386335333837
+30303566306134623963613738353263376266363063393133623061663438396664373865353566
+30623135333261656166626362613163383133373038353032346461386136346531396338383635
+31346565363035633137646333363839323336303964313262313736313534333338653063646635
+65313930363531663032303463643737636238663835313036326364656262623961653430633239
+36383737343830633361663963323938383736616434303935636539333761626465623630623934
+38363138363533323331366435636331663562343030623635643239623330656234313932346535
+63316464663564343235653062336664343731386238386434643538306137333835666166383132
+37663265626263363633643635303833346535663066613263343965633335316364396563343737
+63396437353861326131643332633431303935303933633734386461313537396436353038346466
+30636137323162303136356131366639636637356232333738373430373830313763326630613965
+39353430653763363364626631626661313664666465343766653634626264623331306465393339
+33616465633264616361346439646563303938366131366531396439386564616530636231386139
+35303732636162346234393137346662623032376539383538623933613330373330626537366639
+31616530313064343361323562303461623536616232643031346139343239316265343464623539
+31306166653033326434623163613336393830313133373431653232643162323562643431303333
+62366637316332363939336362333964613461386634613438643565663935653730313936326331
+39326533333936323537303734306238343936663934643834363538366133303864346539656635
+66343565623965303433323461376262633930336139663463393038663538363961323630353063
+30363336326532316465656162303331353662393835633961333633623066666661326531323964
+34393064313763383231616665396630356633383865393265636466663963613564333762623263
+39633561646538623033353966616134343537636236343837336432353338666364623263333636
+37366431303538336163313838373936656163386235383962313030353566376362333033346530
+61366132346637376138373936616465663765613530373032653263633162333865666238336631
+35386231653361393535333963363630363663353537316664666265333930363761646362336635
+33653763356337366431326434326264633266613830636336373262336464366334643036643331
+38333264393164346637396232383164333932353961383932343764316338353930393235343731
+37636330376638373865613661383361333336326166303330396132663063346539303263343331
+36323535306265623336363431363632393939376339373333336463333434373334656363383264
+61383535336539393132626531653665363262643862623661653538363239386238336163633331
+66336234636533626231633566303463303132623864623939393936623537663261343431613037
+65363664323539306265316234626464326164396337323634313366353030346532643135356464
+65333563393962353536366664303665643530613866323933616438386338386563353564353538
+62336332616665613166363934326461313634636635313732343138623733616330386165653763
+34343436633933316466343064623235323139323339353031303562333831343162343432623631
+32636235376561323933653538373236643230383133323338633932623064613563623138393561
+33316535666336653732646334323962326335626638386566393866346363383764636135623334
+39386565343165333164376664666431336638356634343133646264386461636339616366383931
+66656139323736323531653061323363366530306235653965313932626132363963383965393535
+66343634636531666264653462636363643965643430633065313237323232613232623663393232
+38383661326339373035663239336232623063383936653434643265383337333966623039353633
+32646361613466353034336534313466646332636331653265613331616635363261316533356434
+34383461363566323534633034376561376332643137353439363565373365666132613435613637
+66653431313462636162313339633836336634633765613463663730346237636662303236623861
+62646564323762353664616537363032376538376231376166386536666164633966356638346134
+65323435353462353966643035313935313166616639323632326361356538366436363765613262
+34653662343166646532613362343761383662373634326632396362383230316363666535393537
+62633230356637373639653930633239646233613761373331396366653538396534383532313932
+64343038663462663630313263333932636532666362366465376135613564663436323338336533
+61346564656164343766633462383766303036616461653436613663383166643063363532613962
+65623363623039333838626565373661656236353538353265646266623633613338363166656665
+64663436616330626533343132316533393930336665653832393238383838373535613832666464
+613066663635303963623438336661373432

templates/galaxy/config/job_conf.yml

@@ -229,6 +229,18 @@ galaxy_jobconf:
         amqp_consumer_timeout: 2.0
         amqp_publish_retry: "true"
         amqp_publish_retry_max_retries: 60
+    - id: pulsar_eu_eosc01
+      load: galaxy.jobs.runners.pulsar:PulsarMQJobRunner
+      params:
+        amqp_url: "pyamqp://galaxy_eosc01:{{ rabbitmq_password_galaxy_eosc01 }}@mq.galaxyproject.eu:5671//pulsar/galaxy_eosc01?ssl=1"
+        galaxy_url: "https://usegalaxy.eu"
+        manager: production
+        amqp_acknowledge: "true"
+        amqp_ack_republish_time: 300
+        amqp_consumer_timeout: 2.0
+        amqp_publish_retry: "true"
+        amqp_publish_retry_max_retries: 60
+
 
   default_destination: tpv_dispatcher
   destinations: