Ok 381 #1480
Ok 381 #1480
Conversation
| export const options = { | ||
| scenarios: { | ||
| ui: { | ||
| vus: 2, |
There was a problem hiding this comment.
Mikä on realistinen skenaario jota halutaan testata? Aikaisemmin on mainittu satoja rinnakkaisia käyttäjiä.
Missä tätä on tarkoitus ajaa? Jos lokaalisti, niin pystyykö generoimaan tarvittavan määrän kuormaa?
There was a problem hiding this comment.
Matala kolminumeroinen määrä rinnakkaisia käyttäjiä (100-300) olisi varmaan sekä realistinen että riittävä
| const context = browser.newContext(); | ||
| const page = context.newPage(); | ||
|
|
||
| await page.goto('https://untuvaopintopolku.fi/hakemus/85a8f75c-a64c-40cf-92e4-e47102d22db6?lang=fi', { waitUntil: 'load'}); |
There was a problem hiding this comment.
Vastaako untuva ympäristönä tuotantoa siinä määrin että kuormatestauksen tulokset ovat vastaavia?
There was a problem hiding this comment.
Vastaa se, palvelut toki skaalataan ennen testiä samalle resurssitasolle kuin tuotannossa
| hetuInput.type(hetu) | ||
| console.log("hetu input done: " + hetu) | ||
|
|
||
| const suomiFiTunnistauduButton = page.locator('button[id="tunnistaudu"]') |
There was a problem hiding this comment.
Voiko suomifi-testitunnistautumiseen generoida kuormatestauksen vaatimaa liikennemäärää? Onko se skaalattu niin että tulokset vastaavat tuotantoa?
There was a problem hiding this comment.
Tästä on tarkoitus vielä olla yhteydessä suomi.fi:n päähän erikseen ennen varsinaisen testin ajoa
| @@ -0,0 +1,110 @@ | |||
| import { browser } from 'k6/experimental/browser'; | |||
There was a problem hiding this comment.
Minkä järjestelmän suorituskyvystä tässä halutaan informaatiota? Aiheuttaako tämä nimenomainen flow järjestelmien välille interaktioita joilla voi olla erityisiä suorituskykyimplikaatioita jompaan kumpaan tai molempiin järjestelmiin, vai onko pohjimmiltaan kyse siitä kestääkö a) suomifi-tunnistautuminen meiltä tulevan liikenteen, b) meidän pää SAML-loginvolyymin, ja c) meidän pää hakemusten jätöstä aiheutuvan kuorman? Jos jälkimmäinen, niin onko olennaista mistä idp:stä saml-loginit tulevat vai voisiko tämän hoitaa itse jolloin suomifi-riippuvuutta ei olisi ja testiä voisi ajaa million vain ja kuormaa kasvattaa huoletta vaikka siihen asti että järjestelmä kyykkää?
Onko meidän järjestelmän osalta realistista että kuorma muodostuu tunnistautuneena hakemisesta, vai onko jotain muuta peruskuormaa jota tulisi simuloida?
Mikä on success-kriteeri? Onko riittävää että flowt-menee läpi, vai onko jokin määrä odottamista liikaa?
There was a problem hiding this comment.
Kyllä tässä kiinnostaa koko polku a-c ja se, missä mahdollinen pullonkaula on jos on. Meidän päässä palveluiden (erityisesti cas-oppija, ataru-hakija ja nginx) pitäisi myös osata ottaa käyttöön lisää instansseja kuorman kasvaessa.
| @@ -0,0 +1,110 @@ | |||
| import { browser } from 'k6/experimental/browser'; | |||
| import { check } from 'k6'; | |||
There was a problem hiding this comment.
Kun ajoin tätä lokaalisti niin tuli seuraava ongelma (käsin flow kyllä näyttää menevän läpi):
INFO[0003] initial load doneOpintopolku – hakulomake – Testilomake (ht) source=console
INFO[0003] initial load doneOpintopolku – hakulomake – Testilomake (ht) source=console
INFO[0004] "Handle oppija session fetch, sess data{:logged-in false}" browser_source=console-api source=browser
INFO[0004] "Handle oppija session fetch, sess data{:logged-in false}" browser_source=console-api source=browser
ERRO[0007] Failed to load resource: the server responded with a status of 404 () browser_source=network line_number=0 source=browser stacktrace="" url="https://testi.apro.tunnistus.fi/disruption/disruption_message.json"
ERRO[0007] Failed to load resource: the server responded with a status of 404 () browser_source=network line_number=0 source=browser stacktrace="" url="https://testi.apro.tunnistus.fi/disruption/disruption_message.json"
INFO[0008] hetu input done: 210281-9988 source=console
INFO[0008] click suomiFiTunnistauduButton Testitunnistaja source=console
INFO[0008] hetu input done: 210281-9988 source=console
INFO[0008] click suomiFiTunnistauduButton Testitunnistaja source=console
INFO[0010] Error in suomiFiTunnistauduButton {"value":{}} source=console
INFO[0010] Error in suomiFiTunnistauduButton {"value":{}} source=console
INFO[0011] Waiting for email input... source=console
INFO[0011] Waiting for email input... source=console
ERRO[0012] Uncaught (in promise) GoError: waiting for selector "input[data-test-id="email-input"]": execution context changed; most likely because of a navigation
ui [at github.com/grafana/xk6-browser/browser.mapPage.func13 (native)
at file:///Users/sankor/workspace/ataru/loadtesting/hae_tunnistautuneena.js:59:23(177) executor=shared-iterations scenario=ui
ERRO[0012] Uncaught (in promise) GoError: waiting for selector "input[data-test-id="email-input"]": execution context changed; most likely because of a navigation
ui [at github.com/grafana/xk6-browser/browser.mapPage.func13 (native)
at file:///Users/sankor/workspace/ataru/loadtesting/hae_tunnistautuneena.js:59:23(177) executor=shared-iterations scenario=ui
No description provided.