Implementar verificação de disponibilidade de artigos no site QA e public (opac_5) #462

samuelveigarangel · 2024-05-21T18:17:46Z

O que esse PR faz?

Este PR implementa uma funcionalidade automatizada que verifica a disponibilidade dos artigos tanto na versão nova quanto na versão antiga do SciELO. Após a verificação, os resultados são armazenados em modelos específicos e disponibilizados na interface administrativa para consulta.

Onde a revisão poderia começar?

Pelos commit b8901ab

Como este poderia ser testado manualmente?

make django_bash

python manage.py runscript load_check_article --script-args {username}

Obs: É importante registrar coleção e periódico e realizar relacionamento com um artigo.

Algum cenário de contexto que queira dar?

N/A

Screenshots

Quais são tickets relevantes?

#454

Referências

N/A

…_inline inutilizavel

…cieloSiteStatus)

…lity e ScieloSiteStatus

… site

robertatakenaka · 2024-05-22T11:37:46Z

article/tasks.py

+        f"https://www.scielo.br/scielo.php?script=sci_arttext&pid={pid_v3}&lng={lang}&nrm=iso", 
+        f"https://www.scielo.br/j/{journal_acron}/a/{pid_v3}/?lang={lang}"


@samuelveigarangel a parte www.scielo.br deve ser obtida da class Collection, no entanto, acho que ela está bem diferente da que está no Core. Será necessário atualizá-la

@samuelveigarangel adicionar também os formatos pdf

@samuelveigarangel acho que seria interessante colocar como melhoria o tempo de resposta

@robertatakenaka Verdade. Acho que posso conseguir esse dado em:

scms-upload/collection/models.py

Line 65 in 91234dd

url = models.URLField(_("Website URL"), max_length=255, null=True, blank=True)

robertatakenaka · 2024-05-22T11:39:48Z

article/tasks.py

+                response = fetch_data(url, timeout=2, verify=True)
+                CheckArticleAvailability.create_or_update(
+                    article=article,
+                    status=True,


@samuelveigarangel trocar True / False por HTTP ERROR CODE, ou pode ser um outro atributo

robertatakenaka

@samuelveigarangel Muito bom!

- Modifica o paramentro Status para exemplicar melhor o error - Adiciona paramentro available

…process_article_availability - Melhora o registro das requisicoes em process_article_availability

robertatakenaka · 2024-06-26T11:17:10Z

article/tasks.py

+                        pid_v2=article.sps_pkg.articleproc_set.first().pid,
+                        journal_acron=article.journal.journal_acron,
+                        lang=article_per_lang,
+                        domain=article.journal.journalproc_set.first().collection.websiteconfiguration_set.get(enabled=True).url,


@samuelveigarangel o teste tem que ser feito para todas as coleções registradas

robertatakenaka · 2024-06-26T11:18:54Z

article/models.py

+        Modelo para armazenar o status de disponibilidade nos sites,
+        tanto na nova versao, quanto na antiga, do scielo.br.
+    """
+    article = models.ForeignKey(


@samuelveigarangel adicione a collection de modo que checará a disponibilidade em todas as coleções. Também deveria ser considerado a disponibilidade no site QA, inclusive saber se está disponível em ambos ou em somente um

robertatakenaka · 2024-12-04T13:19:10Z

article/choices.py

@@ -124,3 +125,13 @@
    (AS_SCHEDULED_TO_PUBLISH, _("Scheduled to publish")),
    (AS_PUBLISHED, _("Published")),
 )
+
+VERIFY_ARTICLE_TYPE = [


@samuelveigarangel nome não adequado, melhor FORMAT no lugar de ARTICLE_TYPE

robertatakenaka · 2024-12-04T13:19:56Z

article/models.py

@@ -29,6 +30,10 @@
 User = get_user_model()


+def verify_type_of_url(type):


@samuelveigarangel qual é a necessidade desta função?

Não há necessidade de verificar a URL do pdf do artigo?

robertatakenaka · 2024-12-04T13:21:08Z

article/models.py

@@ -314,3 +319,198 @@ def __str__(self) -> str:
        return f"{self.article or self.pid_v3} - {self.deadline}"

    base_form_class = RequestArticleChangeForm
+
+
+class CheckArticleAvailability(CommonControlField):


@samuelveigarangel Use ArticleAvailability no lugar de CheckArticleAvailability

@samuelveigarangel mova este modelo para dentro de publication, pois dentro de publication podemos importar quaisquer outros modelos como JournalProc, IssueProc e outros minimizando problemas de dependências circulares

robertatakenaka · 2024-12-04T13:23:27Z

article/models.py

+        unique=True,
+    )
+    site_status = models.ManyToManyField(
+        "ScieloSiteStatus"


@samuelveigarangel mude para url_status e "URLStatus

robertatakenaka · 2024-12-04T13:24:11Z

article/models.py

+            )
+
+class ScieloSiteStatus(CommonControlField):
+    check_date = models.DateTimeField(null=True, blank=True)


@samuelveigarangel precisa de check_date se há updated?

robertatakenaka · 2024-12-04T13:24:54Z

article/models.py

+
+class ScieloSiteStatus(CommonControlField):
+    check_date = models.DateTimeField(null=True, blank=True)
+    url_site_scielo = models.SlugField(max_length=500, unique=True)


@samuelveigarangel por que SlugField no lugar de URLField?

robertatakenaka · 2024-12-04T13:25:39Z

article/models.py

+class ScieloSiteStatus(CommonControlField):
+    check_date = models.DateTimeField(null=True, blank=True)
+    url_site_scielo = models.SlugField(max_length=500, unique=True)
+    status = models.CharField(


@samuelveigarangel use HTTPCode (SmallPositiveInteger)

robertatakenaka · 2024-12-04T13:26:30Z

article/models.py

+        null=True, 
+        blank=True
+    )
+    type = models.CharField(


@samuelveigarangel precisa desta distinção?

robertatakenaka · 2024-12-04T13:26:51Z

article/models.py

+        null=True, 
+        blank=True,
+    )
+    available = models.BooleanField(default=False)


@samuelveigarangel qual é a diferença entre status e available?

Status pode dar uma mensagem melhor para o usuário. Distingué entre uma URL errada ou instabilidade na URL. Talvez o nome do campo possa ser melhor.

robertatakenaka · 2024-12-04T13:27:11Z

article/models.py

+        verbose_name = "Scielo Site Status"
+        verbose_name_plural = "Scielo Site Status"


robertatakenaka · 2024-12-04T13:29:13Z

article/tasks.py

@@ -0,0 +1,113 @@
+import re


@samuelveigarangel mover este conteúdo para publication/tasks.py

robertatakenaka · 2024-12-04T13:29:58Z

article/wagtail_hooks.py

@@ -14,7 +14,7 @@
 from config.menu import get_menu_order

 from .button_helper import ArticleButtonHelper, RequestArticleChangeButtonHelper
-from .models import Article, RelatedItem, RequestArticleChange, choices
+from .models import Article, RelatedItem, RequestArticleChange, choices, ScieloSiteStatus


@samuelveigarangel mover este conteúdo para publication/wagtail_hooks.py

robertatakenaka

@samuelveigarangel separar em 2 PRs: refatoração do get_user e solução da verificação da disponibilidade do site

samuelveigarangel · 2024-12-08T23:40:22Z

@robertatakenaka, vou fechar esta PR e abrir uma nova com o repositório atualizado, pois esta branch está bastante desatualizada.

samuelveigarangel added 14 commits May 17, 2024 11:27

Coloca _get_user em um lugar comum aos aplicativos

b8901ab

realiza mudanca do _get_user

490530f

realiza mudanca do _get_user

793a84e

realiza mudanca do _get_user

48118d4

realiza mudanca do _get_user

783ae05

realiza mudanca do _get_user e remove _get_user em task_publish_model…

0e7779d

…_inline inutilizavel

realiza mudanca do _get_user

5582b74

Cria os modelos e seus metodos de classe (CheckArticleAvailability, S…

91a5b6c

…cieloSiteStatus)

Insere o paramentro date nos metodos das classes CheckArticleAvailabi…

4a6b2e8

…lity e ScieloSiteStatus

Cria tasks que realizam a verificacao da disponibilidade do artigo no…

4db2b20

… site

Cria ScieloSiteStatusAdmin

627c144

script para executar initiate_article_availability_check

465f4a6

migracao

c47344c

Corrige for em initiate_article_availability_check

f3f615f

samuelveigarangel changed the title ~~Implementar verificação de disponibilidade de artigos em scielo.br~~ [WIP] Implementar verificação de disponibilidade de artigos em scielo.br May 21, 2024

robertatakenaka reviewed May 22, 2024

View reviewed changes

samuelveigarangel changed the title ~~[WIP] Implementar verificação de disponibilidade de artigos em scielo.br~~ Implementar verificação de disponibilidade de artigos em scielo.br May 22, 2024

samuelveigarangel added 5 commits May 23, 2024 12:13

Cria Choices VERIFY_ARTICLE_TYPE E VERIFY_HTTP_ERROR_CODE

9bb5aea

- Adiciona campo type e available em ScieloSiteStatus

4bc73af

- Modifica o paramentro Status para exemplicar melhor o error - Adiciona paramentro available

- Adiciona bloco try-except em initiate_article_availability_check e …

5f978ff

…process_article_availability - Melhora o registro das requisicoes em process_article_availability

Adiciona novos displays e filter em ScieloSiteStatus

a99427b

migracao

2706e9d

robertatakenaka reviewed Jun 26, 2024

View reviewed changes

robertatakenaka changed the title ~~Implementar verificação de disponibilidade de artigos em scielo.br~~ Implementar verificação de disponibilidade de artigos no site QA e public (opac_5) Dec 3, 2024

robertatakenaka reviewed Dec 4, 2024

View reviewed changes

article/models.py

null=True,

blank=True

)

type = models.CharField(

Copy link

Member

robertatakenaka Dec 4, 2024

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

@samuelveigarangel precisa desta distinção?

robertatakenaka reviewed Dec 4, 2024

View reviewed changes

article/tasks.py

@@ -0,0 +1,113 @@

import re

Copy link

Member

robertatakenaka Dec 4, 2024

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

@samuelveigarangel mover este conteúdo para publication/tasks.py

robertatakenaka reviewed Dec 4, 2024

View reviewed changes

robertatakenaka requested changes Dec 4, 2024

View reviewed changes

Merge branch 'main' into issue-454

f8fd6fe

samuelveigarangel closed this Jan 6, 2025

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Implementar verificação de disponibilidade de artigos no site QA e public (opac_5) #462

Implementar verificação de disponibilidade de artigos no site QA e public (opac_5) #462

samuelveigarangel commented May 21, 2024

robertatakenaka May 22, 2024

robertatakenaka May 22, 2024

robertatakenaka May 22, 2024

samuelveigarangel May 22, 2024

robertatakenaka May 22, 2024 •

edited

Loading

robertatakenaka left a comment

robertatakenaka Jun 26, 2024

robertatakenaka Jun 26, 2024 •

edited

Loading

robertatakenaka Dec 4, 2024

robertatakenaka Dec 4, 2024

samuelveigarangel Dec 9, 2024

robertatakenaka Dec 4, 2024

robertatakenaka Dec 4, 2024

robertatakenaka Dec 4, 2024

robertatakenaka Dec 4, 2024

robertatakenaka Dec 4, 2024

robertatakenaka Dec 4, 2024

robertatakenaka Dec 4, 2024

robertatakenaka Dec 4, 2024

samuelveigarangel Dec 9, 2024

robertatakenaka Dec 4, 2024

robertatakenaka Dec 4, 2024

robertatakenaka Dec 4, 2024

robertatakenaka left a comment

samuelveigarangel commented Dec 8, 2024

		f"https://www.scielo.br/scielo.php?script=sci_arttext&pid={pid_v3}&lng={lang}&nrm=iso",
		f"https://www.scielo.br/j/{journal_acron}/a/{pid_v3}/?lang={lang}"

		@@ -29,6 +30,10 @@
		User = get_user_model()


		def verify_type_of_url(type):

		verbose_name = "Scielo Site Status"
		verbose_name_plural = "Scielo Site Status"

Implementar verificação de disponibilidade de artigos no site QA e public (opac_5) #462

Implementar verificação de disponibilidade de artigos no site QA e public (opac_5) #462

Conversation

samuelveigarangel commented May 21, 2024

O que esse PR faz?

Onde a revisão poderia começar?

Como este poderia ser testado manualmente?

Algum cenário de contexto que queira dar?

Screenshots

Quais são tickets relevantes?

Referências

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

robertatakenaka May 22, 2024 • edited Loading

Choose a reason for hiding this comment

robertatakenaka left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

robertatakenaka Jun 26, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

robertatakenaka left a comment

Choose a reason for hiding this comment

samuelveigarangel commented Dec 8, 2024

robertatakenaka May 22, 2024 •

edited

Loading

robertatakenaka Jun 26, 2024 •

edited

Loading