
==== Front
Rev Bras Enferm
Rev Bras Enferm
reben
Revista Brasileira de Enfermagem
0034-7167
1984-0446
Associação Brasileira de Enfermagem

10.1590/0034-7167-2023-0502
00154
Original Article
Development and content validation of a risk classification instrument
Desarrolloy validación de contenido de un instrumento de medición de riesgohttps://orcid.org/0000-0003-0684-9307
de Oliveira Marcia Beatriz Micha Ferreira Iconception or design of the study/research analysis and/or interpretation of data final review with critical and intellectual participation in the manuscript
https://orcid.org/0000-0002-7557-5285
Fernandes Lillian Caroline IIanalysis and/or interpretation of data final review with critical and intellectual participation in the manuscript
https://orcid.org/0000-0001-7010-919X
Oliveira Ilana Eshriqui IIIconception or design of the study/research final review with critical and intellectual participation in the manuscript
https://orcid.org/0000-0001-9668-7051
Oliveira Ramon Antônio IIanalysis and/or interpretation of data
https://orcid.org/0000-0002-3746-3266
Rebustini Flávio IVconception or design of the study/research analysis and/or interpretation of data final review with critical and intellectual participation in the manuscript
https://orcid.org/0000-0001-9004-7176
Mafra Ana Carolina Cintra Nunes Vconception or design of the study/research
https://orcid.org/0000-0002-9196-695X
dos Santos Eduarda Ribeiro Iconception or design of the study/research final review with critical and intellectual participation in the manuscript
I Sociedade Beneficente Israelita Brazileira Albert Einstein, Faculdade Israelita de Ciências da Saúde Albert Einstein. São Paulo, São Paulo, Brazil
II Universidade de São Paulo, Escola de Enfermagem, Departamento de Enfermagem Médico-Cirúrgica. São Paulo, São Paulo, Brazil
III Sociedade Beneficente Israelita Brazileira Albert Einstein, Centro de Estudos, Pesquisa e Práticas em Atenção Primária à Saúde e Redes (CEPPAR). São Paulo, São Paulo, Brazil
IV Universidade de São Paulo, Escola de Ciências, Humanidades e Artes, Departamento de Gerontologia. São Paulo, São Paulo, Brazil
V Hospital Sírio Libanês. São Paulo, São Paulo, Brazil
Corresponding author Marcia Beatriz Micha Ferreira de Oliveira E-mail: marciamicha.oliveira@gmail.com
EDITOR IN CHIEF: Antonio José de Almeida Filho

ASSOCIATE EDITOR: Hugo Fernandes

06 9 2024
2024
77 4 e2023050209 1 2024
20 5 2024
https://creativecommons.org/licenses/by/4.0/ This is an Open Access article distributed under the terms of the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.
ABSTRACT

Objective:

Develop and validate the content of an instrument for patient risk classification in emergency services of Primary Health Care.

Method:

The study included two stages: item generation and content validity. A literature review and retrospective analysis of medical records were conducted to create the instrument items. The Content Validity Ratio (CVR) was used to assess agreement among judges during content validation.

Results:

In the first and second rounds, 75 and 71 judges validated the risk classification instrument, respectively. The minimum adherence score for the latent variable item based on the final number of judges was 0.22 and 0.18; thus, 52 items, divided into three classification categories (red, orange, and yellow), were retained.

Conclusion:

The instrument was considered valid regarding clarity, relevance, pertinence, and agreement regarding the severity indicated in the item.

RESUMEN

Objetivo:

Desarrollar y validar contenido de un instrumento para medición de riesgo del paciente en servicios de emergencia de Atención Primaria de Salud.

Método:

Estudio compuesto por dos etapas: generación de ítems y validez de contenido. Realizada revision de literatura y análisis retrospectivo de prontuarios para creación de los ítems del instrumento. En la validez de contenido, fue usado el Content Validity Ratio (CVR) para averiguar la concordancia entre jueces.

Resultados:

El instrumento de medición de riesgo fue validado por 75 y 71 jueces en el primer y segundo ciclo, respectivamente. Utilizada calificación mínima de adherencia al ítem de la variable latente basado en el número final de jueces, adoptando 0,22 y 0,18; y mantenidos 52 ítems divididos en tres categorías de medición (rojo, naranja y amarillo).

Conclusion:

El instrumento fue considerado válido cuanto a claridad, relevancia, pertinencia y concordancia en relación con la gravedad indicada en el ítem.

Descriptors:

Triage
Validation Studies
Psychometrics
Patient Acuity
Primary Health Care
Descriptores:

Medición de Riesgo
Estudio de Validación
Psicometría
Gravedad del Paciente
Atención Primaria de Salud
PROADI-SUSlei no 12.101, de 27 de novembro de 2009 Conselho Federal de Enfermagem (COFEN); Coordenação de Aperfeiçoamento de Pessoa de Nível Superior (CAPES); Programa de Apoio ao Desenvolvimento Institucional do Sistema Único de Saúde (PROADI-SUS) (lei no 12.101, de 27 de novembro de 2009).
==== Body
pmcINTRODUCTION

Patient reception is defined as a health practice that involves qualified listening and aligning user demands with the service’s response capabilities, a task to be performed by all healthcare professionals. In contrast, Risk Classification (RC) is a technical and care-related work process that ensures timely care following a pre-established protocol. In Brazil, Resolution 423/2012 of the Federal Nursing Council states that RC is an exclusive activity of professional nurses(1, 2, 3).

The high volume of care and subsequent overcrowding of urgency and emergency services are issues discussed both nationally and internationally(4, 5). Thus, there are ongoing discussions about the Health Care Network (RAS), particularly concerning Primary Health Care (PHC), which serves as both the entry point and the element that organizes and coordinates the Urgency and Emergency Care Network. In this context, RC protocols are recognized as part of assertive resolutions related to initial care, making their implementation in RAS emergency services essential(5, 6).

Globally, there is a recommendation to use protocols that stratify the clinical severity of patients. The most commonly used include the Australasian Triage Scale (ATS), Canadian Triage and Acuity Scale (CTAS), Emergency Severity Index (ESI), and predominantly the Manchester Triage System (MTS)(7, 8, 9, 10, 11, 12, 13). The MTS has become the most applied in urgency and emergency services at all levels of care; however, over time, some cost-related barriers have been identified in Brazil, as its implementation and maintenance require specific training with the Brazilian Group of Risk Classification(13).

Studies have shown that the MTS effectively predicts outcomes in hospital emergency services(14, 15). However, research conducted in primary care institutions revealed weaknesses(16, 17). An experience report highlighted that because of the MTS being developed in a hospital setting, factors such as low clinical complexity and material resources in primary care institutions hinder its applicability, potentially necessitating adaptations(18). This finding was supported by a scoping review(19).

Given this context, considering that instruments currently used for risk classification are developed and validated specifically for each country’s scenario and focused on hospital care, it is necessary to develop and validate a risk classification instrument for use in PHC emergency services within the Unified Health System (SUS)(13, 14, 15).

OBJECTIVE

To develop and validate a risk classification instrument for use in PHC emergency services.

METHODS

Ethical Aspects

This study was approved by the Research Ethics Committee involving Human Beings of the Municipal Health Department of São Paulo and the Research Ethics Committee involving Human Beings of the Sociedade Beneficente Israelita Brasileira Albert Einstein via the Brazil platform. All participants signed the Informed Consent Form.

Study Design

This is a psychometric study consisting of two stages: item generation and content validity through a panel of experts. The stages included defining objectives, constructing items, selecting and organizing items, structuring the instrument, obtaining expert opinions, and validating the content. This research was structured according to the Revised Standards for Quality Improvement Reporting Excellence (SQUIRE 2.0)(20).

Stage 1: Literature Review and Item Development

For constructing the instrument, a narrative review was conducted in PubMed, LILACS, Scopus, and SciELO databases using terms combined with the Boolean operator “OR”: Triage, Risk Classification, HumanizaSUS, and Manchester. Additionally, an exploratory retrospective analysis of the demands of PHC emergency services was performed. The PHC in São Paulo consists of 450 Primary Health Units (UBS) and 117 Ambulatory Medical Assistance units (AMA), of which 87 are integrated with UBS(21).

In São Paulo, emergency consultations accounted for 43% of all SUS user consultations in 2005; however, most of these attendances were of complexity compatible with UBS and did not require emergency room and hospital infrastructure. In response, in 2009, the Municipal Health Department proposed the creation of AMAs linked to primary care, aimed at increasing the population’s access to the basic health network(22).

Considering these definitions, the demands of three AMA units totaling 358,555 attendances in 2022 were analyzed. The main complaints, signs, and symptoms related to each severity classification, along with the outcomes of death and transfer, were examined. Categorical variables were described by absolute frequency and percentages, while numerical variables were described by mean and standard deviation or medians and quartiles, depending on the data distribution. The relationships between each variable obtained in RC and outcomes were analyzed using hypothesis tests and correlation coefficients, depending on the data nature. Analyses were conducted utilizing R Core Team software with a 5% significance level.

At the end of this stage, it was found that most emergency attendances in PHC were in the green and blue categories, where, according to current protocols, patients could wait 120 and 240 minutes, respectively. To ensure shorter waiting times, the present risk classification instrument divided signs and symptoms into three categories: red (immediate care), orange (up to 10 minutes care), and yellow (up to 60 minutes care). Risk classification instruments typically have five severity categories: red, orange, yellow, green, and blue, suggesting waiting times of 0, 10, 50, 120, and 240 minutes, respectively.

Stage 2: Content Validation

Inclusion criteria were: i) being a doctor or nurse with at least five years of experience, and ii) working in Brazilian public urgency and emergency services; intensive care units; PHC; or university teaching with research experience in urgency and emergency care. Experts were identified and selected using the Curriculum Lattes system, applying filters for the professional practice area and selecting the major area – health sciences; the area – nursing and medicine; and the subarea – “urgency and emergency” and “emergency.”

The invitation for both rounds was conducted using the “snowball” technique(23), contacting eligible professionals from all Brazilian states who could indicate other potential judges. The link with the invitation to participate as a judge was sent via social media groups and the websites of the Federal and Regional Nursing Councils – São Paulo. The validation process occurred in two periods: the first round from January to March 2021 and the second round from July to September 2021.

Data Collection

After verifying eligibility criteria, the TCLE was sent via email along with a link to the CR instrument evaluation form, accompanied by detailed information and/or images on the proposed items for validation (supplementary material). Data collection was conducted through RedCap®.

Judges evaluated the items based on: i) clarity, ii) relevance, iii) pertinence, and iv) agreement regarding the severity classification of the item. They could also suggest wording changes for each item.

Before the questionnaire, affirmatives were provided for each item: i) “The item is clear: it is possible to identify what needs to be evaluated based on how it is written”; ii) “The item is relevant for measuring patient severity: it is crucial for the risk classification assessment”; iii) “The item is measurable by the nurse: in practice, the nurse can assess this item during risk classification”; iv) “This item needs to change classification: the item is relevant and pertinent but is in the wrong classification. If you want to leave a comment or suggest a change, click ‘comment’ to open a text field for each item at the end of each classification.” A “yes” or “no” layout was used for evaluating all items in each domain. The questionnaire was considered valid when all items and domains had responses.

Data Analysis

The Content Validity Ratio (CVR) method was used, proposing to validate the items based on agreement from a wide panel of experts on each evaluated criterion, ranging from -1 (perfect disagreement) to 1 (perfect agreement)(18, 19). Concordance coefficients were compared to the classification in Altman, considering coefficients below 0.2 as poor, between 0.2 and 0.4 as fair, between 0.4 and 0.6 as moderate, between 0.6 and 0.8 as good, and above 0.8 as excellent. The minimum adherence score of the item to the latent variable was based on the critical CVR values, with 0.22 as the cutoff point in the first round and 0.18 in the second to consider the item satisfactory in terms of content validity(18, 19). Statistical analyses were conducted using the Statistical Package for the Social Sciences (SPSS).

RESULTS

Stage 1: Characterization of Judges

The proposed instrument was evaluated in two rounds until achieving the necessary consensus level. Table 1 describes the profile of participating judges.

Table 1 Characterization of Expert Judges Participating in the Two Rounds, São Paulo, Brazil, 2021

Characterization Data	First Round (n = 75)	Second Round (n = 71)	
Mean age in years (SD)	39.95 (8.00)	42 (8.00)	
Categorical variables: no (%)	
Sex			
Female	54 (72.00)	48 (67.60)	
Male	21 (28.00)	23 (32.40)	
Profession	
Physician	15 (20.00)	11 (15.50)	
Nurse	60 (80.00)	60 (84.50)	
Highest educational level	
Undergraduate degree	8 (10.67)	9 (12.70)	
Residency	4 (5.33)	2 (2.80)	
Specialization	49 (65.33)	43 (60.60)	
Master’s degree	6 (8.00)	12 (16.90)	
Doctorate	6 (8.00)	5 (7.00)	
Post-doctorate	2 (2.67%)	0 (0.00)	
Brazilian region of professional activity	
North	1 (1.33)	1 (1.40)	
Northeast	1 (1.33)	2 (2.80)	
Midwest	6 (8.00)	2 (2.80)	
South	11(14.67)	10 (14.10)	
Southeast	56 (74.67)	56 (78.90)	
Area of practice or research*	
Urgency and Emergency	38 (50.67)	42 (59.20)	
Primary Care	40 (53.33)	29 (40.80)	
Nursing Care in a hospital setting	16 (21.33)	24 (33.80)	
Obstetrics	1 (1.33)	2 (2.8)	
Pediatrics	12 (16.00)	5 (7.0)	
*It was possible to select more than one option; SD – standard deviation.

Stage 2: Construction of items

After the literature review and analysis of data from the exploratory retrospective stage, considering the most frequent complaints and those related to outcomes of transfer, death, and discharge, the instrument was composed of 94 items distributed across three severity categories (red, orange, and yellow). In the first round, all items had a CVR above the critical value for the Clarity domain, but other items and domains did not reach the cutoff point (Table 2).

Table 2 First Round of Evaluation of Items in the Urgency and Emergency Risk Classification Instrument (n = 75). São Paulo, Brazil, 2021

Risk Classification Instrument Items	Clarity (CVR)	Relevance (CVR)	Pertinence (CVR)	Concordance with Classification (%)	
Red Category	
More than 25% of body surface area burned	0.41	−0.07	−0.17	98.70	
Traumatic amputation	0.68	−0.17	−0.23	98.70	
Baby being born	0.73	−0.33	−0.23	98.70	
Spinal column compromise	0.41	−0.12	−0.52	97.30	
Convulsing	0.87	−0.23	−0.25	100.00	
Unresponsive child	0.79	−0.17	−0.33	98.70	
Open fracture of large parts	0.68	−0.15	−0.28	100.00	
Witnessed gastrointestinal hemorrhage	0.55	−0.17	−0.28	100.00	
Otorrhagia (Battle’s sign – Raccoon eyes)	0.49	−0.12	−0.31	100.00	
Facial burns involving airways	0.73	−0.09	−0.23	100.00	
Second- and third-degree burns in the perineal area	0.63	−0.20	−0.23	100.00	
Local burns with exposure of systems or organs	0.65	−0.17	−0.28	100.00	
Ineffective breathing	0.55	−0.17	−0.28	96.00	
Uncontrollable bleeding	0.65	−0.15	−0.28	98.70	
Severe trauma	0.49	−0.12	−0.25	100.00	
Non-patent airway	0.71	−0.15	−0.31	100.00	
Orange Category	
Bulging fontanelle	0.68	−0.07	−0.20	96.00	
Psychomotor agitation	0.60	−0.09	−0.12	98.70	
Sudden visual alteration	0.57	−0.07	−0.33	96.00	
Neurological changes within 24 hours	0.55	−0.15	−0.28	96.00	
Amputation of small parts	0.60	−0.04	−0.12	94.70	
Avulsion of permanent tooth within two hours	0.36	−0.23	−0.31	93.30	
Bladder distension	0.55	−0.20	−0.12	93.30	
Prostrate child	0.52	−0.12	−0.15	97.30	
Evident respiratory distress	0.60	−0.01	−0.20	92.00	
Decreased fetal movements	0.60	−0.17	−0.12	94.70	
Precordial pain	0.63	−0.04	−0.31	89.30	
Enterorrhagia	0.63	−0.09	−0.25	98.70	
Between 24% and 15% of body surface area burned	0.55	−0.12	−0.20	96.00	
Witnessed epistaxis	0.65	−0.12	−0.07	98.70	
Postictal state	0.41	−0.07	−0.28	96.00	
Vaginal bleeding in pregnant women over 20 weeks	0.60	−0.20	−0.20	96.00	
Intense vaginal bleeding	0.39	−0.25	−0.12	88.00	
Small part fracture	0.49	−0.09	−0.36	97.30	
Ketotic breath	0.71	−0.09	−0.20	97.30	
Inhalation of chemicals	0.63	−0.04	−0.36	97.30	
Smoke inhalation	0.68	0.01	−0.33	96.00	
Insertion of potentially dangerous object	0.52	−0.17	−0.23	93.30	
Pelvic instability	0.49	−0.04	−0.39	89.30	
Alcohol intoxication	0.55	−0.09	−0.23	97.30	
Drug intoxication	0.57	−0.09	−0.28	97.30	
Chemical intoxication	0.60	−0.12	−0.31	96.00	
Lacerating injury	0.47	−0.01	−0.25	93.30	
Chemical injury	0.55	−0.01	−0.25	96.00	
Known lethal venom injury	0.60	−0.01	−0.41	88.00	
Arterial or venous vascular injury	0.55	−0.12	−0.39	94.70	
Melena	0.60	−0.15	−0.33	98.70	
Meningism	0.60	−0.04	−0.15	96.00	
Severe ear pain	0.63	−0.01	−0.20	96.00	
Amniotic fluid loss	0.55	−0.25	−0.20	94.70	
Associated precordial pain	0.41	−0.12	−0.28	89.30	
Priapism	0.36	−0.20	−0.33	92.00	
Burn with adherent objects to the skin	0.71	−0.09	−0.15	94.70	
Facial burn	0.71	−0.15	−0.12	92.00	
Non-compressible bleeding	0.23	−0.07	−0.33	96.00	
Withdrawal signs	0.49	−0.04	−0.20	96.00	
Severe dehydration signs	0.57	−0.15	−0.15	93.30	
Acute testicular torsion	0.57	−0.15	−0.52	96.00	
Labor	0.63	−0.17	−0.07	93.30	
Closed abdominal trauma	0.47	−0.07	−0.33	89.30	
Trauma with deformities	0.55	−0.04	−0.23	92.00	
Trauma with penetrating objects in vital regions	0.65	−0.04	−0.33	84.00	
Yellow Category	
Less than 15% of body surface area burned (second-degree)	0.60	−0.17	−0.23	96.00	
Tonsillar abscess	0.55	−0.12	−0.20	96.00	
Severe and acute test alterations	0.49	−0.09	−0.15	96.00	
Avulsion of permanent tooth over two hours	0.55	−0.15	−0.23	93.30	
Intermittent crying in a child under 2 years	0.57	−0.20	−0.23	89.30	
Deformity of small bones	0.44	−0.12	−0.23	97.30	
Jaw dislocation	0.52	−0.12	−0.31	94.70	
Shoulder pain in pregnant women (Kehr’s sign)	0.47	−0.15	−0.25	92.00	
Ventilation-dependent pain	0.49	−0.09	−0.17	94.70	
Apparent mandibular edema	0.44	−0.07	−0.20	97.30	
Periorbital edema with inflammatory signs	0.49	−0.09	−0.17	96.00	
Significant genital edema	0.63	−0.12	−0.15	88.00	
Muscular induration	0.33	−0.07	−0.28	88.00	
Between 15% and 9% of body surface area burned (first-degree)	0.49	−0.17	−0.23	98.70	
Reported frank hematuria	0.57	−0.12	−0.12	97.30	
History of no urination in the last 24 hours	0.60	−0.09	−0.12	96.00	
Suicidal ideation	0.60	−0.07	−0.20	98.70	
Object insertion	0.47	−0.12	−0.17	96.00	
Skin lesions suggestive of infectious diseases (blisters, petechiae)	0.47	−0.12	−0.12	89.30	
Electrical injury	0.57	−0.09	−0.31	97.30	
Suspected maltreatment injury	0.55	−0.15	−0.12	84.00	
Movement limitation	0.39	−0.17	−0.07	93.30	
Postictal state	0.41	−0.15	−0.25	98.70	
Inflammatory process with serous, aqueous, or purulent exudate	0.63	−0.20	−0.09	96.00	
Compressible bleeding	0.60	0.04	−0.17	96.00	
Apparent dehydration signs	0.57	−0.12	−0.12	98.70	
Inflammatory signs in the breast	0.63	−0.17	−0.04	94.70	
Signs suggestive of sexual violence	0.49	−0.15	−0.12	93.30	
Cough with hemoptysis	0.52	−0.07	−0.20	96.00	
Eye trauma	0.55	−0.15	−0.23	92.00	
Assault victim	0.47	−0.17	−0.12	93.30	
Intermittent vomiting	0.49	−0.17	−0.12	96.00	
CVR – Content Validity Ratio.

After the second round, the judges eliminated 42 of the 94 items, resulting in 52 items across the three risk categories. With 71 judges participating, the critical CVR value was set at 0.18. The results of the second round indicated that all items were considered valid regarding clarity, relevance, pertinence, and agreement with the severity classification (Table 3).

Table 3 Severity Assessment Items – Second Round of Evaluation of Items in the Urgency and Emergency Risk Classification Instrument (n = 71). São Paulo, Brazil, 2021

Instrument Items	Clarity (CVR)	Relevance (CVR)	Pertinence (CVR)	Concordance with Classification (%)	
Red Category	
Traumatic amputation	0.97	0.97	0.97	98.60	
Baby being born	0.73	0.88	0.94	98.60	
Spinal column compromise	0.41	0.91	0.38	97.19	
Convulsing	0.87	0.97	0.97	98.60	
Unresponsive child	0.79	0.97	1.00	98.60	
Open fracture of large parts	0.68	1.00	0.94	97.19	
Witnessed gastrointestinal hemorrhage	0.55	0.94	0.83	97.19	
Otorrhagia (Battle’s sign - Raccoon eyes)	0.49	0.94	0.88	97.19	
Second- and third-degree burns in the perineal area	0.63	0.94	0.94	97.19	
Local burns with exposure of systems or organs	0.65	1.00	0.97	98.60	
Ineffective breathing	0.55	1.00	1.00	98.60	
Active uncontrollable bleeding	0.97	0.97	1.00	97.19	
Severe trauma	0.49	1.00	0.88	98.60	
Non-patent airway	0.71	0.97	0.85	98.60	
Orange Category	
Psychomotor agitation with risk of aggression	0.97	0.94	0.94	98.60	
Neurological changes within 24 hours	0.55	1.00	0.80	98.60	
Decreased fetal movements after one hour of active observation by the mother	0.60	0.88	0.57	98.60	
Precordial pain	0.63	1.00	0.91	97.19	
Postictal state	0.41	0.88	0.73	98.60	
Vaginal bleeding in pregnant women over 20 weeks	0.60	0.94	0.82	98.60	
Intense vaginal bleeding	0.39	0.88	0.80	95.78	
Small part fracture	0.49	0.83	0.49	98.60	
Inhalation of chemicals and/or smoke	0.68	0.97	0.69	98.60	
Chemical and/or drug intoxication (licit and illicit)	0.88	0.94	0.74	98.60	
Lacerating injury	0.47	1.00	0.94	98.60	
Chemical injury	0.55	0.97	0.83	98.60	
Severe ear pain with or without secretion	0.88	0.74	0.63	97.19	
Associated precordial pain	0.41	0.94	0.83	97.19	
Facial burn	0.71	0.97	1.00	97.19	
Active non-compressible bleeding	0.74	0.85	0.68	97.19	
Signs of alcohol and/or chemical withdrawal	0.91	0.71	0.74	97.19	
Signs of meningism	0.74	0.91	0.67	98.60	
Signs of closed abdominal trauma	0.88	0.97	0.36	95.78	
Severe dehydration signs	0.57	1.00	0.80	97.19	
Acute testicular torsion	0.57	0.85	0.21	98.60	
Labor	0.97	0.88	0.88	97.19	
Trauma with gross deformities	0.85	0.88	0.88	95.78	
Trauma with penetrating objects in vital regions	0.97	0.97	1.00	94.37	
Yellow Category	
Less than 15% of body surface area burned (second-degree)	0.60	0.85	0.91	98.60	
Avulsion of permanent tooth over two hours	0.55	0.71	0.80	98.60	
Between 15% and 9% of body surface area burned (first-degree)	0.49	0.80	0.91	98.60	
Foreign body insertion	0.859	0.80	0.54	98.60	
Suspected maltreatment injury	0.55	0.71	0.77	98.60	
Acute movement limitation	0.39	0.88	0.82	98.60	
Inflammatory process with serous, aqueous, or purulent exudate	0.63	0.60	0.91	97.19	
Active compressible bleeding	0.746	0.79	0.91	95.78	
Signs of tonsillar abscess	0.831	0.69	0.28	97.19	
Inflammatory signs in the breast	0.857	0.68	0.83	98.60	
Signs suggestive of sexual abuse	0.915	0.83	0.42	97.19	
Signs suggestive of violence	0.859	0.80	0.85	97.19	
Eye trauma	0.55	0.91	0.85	95.78	
Intermittent vomiting	0.49	0.77	0.77	97.19	
CVR – Content Validity Ratio.

DISCUSSION

RC is an effective process for identifying potential severity situations, relating patient complaints and vital signs to ensure timely care(1). The primary protocols used in our country are of international origin(2, 7, 11). Therefore, providing a validated and applicable risk classification instrument for the profile of Brazilian public health service users of different age groups makes this study relevant, especially for PHC emergency services.

The risk classification instrument developed, after a literature review and retrospective analysis of the PHC attendance profile, was validated in the second cycle by a significant number of expert judges. It is intended as a facilitating tool for nurses in PHC emergency units and is tailored to the reality of PHC concerning material and human resources. In contrast, PHC is highlighted by the Urgency and Emergency Care Network as the element that organizes and coordinates the network(5, 6); however, no risk classification instruments were found in the literature specifically directed to PHC emergency services.

Research on risk classifications most used in Brazil identified several studies on the MTS, which has five levels and follows a characteristic approach, with patient complaints and vital signs as the evaluation center(2, 4, 12, 14, 18). However, there are significant difficulties related to the need for specific training for the Brazilian population and the challenge of direct contact with the Brazilian Group of Risk Classification, making long-term use financially unfeasible for many services, resulting in the discontinuation of the protocol. Nursing teams also emphasize the need for adaptations for specific care, such as mental health or vulnerability issues, as the MTS was designed for another country’s population(11, 24, 25, 26, 27, 28).

In the context of risk classification proposed by the Ministry of Health, the HumanizaSUS stands out. This instrument comprises four risk levels, including guidance on how to perform classification and suggestions for some clinical situations related to severity. However, it does not propose waiting times for each level or a scale for vital signs or pain(1). The absence of five levels creates difficulties for professionals when an intermediate care requirement arises. At this moment, he must choose whether to classify the patient as having an imminent emergency or a non-urgent priority, which may delay treatment and result in a potential adverse event(14).

Thus, the developed risk classification instrument considers the profile of emergency care in PHC, focusing on symptoms, signs, and complaints related to the reason for seeking care, categorized into three severities: red, orange, and yellow. The goal is to reduce waiting times for individuals seeking care, tailored to the complexity level as well as the physical and human resources of the emergency service(11, 24, 25, 26, 27, 28).

The second round’s results showed that all retained items had values above the cutoff point based on the number of judges. Thus, the instrument was validated in terms of clarity, relevance, pertinence, and agreement with the risk classification. The CVR obtained for relevance and pertinence was mainly above 0.80, with over 95% agreement regarding severity for all items.

Regarding the judges’ suggestions, all were accepted. The space for comments was essential for the process of improving the risk classification instrument. Concerning the item of burned body surface area, severe areas were identified, along with suggestions for improving the clarity of this item. Additionally, some items were removed following the feedback provided, making the instrument comprehensible, clear, and neither redundant nor cumbersome, thus making it applicable in this scenario.

A positive aspect was the participation of a significant number of judges (n = 75 and n = 71) from all Brazilian regions, unlike other studies with a similar approach but fewer participants(29, 30). Another relevant point is the inclusion of items related to the population’s vulnerability, such as “Alcohol and/or chemical withdrawal symptoms,” “Trauma with penetrating objects in vital regions,” “Suspected maltreatment injuries,” “Signs suggestive of sexual abuse,” and “Signs suggestive of violence.” Such items had more than 97% agreement among judges concerning severity classification. These items were not found in the literature review, highlighting a unique aspect of the proposed instrument compared to protocols already used in our country.

Study Limitations

The study’s limitations include the predominance of judges from the South and Southeast regions. Although content validity evidence was identified for all evaluated aspects, considering the different aspects assessed, there is a need for further evidence of the instrument’s internal structure validity.

Contributions to the Field of Nursing

The content-validated risk classification instrument can be validated in the target population and subsequently serve as an appropriate tool for emergency services within the Primary Health Care context. This is because it was developed considering the complaints, main outcomes, and available resources in health establishments at this level of care. Using a risk classification instrument tailored to the patient profile enables nurses to have proper decision-making guidance and ensures safe and individualized decisions.

CONCLUSION

The developed instrument demonstrated content validity evidence after two rounds of expert evaluation. It emerges as a current tool with potential use by nurses to safely perform risk classification in Primary Health Care emergency services.

10.1590/0034-7167-2023-0502pt
Artigo Original
Desenvolvimento e validação de conteúdo de um Instrumento de classificação de risco
https://orcid.org/0000-0003-0684-9307
Oliveira Marcia Beatriz Micha Ferreira de Iconcepção ou desenho do estudo/pesquisa análise e/ou interpretação dos dados revisão final com participação crítica e intelectual no manuscrito
https://orcid.org/0000-0002-7557-5285
Fernandes Lillian Caroline IIanálise e/ou interpretação dos dados revisão final com participação crítica e intelectual no manuscrito
https://orcid.org/0000-0001-7010-919X
Oliveira Ilana Eshriqui IIIconcepção ou desenho do estudo/pesquisa revisão final com participação crítica e intelectual no manuscrito
https://orcid.org/0000-0001-9668-7051
Oliveira Ramon Antônio IIanálise e/ou interpretação dos dados
https://orcid.org/0000-0002-3746-3266
Rebustini Flávio IVconcepção ou desenho do estudo/pesquisa análise e/ou interpretação dos dados revisão final com participação crítica e intelectual no manuscrito
https://orcid.org/0000-0001-9004-7176
Mafra Ana Carolina Cintra Nunes Vconcepção ou desenho do estudo/pesquisa
https://orcid.org/0000-0002-9196-695X
Santos Eduarda Ribeiro dos Iconcepção ou desenho do estudo/pesquisa revisão final com participação crítica e intelectual no manuscrito
I Sociedade Beneficente Israelita Brasileira Albert Einstein, Faculdade Israelita de Ciências da Saúde Albert Einstein. São Paulo, São Paulo, Brasil
II Universidade de São Paulo, Escola de Enfermagem, Departamento de Enfermagem Médico-Cirúrgica. São Paulo, São Paulo, Brasil
III Sociedade Beneficente Israelita Brasileira Albert Einstein, Centro de Estudos, Pesquisa e Práticas em Atenção Primária à Saúde e Redes (CEPPAR). São Paulo, São Paulo, Brasil
IV Universidade de São Paulo, Escola de Ciências, Humanidades e Artes, Departamento de Gerontologia. São Paulo, São Paulo, Brasil
V Hospital Sírio Libanês. São Paulo, São Paulo, Brasil
Autor Correspondente Marcia Beatriz Micha Ferreira de Oliveira E-mail: marciamicha.oliveira@gmail.com
RESUMO

Objetivo:

Desenvolver e validar o conteúdo de um instrumento para classificação de risco do paciente em serviços de emergência da Atenção Primária à Saúde.

Método:

Estudo composto por duas etapas: geração de itens e validade de conteúdo. Foi realizada revisão de literatura e análise retrospectiva dos prontuários para criação dos itens do instrumento. Na validação de conteúdo, foi usado o Content Validity Ratio (CVR) para averiguar a concordância entre os juízes.

Resultados:

O instrumento de classificação de risco foi validado por 75 e 71 juízes no primeiro e segundo ciclo, respectivamente. Foi utilizado escore mínimo da aderência ao item da variável latente com base no número final de juízes, adotando 0,22 e 0,18; e foram mantidos 52 itens divididos em três categorias de classificação (vermelho, laranja e amarelo).

Conclusão:

O instrumento foi considerado válido quanto à clareza, relevância, pertinência e concordância em relação à gravidade indicada no item.

Descritores:

Classificação de Risco
Estudo de Validação
Psicometria
Gravidade do Paciente
Atenção Primária a Saúde
PROADI-SUSlei no 12.101, de 27 de novembro de 2009 INTRODUÇÃO

Acolhimento é definido como prática de saúde por meio de escuta qualificada e da capacidade de pactuação entre a demanda do usuário e a possibilidade de resposta do serviço, devendo ser realizado por todos os profissionais. Em contraste, a Classificação de Risco (CR) é denominada como um processo de trabalho de caráter técnico e assistencial que prevê a celeridade no atendimento amparado por um protocolo pré-estabelecido. No Brasil, por meio da Resolução 423/2012, o Conselho Federal de Enfermagem determina que a CR é uma atividade privativa do profissional Enfermeiro(1, 2, 3).

O alto volume de atendimento e consequente superlotação dos serviços de urgência e emergência são discutidos em cenário nacional e internacional(4, 5). Consequentemente há constantes discussões acerca da Rede de Atenção à Saúde (RAS), especialmente sobre a Atenção Primária à Saúde (APS), a qual é indicada tanto como a porta de entrada quanto o elemento que ordena e coordena a Rede de Atenção de Urgência e Emergência. Nesse cenário, os protocolos de CR são reconhecidos como parte das resoluções assertivas relacionadas ao primeiro atendimento, fazendo-se imprescindível a sua implantação nos serviços de urgência e emergência da RAS(5, 6).

Mundialmente, recomenda-se o emprego de protocolos que estratifiquem a gravidade clínica do paciente. Dentre eles, os mais usados são: Australasian Triage Scale (ATS), Canadian Triage and Acuity Scale (CTAS), Emergency Severity Index (ESI) e, de forma majoritária, o Sistema de Triagem Manchester (STM)(7, 8, 9, 10, 11, 12, 13). O STM passou a ser o mais utilizado nos serviços de urgência e emergência em todos os níveis de atenção, porém, com o passar do tempo, algumas barreiras relacionadas ao custo começaram a ser percebidas no Brasil, pois sua implementação e manutenção demandam treinamento específico com o Grupo Brasileiro de Classificação de Risco(13).

Alguns estudos demonstram que o STM foi um ótimo preditor de desfecho em serviços de emergência hospitalares(14, 15). No entanto, em algumas pesquisas realizadas em instituições de atenção básica, foram evidenciadas fragilidades(16, 17). Em um relato de experiência, é destacado que, devido ao STM ter sido desenvolvido em uma realidade hospitalar, alguns fatores como a baixa complexidade clínica e os recursos materiais das instituições de saúde da atenção básica dificultam a aplicabilidade do STM; por isso, podem ser necessárias algumas adaptações(18). Esse achado foi endossado por uma revisão de escopo(19).

Diante desse contexto, considerando que atualmente são utilizados instrumentos de classificação de risco desenvolvidos e validados especificamente para o cenário de cada país e voltados para a atenção hospitalar, torna-se necessário o desenvolvimento e a validação de um instrumento de classificação de risco para ser utilizado em serviços de emergência da Atenção Primária à Saúde do Sistema Único de Saúde(13, 14, 15).

OBJETIVO

Construir e validar um instrumento de classificação de risco para ser utilizado nos serviços de emergência da Atenção Primária à Saúde.

MÉTODOS

Aspectos éticos

O presente estudo foi aprovado pelo Comitê de Ética em Pesquisa com Seres Humanos da Secretaria Municipal da Saúde de São Paulo e pelo Comitê de Ética em Pesquisa com Seres Humanos da Sociedade Beneficente Israelita Brasileira Albert Einstein, via plataforma Brasil. Para fins de legitimação, todos os participantes assinaram o Termo de Consentimento Livre e Esclarecido (TCLE).

Delineamento do estudo

Trata-se de um estudo psicométrico, constituído por duas etapas: geração de itens; e validade de conteúdo por meio de painel de especialistas. Foram seguidas as etapas de definição dos objetivos, construção dos itens, seleção e organização dos itens, estruturação do instrumento, opinião de especialistas e validade de conteúdo. Esta pesquisa foi estruturada de acordo com o Revised Standards for Quality Improvement Reporting Excellence (SQUIRE 2.0)(20).

Etapa 1: revisão bibliográfica e elaboração dos itens do instrumento

Para a construção do instrumento, realizou-se revisão narrativa nas bases de dados PubMed, LILACS, Scopus e Scielo utilizando os seguintes termos combinados com o operador booleano “OR”: Triagem, Classificação de Risco, HumanizaSUS e Manchester.

Além disso, nessa etapa, foi realizada análise exploratória retrospectiva das demandas dos serviços de emergência da APS. A APS do município de São Paulo está constituída por 450 Unidades Básicas de Saúde (UBS) e 117 unidades de Assistência Médica Ambulatorial (AMA), das quais 87 estão integradas a Unidades Básicas de Saúde(21).

Em São Paulo, em 2005, as consultas de emergência representaram 43% de todas as consultas aos usuários do SUS, no entanto a maioria desses atendimentos eram de complexidade compatível com a UBS e não exigia a infraestrutura de pronto-socorro e hospitais. Diante desse cenário, em 2009, a Secretaria Municipal de Saúde propôs a criação das unidades de AMA, que estão vinculadas à atenção básica. Elas têm o objetivo de ampliar o acesso da população à rede básica de saúde(22).

Considerando essas definições, foram consultadas as demandas de três unidades de AMA, as quais totalizaram 358.555 atendimentos em 2022. Foram analisados, de todos esses atendimentos, os sinais, sintomas e queixa principal relacionados a cada classificação de gravidade e aos desfechos de óbito e transferência. As variáveis categóricas foram descritas por frequência absoluta e porcentagens; e as variáveis numéricas, por média e desvio-padrão quando distribuição normal, ou por medianas e quartis, caso contrário. As relações entre cada uma das variáveis obtidas na CR com os desfechos foram analisadas por testes de hipóteses em relações dois a dois e por coeficientes de correlação, dependendo da natureza dos dados. As análises foram conduzidas no pacote computacional R Core Team com nível de significância de 5%.

Ao fim dessa etapa, foi verificado que a maioria dos atendimentos de emergência na APS são as categorias verde e azul, em que, pelos vigentes protocolos, os pacientes poderiam aguardar 120 e 240 minutos, respectivamente. A fim de garantir menor tempo de espera, o presente instrumento de classificação de risco dividiu os sinais e sintomas em três categorias: vermelho (atendimento imediato), laranja (atendimento em até 10 minutos) e amarelo (atendimento em até 60 minutos). Os instrumentos de classificação de risco são compostos por cinco categorias de gravidade: vermelho, laranja, amarelo, verde e azul, sugerindo tempo de espera de 0, 10, 50, 120 e 240 minutos, respectivamente.

Etapa 2: validação de conteúdo

Foram elencados os seguintes critérios de inclusão: i) ser médico ou enfermeiro com pelo menos cinco anos de formação, e ii) atuar em serviços públicos brasileiros de urgência e emergência; unidade de tratamento intensiva; APS; ou docência universitária com experiência em pesquisa na área de urgência e emergência. A identificação e seleção de especialistas iniciou com a busca no sistema de Curriculum Lattes, utilizando filtros de área de atuação profissional e selecionando: grande área – ciências da saúde; área – enfermagem e medicina; e subárea – “urgência e emergência” e “emergência”.

O convite das duas rodadas foi realizado por meio da técnica “bola de neve”(23), de modo que o contato foi feito com profissionais elegíveis de todos os estados brasileiros, os quais poderiam indicar outros possíveis juízes. O link com o convite para participação da pesquisa como juiz foi encaminhado via grupos, divulgação em redes sociais, nos sites do Conselho Federal de Enfermagem e Conselho Regional de Enfermagem – São Paulo. O processo de validação aconteceu em dois períodos: primeira rodada de janeiro a março de 2021 e segunda rodada de julho a setembro de 2021.

Coleta de dados

Após verificar os critérios de elegibilidade, foi enviado o TCLE via e-mail e o link de acesso ao formulário para avaliação do instrumento de CR, acompanhado de um arquivo com informações detalhadas e/ou imagens sobre os itens propostos para validação (material suplementar). A etapa de coleta de dados foi realizada por meio do RedCap®.

Os itens foram avaliados pelos juízes em relação aos domínios de: i) clareza, ii) relevância, iii) pertinência e iv) concordância quanto à classificação de gravidade do item. Havia ainda a possibilidade de realizar sugestões de redação para cada item.

Antes do questionário, foram disponibilizadas afirmativas a serem analisadas para cada item: i) “O item está claro: considerando a forma como está escrito, é possível identificar o que precisa ser avaliado”; ii) “O item é relevante para medir a gravidade do paciente: é fundamental que o item seja considerado na avaliação da classificação de risco”; iii) “O item é mensurável pelo enfermeiro: na prática, é possível que o enfermeiro consiga fazer a avaliação desse item no momento da classificação de risco; iv) “Este item precisa mudar de classificação: o item é relevante e pertinente, porém está na classificação errada. Caso queira deixar algum comentário ou sugerir alguma mudança, basta clicar em ‘comentar’, que será aberto um campo de texto livre para cada item ao final de cada classificação”. Para cada domínio, foi utilizado um layout com as opções de “sim” ou “não” para avaliação de todos os itens. O questionário foi considerado válido quando houve resposta em todos os itens e domínios.

Análise de dados

Optou-se pelo método de cálculo de Content Validity Ratio (CVR), que propõe validar os itens de um questionário ou instrumento com base na concordância de um painel amplo de especialistas sobre os critérios avaliados de cada item, variando de -1 (discordância perfeita) a 1 (concordância perfeita)(18, 19). Os coeficientes de concordância foram comparados à classificação presente em Altman, que considera como ruins os coeficientes menores que 0,2; razoáveis aqueles entre 0,2 e 0,4; moderados aqueles entre 0,4 e 0,6; bons entre 0,6 e 0,8; e excelentes aqueles acima de 0,8. O escore mínimo da aderência do item à variável latente foi baseado nos valores críticos do CVR tendo por base o número final de juízes, adotando 0,22 como ponto de corte na primeira rodada e 0,18 na segunda para considerar o item satisfatório do ponto de vista da validade do seu conteúdo(18, 19). As análises estatísticas foram realizadas no software Statistical Package for the Social Sciences (SPSS).

RESULTADOS

Etapa 1: caracterização dos juízes

O instrumento proposto foi avaliado em duas rodadas até obter o nível necessário de consenso. O perfil dos juízes participantes encontra-se descrito na Tabela 1.

Tabela 1 Caracterização dos juízes especialistas participantes nas duas rodadas. São Paulo, Brasil, 2021

Dados de caracterização	Primeira rodada (n = 75)	Segunda rodada (n = 71)	
Média da idade em anos (DP) Variáveis categóricas: nº (%)	39,95 (8,00)	42 (8,00)	
Sexo	
Feminino	54 (72,00)	48 (67,60)	
Masculino	21 (28,00)	23 (32,40)	
Profissão			
Médico	15 (20,00)	11 (15,50)	
Enfermeiro	60 (80,00)	60 (84,50)	
Último grau de formação	
Graduação	8 (10,67)	9 (12,70)	
Residência	4 (5,33)	2 (2,80)	
Especialização	49 (65,33)	43 (60,60)	
Mestrado	6 (8,00)	12 (16,90)	
Doutorado	6 (8,00)	5 (7,00)	
Pós-doutorado	2 (2,67%)	0 (0,00)	
Região brasileira de atuação profissional	
Norte	1 (1,33)	1 (1,40)	
Nordeste	1 (1,33)	2 (2,80)	
Centro-Oeste	6 (8,00)	2 (2,80)	
Sul	11(14,67)	10 (14,10)	
Sudeste	56 (74,67)	56 (78,90)	
Área de atuação ou pesquisa*	
Urgência e Emergência	38 (50,67)	42 (59,20)	
Atenção Primária	40 (53,33)	29 (40,80)	
Assistência de Enfermagem em cenário hospitalar	16 (21,33)	24 (33,80)	
Obstetrícia	1 (1,33)	2 (2,8)	
Pediatria	12 (16,00)	5 (7,0)	
*Foi possível assinalar mais de uma opção; DP – desvio padrão.

Etapa 2: construção dos itens

Após a revisão bibliográfica e análise dos dados na etapa exploratória retrospectiva, considerando as queixas com maior frequência e as queixas relacionadas a desfechos de transferência, óbito e alta, o instrumento foi composto por 94 itens, sendo distribuídos nas três categorias de gravidade (vermelho, laranja e amarelo). Na primeira rodada, todos os itens apresentaram CVR superior ao valor crítico para o domínio “Clareza”, porém, nos demais itens e domínios, não foi atingido o ponto de corte (Tabela 2).

Tabela 2 Primeira rodada de avaliação dos itens do instrumento de classificação de risco em urgência e emergência (n=75). São Paulo, Brasil, 2021

Itens do instrumento de classificação de risco	Clareza (CVR)	Relevância (CVR)	Pertinência (CVR)	Concordância com a classificação (%)	
Categoria: Vermelho	
Acima de 25% da superfície corpórea queimada	0,41	−0,07	−0,17	98,70	
Amputação traumática	0,68	−0,17	−0,23	98,70	
Bebê nascendo	0,73	−0,33	−0,23	98,70	
Comprometimento de coluna vertebral	0,41	−0,12	−0,52	97,30	
Convulsionando	0,87	−0,23	−0,25	100,00	
Criança não responsiva	0,79	−0,17	−0,33	98,70	
Fratura exposta de grandes partes	0,68	−0,15	−0,28	100,00	
Hemorragia digestiva presenciada	0,55	−0,17	−0,28	100,00	
Otorragia (Sinais de Battle - Guaxinim)	0,49	−0,12	−0,31	100,00	
Queimadura em face acometendo vias aéreas	0,73	−0,09	−0,23	100,00	
Queimaduras de 2° e 3° grau em região de períneo	0,63	−0,20	−0,23	100,00	
Queimaduras locais com exposição de sistema ou órgãos	0,65	−0,17	−0,28	100,00	
Respiração ineficaz	0,55	−0,17	−0,28	96,00	
Sangramento incontrolável	0,65	−0,15	−0,28	98,70	
Trauma grave	0,49	−0,12	−0,25	100,00	
Via aérea não pérvia	0,71	−0,15	−0,31	100,00	
Categoria: Laranja	
Abaulamento de fontanela	0,68	−0,07	−0,20	96,00	
Agitação psicomotora	0,60	−0,09	−0,12	98,70	
Alteração visual súbita	0,57	−0,07	−0,33	96,00	
Alterações neurológicas em menos de 24 horas	0,55	−0,15	−0,28	96,00	
Amputação de pequenas partes	0,60	−0,04	−0,12	94,70	
Avulsão de dente permanente em menos de duas horas	0,36	−0,23	−0,31	93,30	
Bexigoma	0,55	−0,20	−0,12	93,30	
Criança prostrada	0,52	−0,12	−0,15	97,30	
Desconforto respiratório evidente	0,60	−0,01	−0,20	92,00	
Diminuição de movimentos fetais	0,60	−0,17	−0,12	94,70	
Dor em precórdio	0,63	−0,04	−0,31	89,30	
Enterorragia	0,63	−0,09	−0,25	98,70	
Entre 24% e 15% de superfície corpórea queimada	0,55	−0,12	−0,20	96,00	
Epistaxe presenciada	0,65	−0,12	−0,07	98,70	
Estado pós-ictal	0,41	−0,07	−0,28	96,00	
Fluxo sanguíneo vaginal em gestante com mais de 20 semanas	0,60	−0,20	−0,20	96,00	
Fluxo sanguíneo vaginal intenso	0,39	−0,25	−0,12	88,00	
Fratura de pequenas partes	0,49	−0,09	−0,36	97,30	
Hálito cetônico	0,71	−0,09	−0,20	97,30	
Inalação de agentes químicos	0,63	−0,04	−0,36	97,30	
Inalação de fumaça	0,68	0,01	−0,33	96,00	
Inserção de objeto potencialmente perigoso	0,52	−0,17	−0,23	93,30	
Instabilidade da pelve	0,49	−0,04	−0,39	89,30	
Intoxicação alcoólica	0,55	−0,09	−0,23	97,30	
Intoxicação por drogas	0,57	−0,09	−0,28	97,30	
Intoxicação por produtos químicos	0,60	−0,12	−0,31	96,00	
Lesão dilacerante	0,47	−0,01	−0,25	93,30	
Lesão por agente químico	0,55	−0,01	−0,25	96,00	
Lesão por veneno letal conhecido	0,60	−0,01	−0,41	88,00	
Lesão vascular arterial ou venosa	0,55	−0,12	−0,39	94,70	
Melena	0,60	−0,15	−0,33	98,70	
Meningismo	0,60	−0,04	−0,15	96,00	
Otalgia intensa	0,63	−0,01	−0,20	96,00	
Perda de líquido amniótico	0,55	−0,25	−0,20	94,70	
Precordialgia associada	0,41	−0,12	−0,28	89,30	
Priapismo	0,36	−0,20	−0,33	92,00	
Queimadura com presença de objetos aderidos à pele	0,71	−0,09	−0,15	94,70	
Queimadura em face	0,71	−0,15	−0,12	92,00	
Sangramento não compressível	0,23	−0,07	−0,33	96,00	
Sinais de abstinência	0,49	−0,04	−0,20	96,00	
Sinais graves de desidratação	0,57	−0,15	−0,15	93,30	
Torção testicular aguda	0,57	−0,15	−0,52	96,00	
Trabalho de parto	0,63	−0,17	−0,07	93,30	
Trauma abdominal fechado	0,47	−0,07	−0,33	89,30	
Trauma com deformidades	0,55	−0,04	−0,23	92,00	
Trauma com objetos penetrantes em regiões vitais	0,65	−0,04	−0,33	84,00	
Categoria: Amarelo	
Abaixo de 15% da superfície corpórea queimada de 2° grau	0,60	−0,17	−0,23	96,00	
Abcesso amigdaliano	0,55	−0,12	−0,20	96,00	
Alterações de exames graves e agudas	0,49	−0,09	−0,15	96,00	
Avulsão de dente permanente há mais de duas horas	0,55	−0,15	−0,23	93,30	
Choro intermitente em criança de até 2 anos	0,57	−0,20	−0,23	89,30	
Deformidade de ossos menores	0,44	−0,12	−0,23	97,30	
Deslocamento de mandíbula	0,52	−0,12	−0,31	94,70	
Dor irradiada para o ombro em gestante (sinal de Kehr)	0,47	−0,15	−0,25	92,00	
Dor ventilatório-dependente	0,49	−0,09	−0,17	94,70	
Edema aparente em região mandibular	0,44	−0,07	−0,20	97,30	
Edema em região periorbitária com sinais flogísticos	0,49	−0,09	−0,17	96,00	
Edema importante em órgão genital	0,63	−0,12	−0,15	88,00	
Empastamento muscular	0,33	−0,07	−0,28	88,00	
Entre 15% e 9% da superfície corpórea queimada de 1° grau	0,49	−0,17	−0,23	98,70	
Hematúria franca referida	0,57	−0,12	−0,12	97,30	
História de ausência de urina nas últimas 24 horas	0,60	−0,09	−0,12	96,00	
Ideação suicida	0,60	−0,07	−0,20	98,70	
Inserção de objeto	0,47	−0,12	−0,17	96,00	
Lesão de pele com características sugestivas de doenças infectocontagiosas (manchas em bolhas cheias de líquido e/ou petéquias)	0,47	−0,12	−0,12	89,30	
Lesão elétrica	0,57	−0,09	−0,31	97,30	
Lesão sugestiva de maus-tratos	0,55	−0,15	−0,12	84,00	
Limitação do movimento	0,39	−0,17	−0,07	93,30	
Pós-comicial	0,41	−0,15	−0,25	98,70	
Processo inflamatório com presença de exsudato seroso, aquoso ou purulento	0,63	−0,20	−0,09	96,00	
Sangramento compressível	0,60	0,04	−0,17	96,00	
Sinais aparentes de desidratação	0,57	−0,12	−0,12	98,70	
Sinais flogísticos em mama	0,63	−0,17	−0,04	94,70	
Sinais sugestivos de violência sexual	0,49	−0,15	−0,12	93,30	
Tosse com hemoptise	0,52	−0,07	−0,20	96,00	
Trauma ocular	0,55	−0,15	−0,23	92,00	
Vítima de agressão	0,47	−0,17	−0,12	93,30	
Vômitos intermitentes	0,49	−0,17	−0,12	96,00	
CVR – Content Validity Ratio.

Após a segunda rodada, 42 dos 94 itens foram eliminados, resultando em 52 itens, distribuídos nas três categorias de risco. Com a participação de 71 juízes, foi estabelecido o valor de 0,18 como crítico do CVR. Os resultados da segunda rodada indicaram que todos os itens foram considerados válidos quanto à clareza, relevância, pertinência e concordância no tocante à classificação de gravidade do item (Tabela 3).

Tabela 3 Itens de avaliação de gravidade – Segunda rodada de avaliação dos itens do instrumento de classificação de risco em urgência e emergência (n = 71). São Paulo, Brasil, 2021

Itens do instrumento	Clareza (CVR)	Relevância (CVR)	Pertinência (CVR)	Concordância com a classificação (%)	
Categoria: Vermelho	
Amputação causada por trauma abrupto	0,97	0,97	0,97	98,60	
Bebê nascendo	0,73	0,88	0,94	98,60	
Comprometimento de coluna vertebral	0,41	0,91	0,38	97,19	
Convulsionando	0,87	0,97	0,97	98,60	
Criança não responsiva	0,79	0,97	1,00	98,60	
Fratura exposta de grandes partes	0,68	1,00	0,94	97,19	
Hemorragia digestiva presenciada	0,55	0,94	0,83	97,19	
Otorragia (Sinais de Battle – Guaxinim)	0,49	0,94	0,88	97,19	
Queimaduras de 2º e 3º grau em região de períneo	0,63	0,94	0,94	97,19	
Queimaduras locais com exposição de sistemas ou órgãos	0,65	1,00	0,97	98,60	
Respiração ineficaz	0,55	1,00	1,00	98,60	
Sangramento incontrolável ativo	0,97	0,97	1,00	97,19	
Trauma grave	0,49	1,00	0,88	98,60	
Via aérea não pérvia	0,71	0,97	0,85	98,60	
Categoria: Laranja	
Agitação psicomotora com risco de agressão	0,97	0,94	0,94	98,60	
Alterações neurológicas em menos de 24 horas	0,55	1,00	0,80	98,60	
Diminuição de movimentos fetais após uma hora de observação ativa pela mãe	0,60	0,88	0,57	98,60	
Dor em precórdio	0,63	1,00	0,91	97,19	
Estado pós-ictal	0,41	0,88	0,73	98,60	
Fluxo sanguíneo vaginal em gestantes com mais de 20 semanas	0,60	0,94	0,82	98,60	
Fluxo sanguíneo vaginal intenso	0,39	0,88	0,80	95,78	
Fratura de pequenas partes	0,49	0,83	0,49	98,60	
Inalação de agentes químicos e/ou fumaça	0,68	0,97	0,69	98,60	
Intoxicação por produtos químicos e/ou drogas lícitas e ilícitas	0,88	0,94	0,74	98,60	
Lesão dilacerante	0,47	1,00	0,94	98,60	
Lesão por agente químico	0,55	0,97	0,83	98,60	
Otalgia intensa com ou sem presença de secreção	0,88	0,74	0,63	97,19	
Precordialgia associada	0,41	0,94	0,83	97,19	
Queimadura em face	0,71	0,97	1,00	97,19	
Sangramento não compreensível ativo	0,74	0,85	0,68	97,19	
Sinais de abstinência alcoólica e/ou química	0,91	0,71	0,74	97,19	
Sinais de meningismo	0,74	0,91	0,67	98,60	
Sinais de trauma abdominal fechado	0,88	0,97	0,36	95,78	
Sinais graves de desidratação	0,57	1,00	0,80	97,19	
Torção testicular aguda	0,57	0,85	0,21	98,60	
Trabalho de parto	0,97	0,88	0,88	97,19	
Trauma com deformidades grosseiras	0,85	0,88	0,88	95,78	
Trauma com objetos penetrantes em regiões vitais	0,97	0,97	1,00	94,37	
Categoria Amarelo	
Abaixo de 15% da superfície corpórea queimada de 2° grau	0,60	0,85	0,91	98,60	
Avulsão de dente permanente há mais de duas horas	0,55	0,71	0,80	98,60	
Entre 15% e 9% da superfície corpórea queimada de 1° grau	0,49	0,80	0,91	98,60	
Inserção de corpo estranho	0,859	0,80	0,54	98,60	
Lesão sugestiva de maus-tratos	0,55	0,71	0,77	98,60	
Limitação aguda de movimento	0,39	0,88	0,82	98,60	
Processo inflamatório com presença de exsudato seroso, aquoso ou purulento	0,63	0,60	0,91	97,19	
Sangramento compressível ativo	0,746	0,79	0,91	95,78	
Sinais de abcesso amigdaliano	0,831	0,69	0,28	97,19	
Sinais flogísticos em mama	0,857	0,68	0,83	98,60	
Sinais sugestivos de abuso sexual	0,915	0,83	0,42	97,19	
Sinais sugestivos de vítima de violência	0,859	0,80	0,85	97,19	
Trauma ocular	0,55	0,91	0,85	95,78	
Vômitos intermitentes	0,49	0,77	0,77	97,19	
CVR – Content Validity Ratio

DISCUSSÃO

Entende-se a CR como processo eficaz para identificação de possíveis situações de gravidade relacionando a queixa e sinais vitais do paciente, assim proporcionando atendimento em tempo adequado(1). Os principais protocolos utilizados em nosso país são de origem internacional(2, 7, 11). Logo, disponibilizar um instrumento de classificação de risco, com conteúdo validado e aplicável ao perfil dos usuários de serviços de saúde públicos brasileiros de diferentes faixas etárias torna este estudo relevante, especialmente aos serviços de emergência da APS. O instrumento de classificação de risco desenvolvido, após busca na literatura e análise retrospectiva do perfil de atendimentos da APS, foi validado no segundo ciclo por um número significativo de juízes especialistas na área.

O instrumento de classificação de risco é proposto como uma ferramenta facilitadora para enfermeiros que atendem nas unidades de serviços de emergência da APS de forma universal; e é voltado para a realidade da APS no tocante a recursos materiais e humanos. De forma contrastante, a APS é apontada pela Rede de Urgência e Emergência como o elemento que ordena e coordena a rede(5, 6); entretanto, não foram encontrados na literatura instrumentos de classificação de risco direcionados aos serviços de emergência da APS.

Ao investigar as classificações de risco mais utilizadas no Brasil, foram encontrados diversos estudos sobre o Sistema de Triagem de Manchester, protocolo este que conta com cinco níveis e segue uma abordagem característica, sendo a queixa do paciente e os sinais vitais o centro da avaliação(2, 4, 12, 14, 18). No entanto, observam-se grandes dificuldades relacionadas à necessidade de ter um treinamento específico para população brasileira e à dificuldade de contato direto com o Grupo Brasileiro de Classificação de Risco, o que para muitos serviços torna-se financeiramente inviável em longo prazo e resulta na descontinuidade da utilização do protocolo. As equipes de enfermagem também ressaltam necessidades de adaptações para atendimentos específicos, como questões de saúde mental ou vulnerabilidade, visto que o Sistema de Triagem Manchester foi idealizado para uma população de outro país(11, 24, 25, 26, 27, 28).

No contexto da classificação de risco proposta pelo Ministério da Saúde, destaca-se o HumanizaSUS. Esse instrumento é composto por quatro níveis de risco, contando com orientações de como realizar a classificação e sugestões de algumas situações clínicas que podem ser relacionadas com a gravidade. Contudo, não propõe o tempo de atendimento para cada nível nem escala de sinais vitais ou dor(1). Observa-se que não contar com cinco níveis gera dificuldade ao profissional quando existe um atendimento que requer cuidados intermediários. Nesse momento, ele precisa escolher incluir o paciente em uma classificação de emergência iminente ou prioridade não urgente, o que pode acarretar o atraso do tratamento e um desfecho com potencial evento adverso(14).

Dessa forma, o instrumento de classificação de risco foi desenvolvido considerando o perfil de atendimentos de emergência da APS, focalizando sinais, sintomas e queixas relacionadas ao motivo da busca pelo atendimento, com categorização em três gravidades: vermelho, laranja e amarelo. O objetivo é diminuir o tempo de espera do indivíduo que busca atendimento, voltan-do-se para o nível de complexidade, bem como recursos físicos e humanos do serviço de emergência(11, 24, 25, 26, 27, 28).

Evidenciou-se que, na segunda rodada, todos os itens mantidos tiveram valor superior ao ponto de corte, baseado no número de juízes. Dessa forma, o instrumento foi considerado validado em relação à clareza, relevância, pertinência e concordância com a classificação de risco. Além disso, destaca-se que o CVR obtido quanto à relevância e pertinência foi majoritariamente superior a 0,80 e todos os itens tiveram valor superior a 95% em relação à concordância com a gravidade obtida.

No tocante às sugestões dos juízes, todas foram acatadas. O espaço para comentários foi essencial para o processo de melhoria no instrumento de classificação de risco. Em relação ao item de superfície corpórea queimada, foram apontadas áreas consideradas graves, além de sugestões de melhorias em relação à clareza desse item. Ademais, alguns itens foram retirados após os apontamentos realizados, tornando o instrumento compreensível, claro e não redundante nem cansativo, tornando-o aplicável neste cenário.

Um ponto a ser ressaltado positivamente refere-se ao painel de juízes com uma quantidade expressiva (n = 75 e n = 71), oriundos das cinco regiões geográficas do Brasil, o que difere de estudos com abordagem semelhante que tiveram menor quantitativo nas respectivas amostras(29, 30). Outro ponto relevante trata dos itens relacionados a situações de vulnerabilidade da população-alvo deste instrumento, como “Sinais de abstinência alcóolica e/ou química”, “Trauma com objetos penetrantes em regiões vitais”, “Lesão sugestiva de maus-tratos”, “Sinais sugestivos de abuso sexual” e “Sinais sugestivos de vítima de violência”. Tais itens apresentaram mais de 97% de concordância entre os juízes quanto à classificação de gravidade. Vale dizer que esses itens não foram encontrados durante o processo de revisão de literatura, destacando-se, assim, um diferencial do instrumento proposto em relação aos protocolos já utilizados em nosso país.

Limitações do estudo

Como limitação, aponta-se a predominância de juízes das regiões Sul e Sudeste. Foi identificada a evidência de validade de conteúdo para todos os itens, considerando os diferentes aspectos avaliados, porém salienta-se a necessidade de obter evidências de validade de estrutura interna do instrumento.

Contribuições para a área de Enfermagem

O instrumento de classificação de risco com evidências de validade de conteúdo pode ser validado na população-alvo e, posteriormente, representar uma ferramenta adequada para os serviços de emergência inseridos no contexto da atenção básica de saúde. Isso porque ele foi desenvolvido considerando as queixas, os principais desfechos e os recursos disponíveis em estabelecimentos de saúde desse nível de atenção. A utilização de um instrumento de classificação de risco de acordo com o perfil de paciente possibilita que o profissional enfermeiro tenha um direcionamento adequado da conduta decisória e uma tomada de decisão segura e individualizada.

CONCLUSÃO

O instrumento desenvolvido mostrou evidências de validade de conteúdo após duas rodadas de apreciação pelos juízes. Ele desponta como uma ferramenta atual com potencial de uso pelos enfermeiros para realizar com segurança a classificação de risco nos serviços de emergência da Atenção Primária à Saúde.

FUNDING: Conselho Federal de Enfermagem (COFEN); Coordenação de Aperfeiçoamento de Pessoa de Nível Superior (CAPES); Programa de Apoio ao Desenvolvimento Institucional do Sistema Único de Saúde (PROADI-SUS) (lei nº 12.101, de 27 de novembro de 2009).

EDITOR CHEFE: Antonio José de Almeida Filho

EDITOR ASSOCIADO: Hugo Fernandes

FOMENTO: Conselho Federal de Enfermagem (COFEN); Coordenação de Aperfeiçoamento de Pessoa de Nível Superior (CAPES); Programa de Apoio ao Desenvolvimento Institucional do Sistema Único de Saúde (PROADI-SUS) (lei nº 12.101, de 27 de novembro de 2009).
==== Refs
REFERENCES

1 Ministério da Saúde (BR) Secretaria-Executiva Núcleo Técnico da Política Nacional de Humanização HumanizaSUS: acolhimento com avaliação e classificação de risco: um paradigma ético-estético no fazer em saúde [Internet] Brasília (DF) Ministério da Saúde 2004 48 48 cited 2023 Sep 13 Available from: https://bvsms.saude.gov.br/bvs/publicacoes/acolhimento.pdf
2 Ribeiro DFS Gaspar DRFA Santos LP Silva MBT The nurse’s professional identity on the Primary Health Care users perception Rev Bras Enferm 2021 75 3 e20200974 e20200974 10.1590/0034-7167-2020-0974 34706045
3 Conselho Federal de Enfermagem (Cofen) Resolução no 661, de 11 de março de 2021. Atualiza e normatiza, no âmbito do sistema Cofen/Conselhos Regionais de Enfermagem, a participação da Equipe de Enfermagem na atividade de classificação de risco[Internet] Brasília (DF) 2021 cited 2023 Sep 13 Available from: https://www.cofen.gov.br/resolucao-cofen-no-661-2021/
4 Costa EDS Silva MDJR Kuroba LS Silva AMD Costa GDS Vieira PSN Processo de enfermagem em unidades de atendimento de urgência e emergência: uma revisão integrativa Rev Uningá 2017 53 1 90 95 10.46311/2318-0579.53.eUJ1407
5 Savioli G Ceresa IF Gri N Bavestrello Piccini G Longhitano Y Zanza C Emergency department overcrowding: understanding the factors to find corresponding solutions J Pers Med 2022 12 2 279 279 10.3390/jpm12020279 35207769
6 Sousa KO Silva JFT Sousa KO Santos ABAS Guedes TSA Costa AKO A enfermagem diante da classificação de risco nos serviços de urgência e emergência: revisão integrativa da literatura Casoseconsultoria [Internet] 2021 12 1 e26174 e26174 cited 2023 Sep 13 Available from: https://periodicos.ufrn.br/casoseconsultoria/article/view/26174
7 Costa FF Prudente GM Borba ACG Deus S Castilho TC Sampaio RA A eficácia da aplicação do protocolo de Manchester na classificação de risco em unidades de pronto atendimento: uma revisão sistemática RSM [Internet] 2020 115 8 668 681 cited 2023 Sep 13 Available from: http://revistas.famp.edu.br/revistasaudemultidisciplinar/article/view/211
8 Zakeri H Saleh LA Niroumand S Ziadi-Lotfabadi M Comparison the Emergency Severity Index and Manchester Triage System in Trauma Patients Bull Emerg Trauma 2022 10 2 65 70 10.30476/BEAT.2022.92297.1302 35434164
9 Varndell W Hodge A Fry M Triage in Australian emergency departments: results of a New South Wales survey Australas Emerg Care 2019 22 2 81 86 10.1016/j.auec.2019.01.003 31042523
10 Zachariasse JM van der Hagen V Seiger N Mackway-Jones K van Veen M Moll HA Performance of triage systems in emergency care: a systematic review and meta-analysis BMJ Open 2019 9 5 e026471 e026471 10.1136/bmjopen-2018-026471
11 Jesus APS Okuno MFP Campanharo CRV Lopes MCBT Batista REA Manchester Triage System: assessment in an emergency hospital service Rev Bras Enferm 2021 74 3 e20201361 e20201361 10.1590/0034-7167-2020-1361 34287496
12 Sacoman TM Beltrammi DGM Andreza R Cecílio LCO Reis AC Implantação do Sistema de Classificação de Risco Manchester em uma rede municipal de urgência Saúde Debate 2019 43 121 354 367 10.1590/0103-1104201912105
13 Wolf LA Delao AM Establishing Research Priorities for the Emergency Severity Index Using a Modified Delphi Approach J Emerg Nurs 2021 47 1 50 57 10.1016/j.jen.2020.09.005 33390221
14 Hermida PMV Nascimento ERPD Echevarría-Guanilo ME Bruggemann OM Malfussi LBHD Acolhimento com classificação de risco em unidade de pronto atendimento: estudo avaliativo Rev Esc Enferm USP 2018 52 e03318 e03318 10.1590/s1980-220x2017001303318 29668786
15 Sales AP Dionato FAV Santos LSC Silva LM Porto NM Masson VA A Importância do Acolhimento com o Sistema de Manchester no Serviço de Urgência e Emergência Rev Feridas 2022 10 57 2095 2102 10.36489/feridas.2022v10i57p2095-2102
16 Souza CC Chianca TCM Cordeiro W Junior Rausch MCP Nascimento GFL Reliability analysis of the Manchester Triage System: inter-observer and intra-observer agreement Rev Latino-Am Enfermagem 2018 26 e3005 e3005 10.1590/1518-8345.2205.3005
17 Harris PA Taylor R Minor BL Elliott V Fernandez M O’Neal L The REDCap consortium: building an international community of software platform partners J Biomed Inform 2019 95 103 208 10.1016/j.jbi.2019.103208
18 Ferretti-Rebustini REDL Psychometrics: applications in Nursing Rev Latino-Am Enfermagem 2023 31 e3993 e3993 10.1590/1518-8345.0000.3993
19 Madadizadeh F Bahariniya S Tutorial on how to calculating content validity of scales in medical research Perioper Care Oper Room Manag 2023 31 1003 1015 10.1016/j.pcorm.2023.100315
20 Ogrinc G Davies L Goodman D Batalden P Davidoff F Stevens D SQUIRE 2.0 (Standards for Quality Improvement Reporting Excellence): revised publication guidelines from a detailed consensus process BMJ Qual Saf 2016 25 12 986 992 10.1136/bmjqs-2015-004411
21 Secretaria Municipal de Saúde de São Paulo Secretaria Executiva da Atenção Básica, Especialidades e Vigilância em Saúde – SEABEVS. Coordenadoria da Atenção Básica – CAB. Diretrizes da Atenção Básica[Internet] São Paulo (SP) 2022 cited 2024 Mar 29 Available from: https://www.prefeitura.sp.gov.br/cidade/secretarias/upload/saude/arquivos/DIRETRIZES_CAB_novembro_2022.pdf
22 Secretaria Municipal de Saúde de São Paulo Coordenação da Atenção Básica – SMS – PMSP Diretrizes técnicas da assistência médica ambulatorial (AMA) na atenção básica [Internet] São Paulo (SP) 2009 cited 2024 Mar 29 Available from: https://issuu.com/bvssmssaopaulo/docs/ama_manualdiretrizestecnicas
23 Bockorni BRS Gomes AF A amostragem em snowball (bola de neve) em uma pesquisa qualitativa no campo da administração Rev Ciênc Empres UNIPAR 2021 22 1 105 117 10.25110/receu.v22i1.8346
24 Matozinhos FP Silverio IR Boaventura JG Oliveira TM Silva TPRD Corrêa ADR Analysis of triage and care for women victims of road accidents Rev Bras Enferm 2019 72 4 1013 1019 10.1590/0034-7167-2018-0727 31432960
25 Sampaio RA Rodrigues AM Nunes FC Naghettini AV Desafios no acolhimento com classificação de risco sob a ótica dos enfermeiros Cogitare Enferm 2022 27 27 e80194 e80194 10.5380/ce.v27i0.80194
26 Gouveia MT Melo SR Costa MWS Souza JMM Sá LR Pimenta CJL Análise do Acolhimento com Classificação de Risco em Unidades de Pronto-Atendimento Rev Min Enferm 2019 23 e-1210 e-1210 10.5935/1415-2762.20190058
27 Costa JPD Nicolaidis R Gonçalves AVF Souza END Blatt CR The accuracy of the Manchester Triage System in an emergency service Rev Gaúcha Enferm 2020 41 e20190327 10.1590/1983-1447.2020.20190327 33111760
28 Correa JVM Castro RRT Moreno AM Carvalho RW Castro RRT Olhar dos usuários sobre o Acolhimento e Classificação de Risco (ACCR) em uma Unidade de Pronto Atendimento (UPA) Rev Neurociências 2023 31 1 16 10.34024/rnc.2023.v31.14732
29 Souza EL Eshriqui I Rebustini F Masuda ET Paiva FT Neto Lima RM Family vulnerability scale: evidence of content and internal structure validity PLoS One 2023 18 10 e0280857 e0280857 10.1371/journal.pone.0280857 37878548
30 Palacio DC Rebustini F Oliveira DB Peres J Neto Barbieri W Sanchez TP Dental vulnerability scale in primary health care: evidence of content and structure internal validity BMC Oral Health 2021 21 1 421 421 10.1186/s12903-021-01742-6 34454449
