
==== Front
Rev Bras Enferm
Rev Bras Enferm
reben
Revista Brasileira de Enfermagem
0034-7167
1984-0446
Associação Brasileira de Enfermagem

10.1590/0034-7167-2024-0021
00158
Original Article
Construction and validation of an instrument for event-related sterility of processed healthcare products
Construcción y validación de instrumento para esterilidad relacionada a eventos de productos para salud procesadoshttps://orcid.org/0000-0002-1084-2290
Vilas-Boas Vanessa Aparecida Iconception or design of the study/research analysis and/or interpretation of data and to the final review with critical and intellectual participation in the manuscript *
https://orcid.org/0000-0001-7165-1108
Rondini Louise Assumpção Iconception or design of the study/research analysis and/or interpretation of data and to the final review with critical and intellectual participation in the manuscript
https://orcid.org/0009-0006-5559-1604
Czempik Thamiris Cavazzani Vegro IIconception or design of the study/research analysis and/or interpretation of data and to the final review with critical and intellectual participation in the manuscript
https://orcid.org/0009-0009-9456-8222
Lorenzetti Ada Helena Melo IIconception or design of the study/research analysis and/or interpretation of data and to the final review with critical and intellectual participation in the manuscript
https://orcid.org/0000-0001-6899-082X
Graziano Kazuko Uchikawa IIIconception or design of the study/research analysis and/or interpretation of data and to the final review with critical and intellectual participation in the manuscript
https://orcid.org/0000-0002-5830-9989
Dini Ariane Polidoro Iconception or design of the study/research analysis and/or interpretation of data and to the final review with critical and intellectual participation in the manuscript
I Universidade Estadual de Campinas. Campinas, São Paulo, Brazil
II Universidade Estadual de Campinas, Hospital da Mulher Prof. Dr. José Aristodemo Pinotti. Campinas, São Paulo, Brazil
III Universidade de São Paulo. São Paulo, São Paulo, Brazil
Corresponding author Vanessa Aparecida Vilas-Boas E-mail: vavb@unicamp.br
EDITOR IN CHIEF: Antonio José de Almeida Filho

ASSOCIATE EDITOR: Hugo Fernandes

06 9 2024
2024
77 4 e2024002107 2 2024
20 5 2024
https://creativecommons.org/licenses/by/4.0/ This is an Open Access article distributed under the terms of the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.
ABSTRACT

Objective:

To construct and validate an instrument to assess events related to maintaining the sterility of processed healthcare products.

Methods:

This methodological study developed the instrument through analysis by a panel of experts, focusing on the integrity of commonly used packaging: spunbond-meltblown-spunbond and medical-grade paper. The instrument was analyzed using the Content Validity Index and Content Validity Ratio (≥ 0.80) and modified Kappa (≥ 0.74). The instrument underwent pre-testing.

Results:

Six experienced professionals participated in the expert panel. After two rounds, the final version of the instrument contained five dimensions. In the pre-test, 30 nursing professionals participated, of whom 86.67% considered the instrument good, and 90% found it understandable.

Conclusion:

The construction and validation followed literature recommendations. The instrument is available, aiding in the safe use of processed healthcare products.

RESUMEN

Objetivo:

Construir y validar instrumento para evaluar evento relacionado a manutención de la esterilidad de productos para salud procesados.

Métodos:

Estudio metodológico para desarrollar instrumento mediante análisis por comité de jueces. Considerado como aspecto rector la integridad de envases más utilizados en la práctica: de no tejido y de papel grado quírurgico. Realizado análisis por Índice de Validez de Contenido y Razón de Validez de Contenido ≥ 0,80 y Kappa modificado ≥ 0,74. Sometido el instrumento a pre-prueba.

Resultados:

Participaron del comité de jueces seis profesionales experientes en la temática. Trás dos rondas, fue constituída la versión final del instrumento, conteniendo cinco dimensiones. En la pre-prueba, participaron 30 profesionales de enfermería, en que 86,67% consideraron el instrumento bueno; y 90%, comprensible.

Conclusion:

La construcción y validación siguió las recomendaciones de la literatura. El instrumento está disponible para ser utilizado, auxiliando el uso seguro del producto para salud.

Descriptors:

Sterilization
Time Factors
Validation Study
Nursing Assessment
Equipment and Supplies
Descriptores:

Esterilización
Fecha de Caducidad de Productos
Estudio de Validación
Evaluación en Enfermería
Almacenamiento de Productos
==== Body
pmcINTRODUCTION

Healthcare-associated infections affect millions of people worldwide, constituting a public health problem. In particular, surgical site infection is common and considered an avoidable adverse event. Recently, the World Health Organization proposed seven strategic objectives to achieve by 2030. Among them, Objective 3 advocates for ensuring the safety of all clinical processes, which involves implementing rigorous measures for infection prevention and control and the safe use of medical devices(1).

Events related to maintaining the sterility of healthcare products are those that can damage the integrity of the packaging or sealing of the product due to adverse environmental or behavioral storage conditions(2). Such damage can be harmful as it predisposes the healthcare products to contamination. Thus, sterility control should be enhanced by analyzing the events that occurred with the healthcare products, as contamination can occur at any time, including immediately after processing(2, 3, 4). However, many institutions still opt for an arbitrary sterilization expiration date without rigorous and systematic evaluation of these events.

The expiration date of healthcare products processed by the Central Sterile Services Department (CSSD) was historically based on studies from the 1970s using microbiological tests on sterilized products under adverse storage conditions. The authors considered contamination from the third day after sterilization for products packaged in single-wrap muslin and 28 days in double-wrap muslin on open shelves, maintaining sterility for 63 days or more when using a cover bag(5). Only from 1984 was it considered that the expiration date in previous studies was based on time and not on other variables such as temperature, local humidity, transportation, air movement, and packaging, which are properties capable of contaminating a material(6). Thus, a concept of event-related sterility emerged, opposing the time-related sterility paradigm.

Over the years, it has become evident that the storage time of healthcare products, as long as it is within recommendations, does not affect the material’s susceptibility to contamination even when deliberately exposed to microorganisms(3, 7). In the 19th century, Louis Pasteur proved that sterile samples only proliferate microorganisms through contact with already contaminated locations(8).

Following this logic, sterilized products maintained with intact packaging and sealing remain sterile until an event or damage to the package integrity occurs. This is because sterilization packaging systems should ensure safety through the following characteristics: barrier to microorganism entry, hermetic sealing, protection of the package content against physical damage, and resistance to punctures and tears(7). For example, medical-grade paper and non-woven spunbond-meltblown-spunbond (SMS) have been widely used for healthcare products sterilization because of their low cost, excellent antimicrobial barrier, high permeability to sterilizing agents, and good mechanical resistance(7).

The CSSD is responsible for processing healthcare products, thus performing the following functions: cleaning, inspection, packaging, sterilization, and distribution to care units(9). However, even if all steps conducted within the CSSD meet quality and safety standards, the sterility of the processing can be compromised if the care units do not handle, transport, and store healthcare products carefully and neglect the quality of the sealing and packaging of processed healthcare products(2, 10).

A Brazilian study conducted with 11 large hospitals found a lack of knowledge among nursing professionals about the healthcare products processing stages, types of packaging used, storage care, and technical regulations(10). Important aspects evaluated by this and other studies reinforce the inadequate storage and transportation of sterilized healthcare products, lack of packaging inspection before the sterilization process and before use, and absence of checking the color change of the exposure chemical indicator, among others(2, 7, 10).

Therefore, more recent studies relate the loss of healthcare products sterility to events rather than a specific date(2, 3, 7). The Collegiate Board Resolution (RDC) No. 15/2012, Article 4, Item VII adheres to the principles of event-related sterility(9). However, while describing the need for a packaging integrity assessment plan, it does not clarify how to develop or implement this plan, leading to a lack of uniformity in practices across different institutions in the country and among regulatory bodies in each region.

After an in-depth literature review on the subject, it was found no valid instrument to assess events at the packaging of sterilized healthcare products. Given maintaining sterility depends on various factors and methods to implement this safety principle are still scarce, this study constructed and validated the instrument “Assessment of Event Related to Maintaining the Sterility of Healthcare Products” (AERMS). This instrument can integrate the packaging integrity assessment plan and stop using healthcare products in risky situations, especially those critical for invasive procedures.

OBJECTIVE

To construct and validate an instrument to evaluate events related to maintaining the sterility of healthcare products processed by the CSSD, focusing on the integrity of SMS and medical-grade paper packaging.

METHODS

Ethical aspects

The Research Ethics Committee approved this study, which followed the recommendations of Resolution No. 466/2012 of the National Health Council. Participants signed the Informed Consent Form in two copies.

Design, period, and study location

This methodological study involves developing instruments. It investigates methods for obtaining, organizing, and analyzing data based on the development, validation, and evaluation of research instruments and techniques. The report was based on the COnsensus-based Standards for the selection of health Measurement INstruments (COSMIN)(11).

The study was conducted in two stages between October 2021 and December 2022. The first stage involved constructing the instrument, and the second involved its evaluation by a panel of experts for content validity(11, 12). The pre-test was conducted in a medium-sized tertiary/quaternary public teaching hospital in the interior of São Paulo state.

Population and inclusion and exclusion criteria

The target population comprised nursing professionals working in the CSSD and user units with non-probabilistic convenience sampling. The criteria are presented below (Chart 1).

Chart 1 Selection criteria for participants, Brazil, 2021

CRITERION 1	- Must have a doctorate, master’s, and/or specialization in the specific area. - Must have practical and/or teaching and/or research experience of at least three years in the specific area, either nationally covering different regions of the country or internationally (requires proficiency in Portuguese). Additionally, they must meet at least one of the following: - Participate or have participated for at least two years in a research group in the area. - Participate in scientific events related to the theme. - Have published articles in reference journals.	
CRITERION 2	- Must be a nurse and/or nursing technician at the study institution. - Must have at least three years of practical experience in the nursing field.	

For content validation, the constructed instrument was submitted to a panel of experts in the area for the removal, modification, or addition of items(11). The research team created a list of professionals with expertise in the topic, and the selection was based on an analysis of their Lattes Curriculum. The panel was expected to consist of 5 to 20 experts, and the pre-test was applied to a sample of 30 to 40 individuals from the target population(12).

Study protocol

Stage 1: Instrument construction

The instrument construction was based on literature, national guidelines(13, 14), international guidelines(7, 15, 16, 17), Collegiate Board Resolution (RDC) No. 15 of March 15, 2012, which addresses good practices for processing healthcare products in Brazil(9), research team formation, institutional protocols, in loco observation of work processes, and nursing professionals’ experience.

As an initial step, a search was conducted in the Bireme, PubMed, Embase, Cochrane, CINAHL, and SciELO databases to: a) establish the conceptual structure, b) verify existing instruments, c) define the instrument’s objectives, and d) define the population to be involved, determining the construct of interest and its dimensions. Key events for the instrument’s composition were identified, focusing on healthcare products packaged in SMS or medical-grade paper. Subsequently, items and dimensions were constructed, response scales selected, and items organized, structuring the instrument(12).

A preliminary version of the instrument was created with the assistance of CSSD nursing staff at the study institution using the brainstorming technique, to stimulate creativity by generating numerous ideas on a subject(18, 19). Three brainstorming sessions were held between March and April 2022.

Next, to verify if the items in each domain were appropriate and if the instrument could be applied in different realities of public and private hospitals with low and high demands, face validation was conducted with three other health institutions using the benchmarking strategy in a focus group(20, 21, 22). The focus group was conducted online in a single 60-minute session. Researchers presented the instrument to the participants, who were then allowed to express their opinions on its usefulness in their hospital context, clarify doubts, or suggest modifications. Based on the suggestions, the experts received the first version of the instrument. An instruction guide was also developed to facilitate instrument completion, containing definitions of each addressed item.

Stage 2: Content validation

Data for the second stage were collected between June and December 2022. The experts’ evaluation was sequential, individual, and anonymous, with commented feedback, repeated until a consensus was reached. The invitation letter was sent via email, considering a single attempt for a response. The clarity and relevance of the items, dimension comprehensiveness, and overall appearance of the instrument were evaluated(12). Experts used a four-point Likert scale, where “1” meant “item not necessary or relevant/unclear/not comprehensive,” and “4” meant “item definitely essential, highly relevant/clear/comprehensive”(20).

After this phase, a pre-test was conducted for semantic and practical evaluation. Participants received the instrument, a completion guide, and a form containing: a) personal data for sample characterization, b) overall instrument evaluation (good, fair, or poor) and whether the questions align with the institution’s values and professional practices, c) specific evaluation of the instrument’s instructions, items, and responses comprehension, besides assessing whether each item was considered important, and d) completion time (start/end).

Results analysis and statistics

Data were entered into a Google Drive spreadsheet, and results were analyzed by the researchers between each round. To measure agreement among experts, the Content Validity Index (CVI), Content Validity Ratio (CVR), and modified Kappa (k) coefficient were used, developed for content validity studies(21). The CVI/CVR was calculated by the number of “3” and “4” responses divided by the total number of responses, indicating the proportion of experts agreeing on specific aspects of the instrument and its items, with an index ≥ 0.80 considered for this study(12). For the modified Kappa, values from 0.40 to 0.59 were considered reasonable; 0.60 to 0.74 good; and above 0.74 excellent(23).

Items that did not reach the required score in both tests were reformulated or excluded, and the experts re-evaluated the instrument, resulting in the final instrument after the second round. For the pre-test, descriptive statistics were used, including percentage, mean, median, standard deviation (SD), and percentiles 25 and 75 (Q1 and Q3).

RESULTS

The preliminary version of the instrument was constructed with 51 items and five dimensions: 1) Product presentation, 2) Event related, 3) Packaging sealing, 4) Chemical indicator, and 5) Occurrences.

For face validation, four nurses from public and private institutions in São Paulo state and one nursing technician from the study institution were invited. Three nurses participated in the focus group: one from a private hospital and one from a public hospital in two municipalities in the interior of São Paulo state; and a nurse working in two hospitals, one public and one private, in a municipality in Rio de Janeiro state. Two nurses had specialization in CSSD management, and one had over three years of practical experience in CSSD, meeting the inclusion criteria.

After presenting the instrument, participants judged the items as appropriate for evaluating event-related sterility of processed healthcare products. For practical application according to each institution’s reality, it was suggested to divide the product evaluation into three sessions: “preparation,” “storage and distribution,” and “anytime.” The traffic light model with green, yellow, and red colors was used respectively for each session, leading to the first version of the instrument (supplementary material).

Content validation occurred over three months, between the initial invitation and the experts reaching a consensus on all evaluated items. To form the expert panel, 25 eligible professionals were invited based on established criteria. Ten responded, with one declining and nine agreeing to participate. Of those, five completed the instrument evaluation in the first round, with a 55.56% response rate (5/9). In the second round, these five experts received back the reformulated instrument, with four responding. Four additional professionals were invited to join the panel, with one accepting. Thus, the second-round response rate was 83.33% (5/6).

Five Brazilian experts and one foreign expert fluent in Portuguese constituted the panel, including three from São Paulo state, one from the Federal District, and two residing abroad. All had postgraduate degrees: one with a master’s degree, two with doctorates, and three with post-doctorates. Their areas of expertise included regulatory bodies, teaching and research, and hospital assistance, with 3 to 35 years of experience (Mean = 17.33; SD = 11.33).

After the first round, the items “Packaging: single or double,” “Preparation identification label: yes or no,” “Package to be distributed to units presents,” and “Twist” were excluded. The item “Initials/Stamp” was reformulated to “Professional responsible for verification.” The item “Pen markings directly on the packaging” met the expected value; however, based on expert suggestions, it was reclassified as an event in Dimension 2. All instrument dimensions were considered comprehensive (CVI/CVR = 1.00; modified Kappa = 1.00).

In evaluating the completion guide, the dimensions were analyzed for relevance, clarity, and comprehensiveness (Table 2). The overall appearance evaluation of the completion guide obtained a CVI = 0.80 and modified Kappa = 0.76, considered excellent.

Table 2 Analysis of the first round of the instrument completion guide Assessment of Event Related to Maintaining the Sterility of Healthcare Products, Brazil, 2022

Dimensions	Pertinence	Clarity	Comprehensiveness	
CVI*/CVR†	k‡	CVI*	k ‡	CVI*	k ‡	
Presentation of the product	1.00	1.00	0.80	0.76	0.80	0.76	
Event related	1.00	1.00	1.00	1.00	1.00	1.00	
Packaging sealing	1.00	1.00	1.00	1.00	0.80	0.76	
Chemical indicator	1.00	1.00	1.00	1.00	1.00	1.00	
Occurrences	1.00	1.00	1.00	1.00	1.00	1.00	
*CVI – Content Validity Index; † CVR – Content Validity Ratio; ‡ k – Modified Kappa Coefficient.

With the adjustment of the items, the instrument was no longer subdivided into sections and was presented in a single column in the second version. The item “Product Identification” was added, referring to the product name or any identification contained on the label, different from the “Order No.,” which refers to the number of evaluations performed. The instruction “Evaluate items 2 to 5. If any nonconformity is identified, DO NOT use the package. Return it to the CSSD for evaluation” was also added to guide the evaluator on how to proceed.

After formatting the instrument with the alteration, exclusion, and addition of items, it was submitted to a second evaluation by the experts, where all items and the overall appearance of the instrument achieved CVI/CVR ≥ 0.80 and modified Kappa ≥ 0.76, with no alterations to its content and structure (supplementary material).

The pre-test was conducted from October to December 2022. Thirty nursing professionals participated, with 33.33% reporting completed high school education, 16.67% completed higher education, and 50% postgraduate education. Regarding their role in the institution, 56.67% were nursing technicians, and 43.33% were nurses, of whom 20% held management positions. The average age was 42.97 years (SD = 7.34) and the average professional experience was 16.03 years (SD = 6.77). The instrument was tested throughout the hospital, with 33.33% in the CSSD and 66.67% in the user units (operating block, intensive care units, inpatient unit, outpatient clinic, and emergency department) before using the healthcare product or in internal audit processes.

Completion time varied from 1 to 13 minutes (Mean = 4.33; SD = 2.95; Median = 4.00; Q1 = 2.00; Q3 = 5.00). In the overall evaluation of the instrument, 86.67% of participants considered it good, and 90.00% stated that it aligns with the institution’s values and professional practices. In the specific evaluation of the items, 86.67% partially (20.00%) or totally (66.67%) agreed that it was easy to understand the instrument’s instructions and items; 90.00% partially (26.67%) or totally (63.33%) agreed that it was easy to understand and mark the instrument’s responses.

The items participants reported difficulty understanding included: Order No., Delamination, Burn, Crease (tunnel), and Re-evaluation after a fall. Following the suggestions, “Order No.” was replaced with “Number of product evaluations”; in “Re-evaluation after a fall,” “If yes, re-evaluate after fall” was added; and in this topic, “Not applicable” was replaced with “No damage to package integrity.” For the remaining items pointed out, it was found that participants did not consult the guide during completion.

After the pre-test, since there were no content alterations, the instrument did not need to return to expert evaluation, and the content was considered valid for evaluating event-related sterility of healthcare products (supplementary material).

Table 1 Analysis of the first round of the instrument Assessment of Event Related to Maintaining the Sterility of Healthcare Products, Brazil, 2022

Sessions/Dimensions/Items	Pertinence	Clarity	
CVI*/CVR†	k ‡	CVI*	k †	
Order No.	0.80	0.76	0.80	0.76	
PREPARATION	1.00	1.00	1.00	1.00	
1. Presentation of the product	1.00	1.00	0.80	0.76	
Packaging (single/double)	0.60	0.42	1.00	1.00	
Protection in case of healthcare products puncture and cuts	1.00	1.00	0.80	0.76	
Preparation identification label containing: product name, number of pieces, preparation date, presence of indicator, and preparer’s name	0.60	0.42	0.80	0.76	
Sterilization identification label containing: product name, number of pieces, batch or load number, sterilization date, expiration date, sterilization method, and responsible person’s name	0.80	0.76	0.80	0.76	
Pen markings directly on the packaging	0.80	0.76	1.00	1.00	
Initials/Stamp	1.00	1.00	0.80	0.76	
Date	1.00	1.00	0.80	0.76	
STORAGE AND DISTRIBUTION	0.80	0.76	1.00	1.00	
2. Event related	0.80	0.76	1.00	1.00	
Package to be distributed to units presents:	0.60	0.42	1.00	1.00	
Tear	0.80	0.76	1.00	1.00	
Cut	0.80	0.76	1.00	1.00	
Twist	0.60	0.42	0.80	0.76	
Punctures/Micropunctures (look against the light for medical-grade paper)	1.00	1.00	1.00	1.00	
Stains on the packaging or healthcare products±	1.00	1.00	0.80	0.76	
Moisture on the packaging or healthcare products±	1.00	1.00	0.80	0.76	
Dirt on the packaging or healthcare products±	1.00	1.00	0.80	0.76	
3. Packaging sealing	1.00	1.00	1.00	1.00	
Sealing presents:	0.80	0.76	1.00	1.00	
Adhesion failure	0.80	0.76	0.80	0.76	
3.1. For medical-grade paper	1.00	1.00	1.00	1.00	
Sealing presents:	1.00	1.00	1.00	1.00	
Bubble	1.00	1.00	1.00	1.00	
Delamination	1.00	1.00	1.00	1.00	
Burn	0.80	0.76	1.00	1.00	
Fold or crease	1.00	1.00	1.00	1.00	
4. Chemical indicator	1.00	1.00	0.80	0.76	
Colored	1.00	1.00	0.80	0.76	
Absent	1.00	1.00	0.80	0.76	
Color change failure	1.00	1.00	0.80	0.76	
Initials/Stamp	0.80	0.76	0.80	0.76	
Date	1.00	1.00	1.00	1.00	
5. ANYTIME	1.00	1.00	0.80	0.76	
Occurrences	1.00	1.00	1.00	1.00	
Suspected that the package has been opened	1.00	1.00	1.00	1.00	
Expired expiration date	1.00	1.00	1.00	1.00	
Package fell to the ground	1.00	1.00	0.80	0.76	
Re-evaluation after fall	1.00	1.00	1.00	1.00	
Tear	1.00	1.00	0.80	0.76	
Cut	1.00	1.00	0.80	0.76	
Twist	1.00	1.00	0.80	0.76	
Punctures/Micropunctures	1.00	1.00	1.00	1.00	
Stains	1.00	1.00	1.00	1.00	
Moisture	1.00	1.00	0.80	0.76	
Dirt	1.00	1.00	1.00	1.00	
Not applicable	1.00	1.00	0.80	0.76	
Initials/Stamp	0.80	0.76	0.60	0.42	
Date	1.00	1.00	0.80	0.76	
*CVI – Content Validity Index; † CVR – Content Validity Ratio; ‡ k – Modified Kappa Coefficient.

DISCUSSION

Scientific evidence indicates sterility is compromised by events that damage packaging and sealing integrity(17, 13, 14, 15, 16, 17). As a checklist, the AERMS evaluates event-related occurrences in processed healthcare products, interrupting their use in risky situations, especially critical healthcare products for invasive procedures.

During instrument construction, the active contribution of the nursing team aimed to improve the acceptability, relevance, and quality of the evaluation, as researchers’ perspectives may not align with service users’ priorities(24). Benchmarking in healthcare measures and compares results from other institutions to implement the best practices(22). Initially, the AERMS was designed to be used at different processing stages, from product preparation to patient use, considering checks performed by different people at different times within the same form. Through content validation, it was realized this structure would hinder implementation, and because of the exclusion of some items, there would be no justification to maintain fragmented inspection moments. Therefore, the instrument can adapt to service realities, whether for inspecting healthcare products stored in the CSSD or user units, for audit purposes, or in occurrences with sterilized healthcare products, but it should primarily be incorporated as a routine and automatic practice.

Content validity is defined as the degree of relevance and representativeness of the addressed items about the instrument’s specific purpose(21). For this type of validation, there is still no consensus in the literature on the number of experts to be involved(1, 25). However, it is recommended to have at least five people for statistical data analysis procedures, considering the instrument’s characteristics and the number of items, as well as the formation, experience, and availability of the experts on the study subject(11, 12). Although nine eligible individuals agreed to participate by signing the Informed Consent Form, only five returned with the instrument evaluation, maintaining the minimum established limit in both rounds. It is noted that healthcare product processing is still a field with few specialists, justifying the response rate obtained in the AERMS content validation.

Regarding the excluded items for “Packaging: single or double,” it is understood that, depending on the packaging type, the evaluator may not distinguish between primary and secondary packaging. Concerning the “Preparation identification label,” not all services adopt this practice; however, RDC No. 15/2012, Article 85, Item VI mandates the preparer’s name(9). The item “Package to be distributed to units presents” was excluded, considering the instrument’s applicability at any time, not just during CSSD product distribution. The term “Twist” was excluded because of its ambiguity with the concept of fold. A study in France indicates contamination risk resulting from the folding of medical-grade paper in primary packaging of healthcare products stored for at least six months(4).

For the remaining items, there was a consensus on their relevance and clarity, especially regarding packaging integrity and maintaining sterility. Although the paradigm shift from time-related to event-related sterility is advocated, the item “Expired expiration date” was maintained, considering Brazil is in a transition process, and many institutions still use the sterilization expiration date recommended by RDC No. 15/2012(9).

This expiration date can aid in managing the stock rather than controlling the healthcare product sterility loss. An inactive product in stock represents a financial resource waste that could be invested in necessary supplies(26). Unnecessary healthcare products processing due to expired expiration dates incurs costs to the institution, staff wear, premature material wear, increased packaging waste, and waste of natural resources such as water and electricity. A study conducted in a tertiary hospital in Goa, India, calculated that the monthly cost of sterilizing expired healthcare products was 8,772 Indian rupees, equivalent to about 105 dollars today(26). Material and human resource management in the CSSD is critical to the health system, as operational excellence directly influences user and patient care. It aligns with sustainable development goals (SDGs), particularly SDG-3 Health and Well-being; SDG-9 Industry, Innovation, and Infrastructure; and SDG-12 Responsible Consumption and Production. Therefore, the “Expired expiration date” item in the AERMS can be used as an indicator of healthcare product turnover based on an inspection protocol implementation.

In the present study, once the instrument was evaluated and consensus reached among experts, it was subjected to a pre-test with a small sample to verify if all items were comprehensible to the target population(12). This is an important research stage applied in recent content validation studies(1, 27) to help researchers identify potential problems or biases during data collection and verify the instrument’s applicability in real life. The pre-test allowed quick AERMS completion with comprehension percentages equal to or higher than 86% for the items, aligning the instrument with the institution’s values and practices. However, participants were found to consult the completion guide less, a separate document, with one copy per sector for consultation. After the pre-test, the authors chose to keep the instructions on the back of the instrument for quick reference as needed.

Therefore, when using the event-related sterility concept, healthcare institutions must establish good practices to ensure the safe handling, transportation, and storage of sterilized healthcare products, ensuring packaging integrity and reducing waste, workload, and costs(7, 26, 28).

Study limitations

A limitation was the authors’ decision not to include cotton fabric due to difficulty controlling its quality specifics, such as mending, number of washes, or others, especially when evaluated by users. Other types of packaging like crepe paper and Tyvek® were not included as they are not used in the institution where the study was developed, although the authors believe the available items in the instrument could also be useful for evaluating these packages.

Contributions to the field of nursing

Considering that maintaining the sterility of healthcare products depends on various factors and that methods to implement this safety principle are still scarce, this study’s contribution was the construction and validation of an instrument to assess events that may compromise packaging integrity. The AERMS can be useful in integrating the packaging integrity evaluation plan and shifting the paradigm from time-related to event-related sterility in clinical practice. This will help managers evaluate their work processes in the CSSD and user units and support healthcare professionals involved in direct care in making decisions about the safe use of healthcare product, contributing to patient safety.

CONCLUSION

The construction and content validation of the “Assessment of Event Related to Maintaining the Sterility of Healthcare Products” (AERMS) instrument for SMS and medical-grade paper packaging followed literature recommendations and is available for use. This instrument aids in managing work processes and decision-making regarding the safe use of healthcare products.

Supplementary Material

0034-7167-reben-77-04-e20240021-suppl01

0034-7167-reben-77-04-e20240021-suppl02

0034-7167-reben-77-04-e20240021-suppl03

0034-7167-reben-77-04-e20240021-suppl04

0034-7167-reben-77-04-e20240021-suppl05

ACKNOWLEDGMENT

Acknowledgment to statistician Henrique Ceretta Oliveira, who greatly contributed for the progress of this research.

AVAILABILITY OF DATA AND MATERIAL https://doi.org/10.25824/redu/KAXNUY

10.1590/0034-7167-2024-0021pt
Artigo Original
Construção e validação de instrumento para esterilidade relacionada a eventos de produtos para saúde processados
https://orcid.org/0000-0002-1084-2290
Vilas-Boas Vanessa Aparecida Iconcepção ou desenho do estudo/pesquisa com a análise e/ou interpretação dos dados e com a revisão final com participação crítica e intelectual no manuscrito *
https://orcid.org/0000-0001-7165-1108
Rondini Louise Assumpção Iconcepção ou desenho do estudo/pesquisa com a análise e/ou interpretação dos dados e com a revisão final com participação crítica e intelectual no manuscrito
https://orcid.org/0009-0006-5559-1604
Czempik Thamiris Cavazzani Vegro IIconcepção ou desenho do estudo/pesquisa com a análise e/ou interpretação dos dados e com a revisão final com participação crítica e intelectual no manuscrito
https://orcid.org/0009-0009-9456-8222
Lorenzetti Ada Helena Melo IIconcepção ou desenho do estudo/pesquisa com a análise e/ou interpretação dos dados e com a revisão final com participação crítica e intelectual no manuscrito
https://orcid.org/0000-0001-6899-082X
Graziano Kazuko Uchikawa IIIconcepção ou desenho do estudo/pesquisa com a análise e/ou interpretação dos dados e com a revisão final com participação crítica e intelectual no manuscrito
https://orcid.org/0000-0002-5830-9989
Dini Ariane Polidoro Iconcepção ou desenho do estudo/pesquisa com a análise e/ou interpretação dos dados e com a revisão final com participação crítica e intelectual no manuscrito
I Universidade Estadual de Campinas. Campinas, São Paulo, Brasil
II Universidade Estadual de Campinas, Hospital da Mulher Prof. Dr. José Aristodemo Pinotti. Campinas, São Paulo, Brasil
III Universidade de São Paulo. São Paulo, São Paulo, Brasil
Autor Correspondente Vanessa Aparecida Vilas-Boas E-mail: vavb@unicamp.br
RESUMO

Objetivo:

Construir e validar instrumento para avaliar evento relacionado à manutenção da esterilidade de produtos para saúde processados.

Métodos:

Estudo metodológico para desenvolver instrumento mediante análise por comitê de juízes. Considerou-se como aspecto norteador a integridade das embalagens mais utilizadas na prática: a de não tecido e a de papel grau cirúrgico. A análise foi realizada pelo Índice de Validade de Conteúdo, Razão de Validade de Conteúdo ≥ 0,80 e Kappa modificado ≥ 0,74. Submeteu-se o instrumento ao pré-teste.

Resultados:

Participaram do comitê de juízes seis profissionais experientes na temática. Após duas rodadas, chegou-se à versão final do instrumento, contendo cinco dimensões. No pré-teste, participaram 30 profissionais de enfermagem, dos quais 86,67% consideraram o instrumento bom; e 90%, compreensível.

Conclusões:

A construção e validação seguiu as recomendações da literatura. O instrumento está disponível para ser utilizado, auxiliando no uso seguro do produto para saúde.

Descritores:

Esterilização
Prazo de Validade de Produtos
Estudo de Validação
Avaliação em Enfermagem
Armazenamento de Produtos
INTRODUÇÃO

As infecções relacionadas à assistência à saúde afetam milhões de pessoas mundialmente, constituindo um problema de saúde pública. Em particular, a infecção de sítio cirúrgico é comum, sendo considerada um evento adverso evitável. Recentemente, a Organização Mundial da Saúde propôs sete objetivos estratégicos para serem alcançados até 2030. Dentre eles, o Objetivo 3 defende garantir a segurança de todos os processos clínicos, os quais envolvem ações de implementação de medidas rigorosas para prevenção e controle de infecções e de segurança no uso de dispositivos médicos(1).

Eventos relacionados à manutenção da esterilidade de produtos para saúde (PPS) são aqueles que podem causar dano à integridade da embalagem ou selagem do produto, decorrente de condições ambientais ou comportamentais adversas de armazenamento(2) Tais danos podem ser prejudiciais, uma vez que predispõem o PPS que será utilizado no paciente à contaminação. Assim, o controle da esterilidade deve ser aprimorado por análise dos eventos ocorridos com o PPS, visto que sua contaminação pode ocorrer a qualquer momento, inclusive imediatamente após o processamento(2, 3, 4), Entretanto, ainda muitas instituições optam por uma data arbitrária para o prazo de validade de esterilização, sem uma avaliação rigorosa e sistemática da ocorrência desses eventos.

O prazo de validade de esterilização de PPS processados pelo Centro de Material e Esterilização (CME) baseou-se historicamente em estudos da década de 1970, com aplicação de testes microbiológicos em produtos esterilizados sob condições adversas de armazenamento. Os autores consideraram que houve contaminação a partir do terceiro dia após esterilização para produtos embalados em tecido simples e 28 dias em tecido dupla camada em prateleiras abertas, com manutenção da esterilidade por 63 dias ou mais quando utilizado saco protetor(5). Somente a partir de 1984, houve a ponderação de que o prazo de validade em estudos anteriores baseou-se no tempo, e não no controle de outras variáveis, como temperatura, umidade, local, transporte, movimentação do ar e embalagem, que são propriedades capazes de contaminar um material(6). Surge, portanto, um conceito sobre a esterilidade relacionada a eventos, que se contrapõe ao paradigma da esterilidade relacionada ao tempo.

Ao longo dos anos, tem sido evidente que o tempo de armazenamento de PPS, desde que dentro das recomendações, não tem efeito sobre a susceptibilidade de contaminação desse material, mesmo que deliberadamente exposto a microrganismos(3, 7). No século XIX, Louis Pasteur comprovou que, em amostras estéreis, só existe a proliferação de microrganismos por meio do contato destes com local já contaminado(8).

Por essa lógica, produtos esterilizados mantidos com embalagem e selagem íntegras permanecem estéreis até que ocorra um evento ou dano à integridade do pacote. Isso porque sistemas de embalagem de esterilização devem promover segurança por meio das seguintes características: barreira à entrada de microrganismos, selagem hermética, proteção do conteúdo do pacote contra danos físicos e resistência às punções e rasgos(7). Como exemplo, embalagens de papel grau cirúrgico e não tecido de spunbond-meltblown-spunbond (SMS) têm sido amplamente utilizadas para esterilização de PPS por apresentar baixo custo, ótima barreira antimicrobiana, alta permeabilidade aos esterilizantes e boa resistência mecânica(7).

O CME é a unidade responsável pelo processamento de PPS, exercendo as seguintes funções: limpeza, inspeção, empacotamento, esterilização e distribuição às unidades assistenciais(9). Porém, ainda que todas as etapas conduzidas dentro do CME atendam aos padrões de qualidade e segurança, a esterilidade do processamento poderá ser comprometida caso as unidades assistenciais não dispensem cuidado no manuseio, transporte e armazenamento e não se atentem à qualidade da selagem e embalagem dos PPS processados(2, 10).

Em um estudo brasileiro feito com 11 hospitais de grande porte, foi evidente o desconhecimento dos profissionais de enfermagem sobre as etapas do processamento do PPS, tipos de embalagens adotadas, cuidados com o armazenamento e regulamentações técnicas(10). Aspectos importantes avaliados por este e outros estudos reforçam que há armazenamento e transporte inadequados de PPS esterilizados, falta de inspeção da embalagem antes do processo de esterilização e antes do uso, ausência de checagem da mudança de coloração do indicador químico de exposição, dentre outros(2, 7, 10).

Portanto, estudos mais recentes referem a perda da esterilidade do PPS a eventos relacionados, e não a uma data específica(2, 3, 7). A Resolução da Diretoria Colegiada (RDC) nº 15/2012, Art. 4, item VII, acata os princípios da esterilidade relacionada a eventos(9). Porém, ao mesmo tempo que descreve a necessidade de um plano de avaliação da integridade das embalagens, não deixa claro como elaborar ou desenvolver esse plano, de modo que não há uniformidade nas condutas das diferentes instituições do país nem dos órgãos de fiscalização de cada região.

Após revisão aprofundada sobre o tema na literatura, verificou-se a ausência de um instrumento válido para avaliar eventos relacionados em embalagens de PPS esterilizados. Considerando que a manutenção da esterilidade depende de diversos fatores e que os meios para implementar esse princípio de segurança ainda são escassos, este estudo construiu e validou o instrumento Avaliação de Evento Relacionado à Manutenção da Esterilidade de Produtos para Saúde (AERMS, do inglês Assessment of Event Related to Maintaining the Sterility). Tal instrumento poderá integrar o plano de avaliação da integridade das embalagens e interromper o uso de PPS em situações de risco, especialmente daqueles críticos utilizados para procedimentos invasivos.

OBJETIVO

Construir um instrumento e validar o conteúdo referente à avaliação de evento relacionado à manutenção da esterilidade de produtos para saúde processados pelo CME, tendo como aspecto norteador a integridade das embalagens de não tecido (SMS) e a de papel grau cirúrgico.

MÉTODOS

Aspectos éticos

O Comitê de Ética em Pesquisa aprovou o presente estudo, que atendeu às recomendações da Resolução nº 466/2012 do Conselho Nacional de Saúde. Os participantes assinaram o Termo de Consentimento Livre e Esclarecido (TCLE) em duas vias.

Desenho, período e local do estudo

Trata-se de um estudo metodológico, que envolve o desenvolvimento de instrumentos. Esse desenho de estudo investiga métodos de obtenção, organização e análise dos dados, com base na elaboração, validação e avaliação de instrumentos e técnicas de pesquisa. Seu relato foi baseado no COnsensus-based Standards for the selection of health Measurement INstruments (COSMIN)(11).

O estudo foi desenvolvido em duas etapas entre outubro de 2021 e dezembro de 2022. A primeira consistiu na construção do instrumento; e a segunda, em sua avaliação por um comitê de juízes para validade de conteúdo(11, 12). O pré-teste foi desenvolvido em um hospital de ensino público, terciário/quaternário, de médio porte, localizado no interior do estado de São Paulo.

População e Critérios de inclusão e exclusão

A população-alvo foi composta por profissionais de enfermagem atuantes no CME e nas unidades usuárias, com amostragem não probabilística e por conveniência. Os critérios são apresentados no Quadro 1.

Quadro 1 Critérios para seleção dos participantes. Brasil, 2021

	- Ser doutor e/ou mestre e/ou especialista na área específica. - Ter experiência prática e/ou ensino e/ou pesquisa de pelo menos três anos de atuação na área específica em território nacional, contemplando diferentes regiões do país, ou em território internacional (requer domínio da língua portuguesa). Além disso, deve preencher ao menos um dos seguintes: - Participar ou ter participado pelo menos dois anos em grupo de pesquisa na área. - Participar de eventos científicos relacionados ao tema. - Ter artigos publicados em revistas de referência.	
CRITÉRIO 2	- Ser enfermeiro e/ou técnico de enfermagem na instituição de estudo. - Ter experiência prática de pelo menos três anos de atuação na área de enfermagem.	

Para a validação de conteúdo, o instrumento construído foi submetido à apreciação de um comitê de juízes na área de interesse, para remoção, modificação ou acréscimo de itens(11). Uma lista de nomes de profissionais com expertise no tema foi feita pela equipe de pesquisa, e a seleção foi realizada por análise do Currículo Lattes. Considerou-se que o comitê seria composto por 5 a 20 juízes; e o pré-teste, aplicado a uma amostra de 30 a 40 indivíduos da população-alvo(12).

Protocolo do estudo

Etapa 1: Construção do instrumento

A construção do instrumento baseou-se na literatura, diretrizes nacionais(13, 14), internacionais(7, 15, 16, 17), Resolução da Diretoria Colegiada – RDC nº 15, de 15 de março de 2012, que dispõe sobre as boas práticas do processamento de produtos para saúde no território nacional(9), formação da equipe de pesquisa, protocolos da instituição, observação in loco dos processos de trabalho e experiência dos profissionais de enfermagem.

Como passo inicial, foi realizada uma busca nas bases de dados Bireme, PubMed, Embase, Cochrane, CINAHL e SciELO, para: a) estabelecer a estrutura conceitual; b) verificar instrumentos existentes; c) definir os objetivos do instrumento; e d) definir a população a ser envolvida, de modo a determinar o constructo de interesse e suas dimensões. Com isso, foram identificados os eventos-chave para composição do instrumento, tendo como princípio PPS embalados em SMS ou papel grau cirúrgico. A partir de então, foram construídos os itens e dimensões, a escala de resposta, a seleção e organização dos itens e a estruturação do instrumento(12).

Uma versão preliminar do instrumento foi criada com auxílio de membros da equipe de enfermagem do CME da instituição onde foi realizado o estudo, utilizando a técnica de brainstorming, também conhecida como “chuva de ideias”, cujo objetivo é estimular a criatividade por meio da geração de um grande número de ideias sobre certo assunto(18, 19). Ao total, foram três sessões de brainstorming, realizadas entre março e abril de 2022.

Em seguida, para verificar se os itens de cada domínio eram apropriados e se o instrumento poderia ser aplicado em diferentes realidades de hospitais públicos e privados, de baixa e alta demandas, foi realizada a validação de face com outras três instituições de saúde, utilizando a estratégia do benchmarking em um grupo focal(20, 21, 22). O grupo focal aconteceu on-line, em uma única sessão, com duração de 60 minutos. As pesquisadoras apresentaram o instrumento aos participantes, depois foi dada a oportunidade para cada um expressar a sua opinião sobre a utilidade do instrumento no contexto do seu hospital, além de esclarecer dúvidas ou sugerir modificações. Com base nas sugestões, obteve-se a primeira versão do instrumento a ser enviada aos juízes. Foi também elaborado um guia de instruções para facilitar o preenchimento do instrumento, contendo as definições de cada um dos itens abordados.

Etapa 2: Validação de conteúdo

Os dados referentes à segunda etapa foram coletados entre junho e dezembro de 2022. A avaliação pelos juízes foi sequencial, individual e anônima, com feedback comentado, sendo o processo repetido até se atingir consenso. A carta-convite foi enviada via e-mail, considerando uma única tentativa de retorno. Foram avaliadas a clareza e pertinência dos itens, a abrangência das dimensões e a aparência geral do instrumento(12). Para avaliá-lo, os juízes utilizaram uma escala tipo Likert de forma crescente, com pontuação de 1 a 4, na qual “1” significa “item não necessário ou não relevante/não claro/não abrangente” e “4” significa “item definitivamente essencial, muito relevante/muito claro/muito abrangente”(20).

Após essa fase, foi realizado o pré-teste para avaliação semântica e prática. Os participantes receberam o instrumento, o guia de preenchimento e um formulário contendo a) dados pessoais para caracterização da amostra; b) avaliação geral sobre o instrumento (bom, regular ou ruim) e se as questões alinham-se com os valores e práticas profissionais na instituição; c) avaliação específica sobre a compreensão das instruções, dos itens do instrumento e das respostas, além de avaliar se cada item era considerado importante ou não; e d) tempo de preenchimento (início/término).

Análise dos resultados e estatística

Os dados foram inseridos em uma planilha no Google Drive; e os resultados, analisados pelos pesquisadores entre cada rodada. Para medir a concordância entre os juízes, foram usados o Índice de Validade de Conteúdo (IVC), Razão de Validade de Conteúdo (RVC) e o coeficiente Kappa (k) modificado, desenvolvido para estudos de validade de conteúdo(21). O IVC/RVC foi calculado pelo número de respostas “3” e “4” dividido pelo número total de respostas, indicando a proporção de juízes concordantes sobre determinados aspectos do instrumento e de seus itens, sendo considerado para este estudo um índice ≥ 0,80(12). Para o k modificado, valores de 0,40 a 0,59 foram considerados razoáveis; de 0,60 a 0,74, bons; e acima de 0,74, excelentes(23).

Os itens que não atingiram a pontuação em ambos os testes foram reformulados ou excluídos, e o instrumento foi submetido à avaliação dos juízes novamente, resultando no instrumento final após a segunda rodada. Para o pré-teste, utilizou-se estatística descritiva por meio de porcentagem, média, mediana, desvio-padrão (DP) e percentis 25 e 75 (Q1 e Q3).

RESULTADOS

A versão preliminar do instrumento foi construída com 51 itens e cinco dimensões: 1) apresentação do produto, 2) evento relacionado, 3) selagem da embalagem, 4) indicador químico e 5) intercorrências.

Para a validação de face, foram convidados quatro enfermeiros de instituições públicas e privadas do estado de São Paulo e um técnico de enfermagem da instituição do estudo. Três enfermeiras compareceram ao grupo focal: uma de hospital privado e uma de hospital público de dois municípios do interior do estado de São Paulo; e uma enfermeira que trabalhava em dois hospitais, sendo um público e o outro privado de um município do estado do Rio de Janeiro. Duas enfermeiras têm especialização em gestão de CME, e uma tem experiência prática em CME superior a três anos, atendendo aos critérios de inclusão.

Após apresentação do instrumento, os participantes julgaram que os itens eram apropriados para avaliar a esterilidade relacionada a eventos de produtos para saúde esterilizados. Para que o instrumento pudesse ser aplicado no dia a dia, segundo a realidade de cada instituição, foi sugerido dividir a avaliação do produto em três sessões: “preparo”, “guarda e distribuição” e “a qualquer momento”, Foi usado o modelo de farol, com as cores verde, amarela e vermelha, respectivamente para cada sessão, dando origem à primeira versão do instrumento (material suplementar).

A validação de conteúdo transcorreu por um período de três meses entre o convite inicial aos juízes e a obtenção de consenso para todos os itens avaliados. A fim de compor o comitê de juízes, foram convidados 25 profissionais considerados elegíveis segundo os critérios estabelecidos. Obteve-se o retorno de dez deles: um recusou e nove aceitaram participar da pesquisa. Dentre os que aceitaram, cinco realizaram a avaliação do instrumento na primeira rodada, com taxa de resposta de 55,56% (5/9). Na segunda rodada, o instrumento reformulado foi entregue a estes cinco juízes, obtendo-se o retorno de quatro. Nesse caso, outros quatro profissionais receberam convite para integrar o comitê de juízes, dos quais um o aceitou. Sendo assim, a taxa de resposta da segunda rodada foi de 83,33% (5/6).

O comitê foi composto por cinco juízes brasileiros e um estrangeiro com domínio da língua portuguesa, sendo três do estado de São Paulo, um do Distrito Federal e dois residentes no exterior. Todos têm pós-graduação: um com título de mestre, dois com título de doutor e três com pós-doutorado. Quanto à área de atuação, três trabalham em órgãos regulamentadores: dois na área de ensino e pesquisa e um na assistência hospitalar, com tempo de experiência de 3 a 35 anos (Média = 17,33; DP = 11,33).

Após a primeira rodada, os itens “Embalagem: simples ou dupla”, “Etiqueta de identificação do preparo: sim ou não”, “O pacote a ser distribuído para as unidades apresenta”, e “Torção” foram excluídos. O item “Rubrica/Carimbo” foi reformulado para “Profissional responsável pela conferência”, O item “Marcações à caneta diretamente na embalagem” atingiu o valor esperado; entretanto, conforme sugestão dos juízes, foi realocado como evento na Dimensão 2, conforme sugestão dos juízes (Tabela 1). Todas as dimensões do instrumento foram consideradas abrangentes (IVC/RVC= 1,00; k modificado = 1,00).

Tabela 1 Análise da primeira rodada do instrumento Avaliação de Evento Relacionado à Manutenção da Esterilidade de Produtos para Saúde. Brasil, 2022

Sessões/Dimensões/Itens	Pertinência	Clareza	
IVC*/RVC†	k‡	IVC*	k †	
Nº ordem	0,80	0,76	0,80	0,76	
PREPARO	1,00	1,00	1,00	1,00	
1. Apresentação do produto	1,00	1,00	0,80	0,76	
Embalagem (simples/dupla)	0,60	0,42	1,00	1,00	
Proteção em caso de PPS§ perfuro cortantes	1,00	1,00	0,80	0,76	
Etiqueta de identificação do preparo contendo: nome do produto, número de peças, data do preparo, presença de indicador e nome do preparador	0,60	0,42	0,80	0,76	
Etiqueta de identificação da esterilização contendo: nome do produto, número de peças, número do lote ou carga, data da esterilização, data-limite de uso, método de esterilização e nome do responsável pela esterilização	0,80	0,76	0,80	0,76	
Marcações à caneta diretamente na embalagem	0,80	0,76	1,00	1,00	
Rubrica/Carimbo	1,00	1,00	0,80	0,76	
Data	1,00	1,00	0,80	0,76	
GUARDA E DISTRIBUIÇÃO	0,80	0,76	1,00	1,00	
2. Evento relacionado	0,80	0,76	1,00	1,00	
O pacote a ser distribuído para as unidades apresenta:	0,60	0,42	1,00	1,00	
Rasgo	0,80	0,76	1,00	1,00	
Corte	0,80	0,76	1,00	1,00	
Torção	0,60	0,42	0,80	0,76	
Furos/Microfuros (olhar contra luz para grau cirúrgico)	1,00	1,00	1,00	1,00	
Manchas na embalagem ou PPS±	1,00	1,00	0,80	0,76	
Umidade na embalagem ou PPS±	1,00	1,00	0,80	0,76	
Sujidade na embalagem ou PPS±	1,00	1,00	0,80	0,76	
3. Selagem da embalagem	1,00	1,00	1,00	1,00	
A selagem apresenta:	0,80	0,76	1,00	1,00	
Falha na aderência	0,80	0,76	0,80	0,76	
3.1. Para papel grau cirúrgico	1,00	1,00	1,00	1,00	
A selagem apresenta:	1,00	1,00	1,00	1,00	
Bolha	1,00	1,00	1,00	1,00	
Delaminação	1,00	1,00	1,00	1,00	
Queimadura	0,80	0,76	1,00	1,00	
Dobra ou Vinco	1,00	1,00	1,00	1,00	
4. Indicador químico	1,00	1,00	0,80	0,76	
Corado	1,00	1,00	0,80	0,76	
Ausente	1,00	1,00	0,80	0,76	
Falha na coloração	1,00	1,00	0,80	0,76	
Rubrica/Carimbo	0,80	0,76	0,80	0,76	
Data	1,00	1,00	1,00	1,00	
5. A qualquer momento	1,00	1,00	0,80	0,76	
Intercorrências	1,00	1,00	1,00	1,00	
Suspeita de que o pacote tenha sido aberto	1,00	1,00	1,00	1,00	
Data-limite de uso expirada	1,00	1,00	1,00	1,00	
Pacote caiu no chão	1,00	1,00	0,80	0,76	
Reavaliação após queda	1,00	1,00	1,00	1,00	
Rasgo	1,00	1,00	0,80	0,76	
Corte	1,00	1,00	0,80	0,76	
Torção	1,00	1,00	0,80	0,76	
Furos/microfuros	1,00	1,00	1,00	1,00	
Manchas	1,00	1,00	1,00	1,00	
Umidade	1,00	1,00	0,80	0,76	
Sujidade	1,00	1,00	1,00	1,00	
Não se aplica	1,00	1,00	0,80	0,76	
Rubrica/Carimbo	0,80	0,76	0,60	0,42	
Data	1,00	1,00	0,80	0,76	
*IVC – Índice de Validade de Conteúdo; †RVC – Razão de Validade de Conteúdo; ‡k – Coeficiente Kappa modificado; §PPS – produto para saúde.

Na avaliação do guia de preenchimento, as dimensões foram analisadas quanto à pertinência, clareza e abrangência (Tabela 2). A avaliação da aparência geral do guia de preenchimento obteve IVC = 0,80 e k modificado = 0,76, considerado excelente.

Tabela 2 Análise da primeira rodada do guia de preenchimento do instrumento Avaliação de Evento Relacionado à Manutenção da Esterilidade de Produtos para Saúde. Brasil, 2022

Dimensões	Pertinência	Clareza	Abrangência	
IVC*/RVC†	k ‡	IVC*	k ‡	IVC*	k ‡	
Apresentação do produto	1,00	1,00	0,80	0,76	0,80	0,76	
Evento relacionado	1,00	1,00	1,00	1,00	1,00	1,00	
Selagem da embalagem	1,00	1,00	1,00	1,00	0,80	0,76	
Indicador químico	1,00	1,00	1,00	1,00	1,00	1,00	
Intercorrências	1,00	1,00	1,00	1,00	1,00	1,00	
*IVC – Índice de Validade de Conteúdo; †RVC – Razão de Validade de Conteúdo; ‡k – Coeficiente Kappa modificado.

Com o reajuste dos itens, o instrumento deixou de ser subdividido em seções, ou seja, a apresentação da segunda versão constou em uma única coluna. Foi adicionado o item “Identificação do produto”, referente ao nome do produto em si ou a qualquer identificação contida na etiqueta, diferente do “Nº ordem”, que remete ao número de avaliações realizadas. Também foi adicionada a orientação “Avalie os itens de 2 a 5. Se identificar qualquer não conformidade, NÃO utilizar o pacote. Devolvê-lo ao CME para ser avaliado”, para nortear o avaliador de como proceder.

Após a formatação do instrumento, com alteração, exclusão e adição de itens, ele foi submetido a uma segunda avaliação pelos juízes, em que todos os itens e a aparência geral do instrumento obtiveram IVC/RVC ≥ 0,80 e k modificado ≥ 0,76, não havendo alteração de seu conteúdo e estrutura (material suplementar).

O pré-teste foi realizado de outubro a dezembro de 2022. Trinta profissionais de enfermagem participaram, sendo que 33,33% informaram ter ensino médio completo; 16,67%, ensino superior completo; e 50%, pós-graduação. Quanto à função na instituição, 56,67% eram técnicos de enfermagem e 43,33% eram enfermeiros, dentre os quais 20% ocupavam cargos na gerência de enfermagem. A média de idade foi de 42,97 anos (DP = 7,34) e do tempo de atuação na profissão foi de 16,03 anos (DP = 6,77). O instrumento foi testado em todo o hospital, sendo 33,33% no CME e 66,67% nas unidades usuárias (bloco operatório, unidades de terapia intensiva, unidade de internação, ambulatório e pronto atendimento), antes do uso do PPS ou em processos de auditoria interna.

O tempo de preenchimento variou de 1 a 13 minutos (Média = 4,33; DP = 2,95; Mediana = 4,00; Q1 = 2,00; Q3 = 5,00). Na avaliação geral do instrumento, 86,67% dos participantes consideraram-no bom, e 90,00% informaram haver alinhamento dele com os valores e práticas profissionais na instituição. Na avaliação específica dos itens, 86,67% concordaram parcialmente (20,00%) ou totalmente (66,67%) com a afirmação de que foi fácil compreender as instruções de preenchimento do instrumento e os itens do instrumento; e 90,00% concordaram parcialmente (26,67%) ou totalmente (63,33%) com a ideia de que foi fácil compreender e assinalar as respostas do instrumento.

Para os itens que os participantes assinalaram ter dificuldades para entender, estão os termos: Número de ordem, Delaminação, Queimadura, Vinco (túnel) e Reavaliação após a queda. Nesse caso, seguindo as sugestões apontadas, o termo “Nº ordem” foi substituído por “Quantidade de avaliações do produto”; em “Reavaliação após a queda”, foi acrescentado “Se sim, fazer a reavaliação após queda”; e, ainda nesse tópico, o item “Não se aplica” foi substituído por “Não houve dano à integridade da embalagem”, Para os demais itens apontados, averiguou-se que os participantes não consultaram o guia no momento do preenchimento.

Após o pré-teste, como não houve alteração no conteúdo, o instrumento não precisou retornar para avaliação dos juízes, sendo o conteúdo considerado válido para avaliação de evento relacionado à manutenção da esterilidade de produtos para saúde (material suplementar).

DISCUSSÃO

As evidências científicas apontam que a esterilidade estará comprometida na ocorrência de eventos que causem dano à integridade da embalagem e da selagem(7, 13, 14, 15, 16, 17). Em formato de checklist, o AERMS é um instrumento que pode ser aplicado a qualquer momento para avaliar a ocorrência de eventos relacionados nos produtos para saúde processados, interrompendo seu uso em situações de risco, especialmente os PPS críticos utilizados para procedimentos invasivos.

Durante a construção do instrumento, a contribuição ativa da equipe de enfermagem objetivou melhorar a aceitabilidade, relevância e a qualidade do que se pretendia avaliar, pois o que os pesquisadores consideram bom não necessariamente corresponde ao que é importante para os usuários do serviço(24). Na área da saúde, o benchmarking é aplicado para medir e comparar resultados de outras instituições, com o intuito de implementar as melhores práticas existentes no mercado(22). Inicialmente o AERMS foi construído para ser usado em diferentes etapas do processamento, desde o preparo do produto até seu uso no paciente, considerando checagens feitas por pessoas diferentes, em momentos diferentes, dentro de um mesmo formulário. Por meio da validação de conteúdo, percebeu-se que essa construção dificultaria sua implementação, além do que, em decorrência da exclusão de alguns itens, não haveria justificativa para manter os momentos de inspeção fragmentados. Em outras palavras, o instrumento pode adequar-se à realidade dos serviços, seja para inspeção dos PPS armazenados no CME ou nas unidades usuárias, seja para fins de auditoria ou em intercorrências com o PPS esterilizado, mas deve principalmente ser incorporado como uma prática rotineira e automática.

A validade de conteúdo é definida como o grau de relevância e representatividade dos itens abordados em relação ao propósito específico do instrumento(21). Para esse tipo de validação, ainda não há consenso na literatura sobre o número de juízes que devem estar envolvidos(1, 25). Porém, há uma recomendação para que haja, no mínimo, cinco pessoas para os procedimentos de análise estatística dos dados, levando-se em conta a característica e número de itens do instrumento, a formação, a experiência e a disponibilidade dos juízes sobre o que se pretende estudar(11, 12). Embora nove pessoas elegíveis tenham aceitado participar do estudo, assinando o TCLE, apenas cinco retornaram com a avaliação do instrumento, sendo que os autores procuraram manter esse limite mínimo estabelecido nas duas rodadas. Ressalta-se que o processamento de produtos para saúde ainda é uma área escassa de especialistas, o que pode justificar a taxa de resposta obtida na avaliação do AERMS para fins de validação de conteúdo neste estudo.

Quanto aos itens excluídos, para “Embalagem: simples ou dupla”, entende-se que, a depender do tipo de embalagem, não é possível ao avaliador distinguir a presença de embalagens primárias e secundárias. Sobre a “etiqueta de identificação do preparo”, não são todos os serviços que adotam essa prática, porém ressalta-se que a RDC nº 15/2012, Art. 85, item VI, traz como obrigatório o nome do responsável pelo preparo(9). O item “O pacote a ser distribuído para as unidades apresenta:” foi excluído pensando na aplicabilidade do instrumento a qualquer momento e não somente no momento da distribuição do produto pelo CME. Já o termo “Torção” foi excluído devido à sua ambiguidade com o conceito de dobra. Sobre esse evento, um estudo desenvolvido na França aponta para o risco de contaminação decorrente da dobra do papel grau cirúrgico na embalagem primária de produtos para saúde armazenados há pelo menos seis meses(4).

No tocante aos itens que permaneceram, houve consenso sobre sua relevância e clareza, principalmente quanto à integridade da embalagem e manutenção da esterilidade. Ressalta-se que, embora seja defendida a mudança de paradigma de esterilidade referente ao tempo para esterilidade relacionada a eventos, o item “Data-limite de uso expirada” foi mantido já que se vivencia no Brasil um processo de transição e muitas instituições ainda utilizam o prazo de validade de esterilização recomendado pela RDC nº 15/2012(9).

Esse prazo pode contribuir para o gerenciamento de estoque em vez do controle da perda de esterilidade do PPS. Um produto que fica inativo em estoque é desperdício de recurso financeiro que poderia ser investido em insumos necessários(26). O processamento desnecessário de PPS devido ao prazo de validade expirado gera custos à instituição, desgaste da equipe, desgaste precoce dos próprios materiais, aumento da quantidade de resíduos de embalagens e desperdício de recursos naturais como água e energia elétrica. Um estudo realizado em um hospital terciário de Goa, na Índia, calculou que o custo total incorrido mensalmente para esterilizar PPS com prazo expirado foi de 8.772 rúpias indianas, o equivalente a cerca de 105 dólares nos dias atuais(26). A gestão de materiais e recursos humanos no CME deve ser considerada como fator crítico no sistema de saúde, pois sua excelência operacional influencia diretamente os atendimentos aos usuários e pacientes. Está ligada aos objetivos do desenvolvimento sustentável (ODS), particularmente à ODS-3 Saúde e Bem Estar; ODS-9 Indústria, inovação e infraestrutura; e ODS-12 Consumo e produção responsáveis. Portanto, no contexto atual, o item “Data-limite de uso expirada” presente no AERMS pode ser utilizado como indicador de rotatividade do PPS, com base na implementação de um protocolo de inspeção.

Uma vez avaliado o instrumento e obtido o consenso entre os juízes, ele foi então submetido ao pré-teste, com aplicação em uma pequena amostra para verificar se todos os itens eram compreensíveis à população-alvo(12). Trata-se de uma etapa importante no processo de pesquisa, que tem sido aplicada em outros estudos recentes de validação de conteúdo(1, 27), pois ajuda os pesquisadores a identificarem potenciais problemas ou vieses durante a obtenção dos dados, assim como atestar a viabilidade de aplicação do instrumento no cotidiano da vida real. O pré-teste permitiu verificar um rápido preenchimento do AERMS, com percentuais de compreensão iguais ou superiores a 86% para os itens, estando o instrumento alinhado com os valores e práticas da instituição. Porém, observou-se que os participantes consultaram pouco o guia de preenchimento do instrumento, que era um documento separado e para o qual foi disponibilizado um exemplar por setor para consulta. Após o pré-teste, os autores optaram por manter as instruções no verso do instrumento, para uma consulta rápida sempre que necessário.

Portanto, ao utilizar o conceito de esterilidade relacionada a eventos, é necessário que as instituições de saúde estabeleçam boas práticas para que os PPS esterilizados sejam manuseados, transportados e armazenados com segurança, garantindo a integridade das embalagens e a diminuição do desperdício, carga de trabalho e custos(7, 26, 28).

Limitações do estudo

Uma limitação do estudo foram os autores optarem por não incluir no instrumento o tecido de algodão, devido à dificuldade no controle de qualidade de suas especificidades, tais como cerzimento, número de lavagens ou outras, especialmente quando da avaliação pelos usuários. Já outros tipos de embalagens como papel crepado e tyvek não são utilizados na instituição onde o estudo foi desenvolvido, portanto não foram avaliados. Contudo, os autores acreditam que os itens disponíveis no instrumento poderão ser úteis para avaliação dessas embalagens também.

Contribuições para a área da Enfermagem

Considerando que a manutenção da esterilidade de um PPS depende de diversos fatores e que os meios para implementar esse princípio de segurança ainda são escassos, o presente estudo teve como contribuição a construção e validação de um instrumento para avaliar a ocorrência de eventos que podem comprometer a integridade das embalagens. O AERMS poderá ser útil para integrar o plano de avaliação da integridade das embalagens e mudar o paradigma de esterilidade relacionada a eventos para a prática assistencial. Isso auxiliará os gestores a avaliarem seus processos de trabalho tanto no CME quanto nas unidades usuárias e apoiará os profissionais de saúde envolvidos na assistência direta para decidir sobre o uso seguro do PPS, contribuindo para a segurança do paciente.

CONCLUSÕES

A construção e validação de conteúdo do instrumento “Assessment of Event Related to Maintaining the Sterility” ou “AERMS”, para as embalagens SMS e papel grau cirúrgico, seguiu as recomendações presentes na literatura e está disponível para ser utilizado. Esse instrumento contribui para auxiliar no gerenciamento do processo de trabalho e na tomada de decisão sobre o uso seguro do produto para saúde.

AGRADECIMENTO

Agradecimentos ao estatístico Henrique Ceretta Oliveira, que muito contribuiu para o andamento desta pesquisa.

DISPONIBILIDADE DE DADOS E MATERIAL https://doi.org/10.25824/redu/KAXNUY

FUNDING

This study received funding from the Institutional Scientific Initiation Scholarship Program (PIBIC/CNPq).

EDITOR CHEFE :Antonio José de Almeida Filho

EDITOR ASSOCIADO: Hugo Fernandes

FOMENTO

Este projeto recebeu fomento do Programa Institucional de Bolsas de Iniciação Científica (PIBIC/CNPq).
==== Refs
REFERENCES

1 World Health Organization (WHO) Global Patient Safety Action Plan 2021-2030: Towards eliminating avoidable harm in health care [Internet] Genebra WHO 2021 cited 2023 Dec 14 Available from: https://www.who.int/teams/integrated-health-services/patient-safety/policy/global-patient-safety-action-plan
2 Freitas LR Tipple AFV Pires FV Melo DS Spagnoli JLU (Lack of) care for sterilized healthcare products during transport to and storage in inpatient units Texto Contexto Enferm 2015 24 1 253 262 10.1590/0104-07072015003550013
3 Moriya GA Souza RQ Pinto FM Graziano KU Periodic sterility assessment of materials stored for up to 6 months at continuous microbial contamination risk: laboratory study Am J Infect Control 2012 40 10 1013 1015 10.1016/j.ajic.2012.01.020 22632824
4 Leguay Z Figueiredo E Ervillus L Jacques-Terracol V Le Verger M Study of the deadlines for the use after sterilization of hot-sealable bags and sheaths Ann Pharm Fr 2018 76 4 321 333 10.1016/j.pharma.2018.01.003 29478716
5 Standard PG Mackel DC Mallison GF Microbial penetration of muslin- and paper-wrapped sterile packs stored on open shelves and in closed cabinets Appl Microbiol 1971 22 3 432 437 10.1128/am.22.3.432-437.1971 5119207
6 Mayworm D Sterile shelf life and expiration dating J Hosp Supply Process Distrib [Internet] 1984 2 6 32 35 cited 2023 Jan 12 Available from: https://pubmed.ncbi.nlm.nih.gov/10269453/.
7 Link T Guideline in practice: sterilization packaging systems AORN J 2020 112 3 248 260 10.1002/aorn.13150 32857412
8 Diniz GK Hidalgo JM Spontaneous generation: the controversy between Pasteur and Pouchet in the classroom Hist Ciênc Ensino [Internet] 2021 24 85 111 cited 2023 Jan 14 Available from: https://revistas.pucsp.br/index.php/hcensino/article/view/54585
9 Ministério da Saúde (BR) Resolução da Diretoria Colegiada – RDC nº 15, de 15 de março de 2012. Dispõe sobre requisitos de boas práticas para o processamento de produtos para saúde e dá outras providências [Internet] Brasília 2012 cited 2021 Apr 15 Available from: https://bvsms.saude.gov.br/bvs/saudelegis/anvisa/2012/rdc0015_15_03_2012.html
10 Oliveira A Mussel I Paula A Storage of sterile products in healthcare units: a descriptive study Rev SOBECC 2014 19 4 188 194 10.5327/Z1414-4425201400040003
11 Terwee CB Prinsen CAC Chiarotto A Westerman MJ Patrick DL Alonso J COSMIN methodology for evaluating the content validity of patient-reported outcome measures: a Delphi study Qual Life Res 2018 27 5 1159 1170 10.1007/s11136-018-1829-0 29550964
12 Coluci MZO Alexandre NMC Milani D Construction of measurement instruments in the area of health Ciênc Saúde Coletiva 2015 20 3 925 936 10.1590/1413-81232015203.04332013
13 Sociedade Brasileira de Enfermeiros de Centro Cirúrgico Recuperação Anestésica e Centro de Material e Esterilização Diretrizes de práticas em enfermagem cirúrgica e processamento de produtos para a saúde 8ª São Paulo SOBECC 2021
14 Associação Paulista de Epidemiologia e Controle de Infecção Relacionada à Assistência à Saúde Limpeza, desinfecção e esterilização de produtos para saúde 4a São Paulo APECIH 2021
15 Association for the Advancement of Medical Instrumentation Comprehensive guide to steam sterilisation and sterility assurance in health care facilities American National Standard ANSI/AAMI ST79:2017/A1 2020
16 Rutala WA Weber DJ the Healthcare Infection Control Practices Advisory Committee Guideline for disinfection and sterilisation in healthcare facilities 2008 [Internet] Washington DC CDC 2019 cited 2023 Mar 3 Available from: https://stacks.cdc.gov/view/cdc/47378
17 World Health Organization (WHO) Pan American Health Organization (PAHO) Decontamination and reprocessing of medical devices for health care facilities [Internet] Geneva WHO 2016 cited 2023 Mar 3 Available from: https://www.who.int/publications/i/item/9789241549851
18 Corrêa LVM Aragão BD Sarmento IG Machado PRG Rocha ACR Brainstorming: information sharing – An Experience Report Report Braz J Health Rev 2021 4 5 22799 22806 10.34119/bjhrv4n5-369
19 Santo JAE Zocratto KBF Ferramentas da qualidade nos processos gerenciais de serviços de saúde Rev Remecs 2020 5 9 62 67 10.24281/rremecs2020.5.9.62-67
20 Dalawi I Isa MR Chen XW Azhar ZI Aimran N Development of the Malay Language of understanding, attitude, practice and health literacy questionnaire on COVID-19 (MUAPHQ C-19): content validity & face validity analysis BMC Public Health 2023 13;23 1 1131 1131 10.1186/s12889-023-16044-5
21 Yusoff MSB ABC of content validation and content validity index calculation Educ Med J 2019 11 2 49 54 10.21315/eimj2019.11.2.6
22 Willmington C Belardi P Murante A.M Vainieri M The contribution of benchmarking to quality improvement in healthcare: a systematic literature review BMC Health Serv Res 2022 22 139 10.1186/s12913-022-07467-8
23 Fleiss JL Levin B Paik MC Statistical methods for rates and proportions 3rd Hoboken, NJ John Wiley & Sons, Inc 2003 10.1002/0471445428
24 Conell J Carlton J Grundy A Buck ET Keetharuth AD Ricketts T The importance of content and face validity in instrument development: lessons learnt from service users when developing the Recovering Quality of Life measure (ReQoL) Qual Life Res 2018 27 7 1893 1902 10.1007/s11136-018-1847-y 29675691
25 Fernández-Gómez E Martín-Salvador A Luque-Vara T Sánchez-Ojeda MA Navarro-Prado S Enrique-Mirón C Content Validation through Expert Judgement of an Instrument on the Nutritional Knowledge, Beliefs, and Habits of Pregnant Women Nutrients 2020 12 4 1136 1136 10.3390/nu12041136 32325669
26 Da Cruz AR Aileen J. Optimisation of Processes by Recommending Cost Reduction Strategies in Central Sterile Supply Department (CSSD) in a Tertiary Care Hospital J Health Manag 2022 24 2 203 212 10.1177/09720634221088062
27 Luque-Vara T Linares-Manrique M Fernández-Gómez E Martín-Salvador A Sánchez-Ojeda MA Enrique-Mirón C Content Validation of an Instrument for the Assessment of School Teachers’ Levels of Knowledge of Diabetes through Expert Judgment Int J Environ Res Public Health 2020 17 22 8605 8605 10.3390/ijerph17228605 33228161
28 Link T Guideline Implementation: Sterilization AORN J 2019 109 772 782 10.1002/aorn.12668 31135984
