There are common psychometric issues in self-assessment questionnaires:  Personal bias, answer style, and inconsistency.  Steps have been taken to insulate the SEI scores from these obscuring influences:

• Image AddedPersonal bias: the SEI has been tested to consider the effects of these biases by utilizing a “positive impression” scale. To a very large extent, the SEI functions effectively without correction. However, the Positive Impression factor is reported on the data sheet to provide useful insight to a SEI Assessor interpreting SEI results.
• Answer style: Another common psychometric issue is that different people assign a Likert scale (e.g., 1-5) with different meanings.  Some rarely use extremes, others “always leave room for improvement.”  To compensate for these differences, the SEI includes an Answer Style index.
• Inconsistency: some test takers are inconsistent in their answers which can reveal a lack of understanding or a lack of focus.  These can reduce the value of the results.  The SEI includes a test of consistency that also evaluates completion time.

These three indices and "Mood Detection" are presented in the SEI Data Sheet that accompany the full SEI Reports (see sample to the right). The corrective factors apply to all versions of SEI, and are explained in more detail below.

ANSWER STYLE INDEX (AS)

There is a well known issue with Likert Scales, some people use a more “modest” approach (e.g., rarely using a 5/5) while others rarely use the middle (e.g., 3/5).^[1] To compensate, this index adjusts the scores based on the frequency of answers rated 1 or 5 (ie, more extreme answers). Answer Style is calculated through a complex algorithm that examines the test-taker’s use of the Likert Scale and the frequency of using 1s, 2s, 3s, etc. compared to the normative sample.  The graph to the right shows the distribution of Answer Style versus uncorrected EQ scores, revealing a biasing effect of Answer Style — which is corrected by this index.

Image Added

Discussion About Answer Style

There are many influences on how people take a self-report tool — how they are feeling that day, etc. One is “Answer Style.” Some people approach a five-point Likert scale with more positive self-statements, where others are more modest – some use primarily positive ratings, some use primarily negative ratings, some rarely use extremes, etc.  In addition, there appears to be a cultural bias to Answer Style.^[2] We’ve accounted for this known psychometric issue and adjusted the scoring to remove this obscuring influence.

The AS checks for the style of answering — someone who gives a lot of 5s and/or 1s, will get a high AS. The calculation for AS is complex; the EQ scores are adjusted slightly differently based on the mean answer style for each language/country, but the range for the international sample is from - 4% to + 6%. To check the corrections country by country, click the following link: http://6sec.org/seivs and look at the worksheet named “Answer Style Correction.”

From an interpretation point of view, practitioners can, generally, accept this correction as-is. The purpose is to improve the accuracy of the SEI, but this data also provide valuable perspective on the client and the context in which s/he may be using EQ.

Image Added

RELIABILITY OF THE SEI SCORES

The reliability of the SEI questionnaire is further tested through 3 indicators:

1. Positive Impression Index
2. Consistency Index (including two tests for random answering and density of answers)
3. Completion Time

These are described on the following pages.

These three tests are used to create an overall score called the “Overall Reliability Index.” This score shows on the Data Sheet as Red (possibly invalid), Yellow (out of norm), or Green (in normal range). This test provides important insight about the reliability of the results.

The overall reliability index will be:

RED if there is at least one indicator (above) that scores in the Red zone

GREEN if two or more of the indicators are Green and none are Red

YELLOW if two or more indicators are Yellow and none are Red

If the Overall Reliability Index is Red, it means that the results may not be valid because one or more of the validity indicators is far outside the normal range. In this case, we recommend that the EQ Assessor speak with the test taker and request s/he repeat the assessment.

In this rare case, even if the project is set to deliver the assessment directly to the test taker, the project system will block the report delivery and the SEI Assessor will be notified by email:

Dear SEI Assessor,

You've received an error on Report for Client: [Test_Taker_Name_Surname] <[Test_Taker_Email]>

Project: [Project_Name]

The SEI resulted "unreliable" This means that the profile could be invalid (see below).

The Report was calculated and is available for you to download from quest.6seconds.it -- but not sent to test taker. Note that your account was not charged for this assessment -- so you have the freedom to re-administer the questionnaire.

* Explanation *

The SEI includes a Reliability Index including several tests such as consistency and time for completion.  This helps ensure the test-taker is paying attention, understanding the questionnaire, and maintaining focus. If there are too many items that are out of the normal range, the system identifies this as an "unreliable" profile and this email is generated. (See the Technical Manual for more detail on this feature.)

We suggest you encourage your client to re-take the questionnaire. (Alternately, you may choose to download the report and email it to the test-taker.)

POSITIVE IMPRESSION (PI)

Positive impression is derived from a scale of six items that are included in the questionnaire. The PI scale is designed to measure the inclination to have an exaggerated view (representing either a negative or positive bias). The score on these six items is compared to the normative score, and the amount of difference between the PI score and the mean score determines one of the following labels in the data sheet: very low, low, average, high, or very high positive impression.

Discussion About Positive Impression

The Positive Impression (“PI”) scale asks questions such as, “I never have bad days.” Answers to these questions create a sort of "rose colored glasses meter." Someone with a “high” PI is wearing “rose colored glasses.”  For someone with a “very high” PI the glasses are quite intense.  The assessor can use this information to understand how this person falls in a continuum from a very negative self-impression (under-evaluation) to a very positive self-impression (over-evaluation).  Someone who scores “very low,” for example, could have unrealistically negative view of her/himself and maybe s/he using gloomy glasses!

Very high PI can be an indicator that the test-taker is attempting to manipulate the test results (though it could also signify very high confidence, or a blissful disregard to challenges). Very low PI can be an indicator of low self-esteem.

This consideration is the reason why the positive impression feedback is included in the Overall Reliability Index. In case of very high PI, a red light will appear in the data sheet. In case of Very Low, Low or High, a yellow light appears in the data sheet. In case of Average, green light.

CONSISTENCY ANSWERS (CA)

The consistency index evaluates the frequency of answer choices that the test-taker uses in the 5-point Likert Scale (e.g, “I Agree,” “I Disagree”). This evaluation is based on the elaboration of two indicators:

1. DENSITY INDICATOR - how often does the person use option 1, 2, 3, 4, or 5? Their frequency is compared to the international standard. If one or more options is significantly over-used, the system identifies a potential problem.

2. RANDOM INDICATOR - this test compares way the test taker answers every item with  the international standard. If they follow a random pattern in answering, the system detects a potential problem. To increase accuracy, this indicator is also linked to completion time to make the final random feedback more accurate.

These indicators are summarized in a single CA index, reported in the Data sheet through 3 lights:

Red Light - Low Consistency (problems in one or both indicators)

Yellow Light - Moderate Consistency (potential problem in the random index)

Green Light - High Consistency (both indicators in a normal range)

Discussion About Consistency Answers

Consistency can be a sign of focused attention while taking the SEI.  In the case of a “Red Light,” the SEI Assessor should assess the individual situation.  We suggest asking the test-taker, “What was it like for you to take the SEI?”  The answers might reveal:

• The situation was chaotic or distracting.  Recommendation: Set aside 10 minutes of quiet time to retake the SEI.
• The test-taker did not understand the questionnaire.  Recommendation: Check if the questionnaire should be administered in another language, or of the test-taker should have someone assisting her/him while re-taking.
• The test-taker has a tendency to be inconsistent.  Recommendation: The SEI may be accurate as-is.

COMPLETION TIME (CT)

As in the other SEI indices, the individual test-taker’s behavior is compared to a large international sample; typically individuals take around eight minutes to complete the SEI. If completion time is unusually fast or slow, it’s a signal of a potential issue.  The completion time index is calculated based on main questionnaire, starting after the personal data page, and ending before the final, optional, mood question.

If the completion time is:

Extremely short: Red Light

Short: Yellow Light

Average: Green Light

Long: Yellow Light

MOOD DETECTION

SEI 4.0 (launched August 2015) includes a final optional question. This question helps the EQ Assessor have a better sense of the test-taker’s current situation. In addition, Six Seconds uses this data for research about the relation between EQ competences and mood.

The mood model starts by asking the test taker to choose one of eight basic emotions.^[3] Next, the test-taker is asked to clarify the intensity level of their mood via one of three options (for each of the eight):

This final question is optional.

Escalas de Corrección y Confiabilidad de SEI

Existen problemas psicométricos comunes en los cuestionarios de auto-evaluación: sesgo personal, estilo de respuesta e inconsistencia. En el caso del SEI, se han tomado medidas para corregir la influencia de estos problemas en las puntuaciones:

 

Image Added

• Sesgo personal: SEI ha sido diseñado para considerar los efectos de estos sesgos mediante el uso de una escala de "impresión positiva" escala. En gran medida, el SEI funciona efectivamente sin corrección. Sin embargo, el factor de impresión positiva se agrega a la Hoja de Datos (Data Sheet) para proporcionar información útil a un asesor de SEI que interpreta los resultados de SEI.

• Estilo de respuesta: Otro problema psicométrico común es que diferentes personas asignan diferentes significados a una escala de Likert (por ejemplo, 1-5). Algunos raramente usan extremos, otros "siempre dejan margen para mejorar". Para compensar estas diferencias, el SEI incluye un índice de estilo de respuesta.

• Inconsistencia: las inconsistencias en las respuestas de algunas personas pueden revelar una falta de comprensión o una falta de enfoque. Esto puede reducir el valor de los resultados. El SEI incluye una prueba de consistencia que también evalúa el tiempo de finalización.

Estos tres índices y "Detección del estado de ánimo" (Recent Mood) se presentan en la Hoja de Datos de SEI que acompaña a los Informes SEI completos (ver muestra a la derecha). Los factores correctivos se aplican a todas las versiones de SEI, y se explican con más detalle a continuación.

ÍNDICE DE ESTILO DE RESPUESTA (AS)

Existe un problema bastante conocido con las escalas de Likert y consiste en que algunas personas usan un enfoque más "conservador" (por ejemplo, raramente usando un 5/5) mientras que otros raramente usan el medio (por ejemplo, 3/5). Para compensar, este índice ajusta las puntuaciones basadas en la frecuencia de respuestas con una puntuación de 1 o 5 (es decir, respuestas más extremas). El Estilo de Respuesta se calcula a través de un algoritmo complejo que examina el uso de la Escala de Likert por el participante y la frecuencia de usar 1s, 2s, 3s, etc. en comparación con la muestra normativa. El gráfico de la derecha muestra la distribución del Estilo de Respuesta versus las puntuaciones de EQ sin corregir, revelando un efecto de sesgo del Estilo de Respuesta - que es corregido por este índice.

Image Added

Discusión Acerca del Estilo de Respuesta

Muchos factores influencian la manera cómo las personas responden a una herramienta de auto-reporte: cómo se sienten ese día, etc. Uno es de esos factores es el "estilo de respuesta". Algunas personas se acercan a una escala Likert de cinco puntos con afirmaciones de naturaleza más positiva, mientras que otras son más conservadoras - algunos usan principalmente las calificaciones positivas, algunos utilizan principalmente las calificaciones negativas, algunos usan raramente los extremos, etc. Además, parece haber un sesgo cultural al estilo de la respuesta. [2] Por tanto, teniendo en cuenta este conocido problema psicométrico, hemos ajustado el puntaje para eliminar esta posible influencia.

El Indice de Estilo de Respuesta (AS) comprueba el estilo de respuesta - por ejemplo, alguien que escoge muchos 5s y / o 1s, obtendrá un alto AS. El cálculo para AS es complejo; los puntajes de EQ se ajustan de forma ligeramente diferente en función del estilo de respuesta promedio para cada idioma / país, pero el rango para la muestra internacional es de - 4% a + 6%. Para comprobar las correcciones país por país, haga clic en el siguiente enlace: http://6sec.org/seivs y consulte la hoja de cálculo denominada "Estilo de Respuesta para Corrección".

Desde el punto de vista de la interpretación, los practicantes pueden, en general, aceptar esta corrección tal y como se presenta. El propósito es mejorar la precisión del SEI, y considerar que estos datos también proporcionan valiosa perspectiva sobre el cliente y el contexto en el que puede estar utilizando EQ.

CONFIABILIDAD DE LAS PUNTUACIONES DEL SEI

Image Added

La confiabilidad del cuestionario SEI se comprueba a través de 3 indicadores:

1. Índice de impresión positiva
2. Índice de coherencia (incluyendo dos pruebas de respuesta aleatoria y densidad de respuestas)
3. Tiempo de finalización

Estos se describen en las páginas siguientes.

Estas tres pruebas se usan para crear una puntuación general denominada "Índice de confiabilidad global". Esta puntuación aparece en la hoja de datos con los colores: Rojo (posiblemente no válida), Amarillo (fuera de norma) o Verde (en rango normal). Esta prueba proporciona información importante sobre la confiabilidad de los resultados.

El índice general de confiabilidad será:

ROJO si hay al menos un indicador que marca en la zona roja

VERDE si dos o más indicadores son verdes y ninguno rojo

AMARILLO si dos o más indicadores son Amarillo y ninguno es Rojo

Si el Índice de Confiabilidad Global es Rojo, significa que los resultados pueden no ser válidos porque uno o más de los indicadores de validez está muy lejos del rango normal. En este caso, recomendamos que el EQ Assessor hable con el participante y solicite que repita la evaluación.

En este caso aislado, incluso si el proyecto está preparado para entregar la evaluación directamente al participante, el sistema del proyecto bloqueará la entrega del informe y el Asesor SEI será notificado por correo electrónico:

Estimado Asesor de SEI,

Ha recibido un error en el Reporte del Cliente: [Participante_Nombre_Apellido] <[Participante_Email]>

Proyecto: [Nombre_Proyecto]

El SEI resultó "poco confiable" Esto significa que el perfil podría ser inválido (véase más adelante).

El informe se calculó y está disponible para su descarga desde quest.6seconds.it - pero no se ha enviado a la persona que tomo la evaluación. Considere que no se ha cobrado por esta evaluación en su cuenta, por lo que tiene la libertad de volver a administrar el cuestionario.

* Explicación *

El SEI incluye un índice de confiabilidad que incluye varias pruebas tales como la consistencia y el tiempo para la finalización. Esto ayuda a asegurar que la persona tomando la evaluación preste atención, entienda el cuestionario y mantenga el enfoque. Si hay demasiados elementos que están fuera del rango normal, el sistema identifica esto como un perfil "poco confiable" y se genera este correo electrónico. (Consulte el Manual Técnico para obtener más detalles sobre esta función.)

Le sugerimos que aliente a su cliente a volver a tomar el cuestionario. (Alternativamente, puede optar por descargar el informe y enviarlo por correo electrónico al evaluador).

IMPRESION POSITIVA (PI)

La impresión positiva se deriva de una escala de seis ítems que se incluyen en el cuestionario. La escala de PI está diseñada para estimar la inclinación hacia una vision exagerada de las personas que responden el cuestionario (que representa un sesgo negativo o positivo). La puntuación de estos seis ítems se compara con la puntuación normativa y la cantidad de diferencia entre la puntuación de PI , siendo la puntuación media determinante incluida en la hoja de datos: impresión positiva muy baja, baja, media, alta o muy alta.

Discusión Acerca de la Impresión Positiva

La Escala de Impresión Positiva ("PI") plantea preguntas como "Nunca tengo días malos". Las respuestas a estas preguntas crean una especie de "medidor de gafas de color rosa".

• Alguien con un "alto" PI está usando "cristales color de rosa" para responder a las preguntas del cuestionario. Para alguien con un "muy alto" PI las gafas son bastante intensas. El asesor puede usar esta información para entender en donde se ubica esta persona en su manera de responder: desde una auto-imagen muy negativa (sub evaluación) hasta una auto-imagen muy positiva (sobre evaluación). ¡Alguien que califica "muy bajo", por ejemplo, podría tener una visión negativa realista de sí misma y tal vez estar usando gafas demasiado sombrías!

• Por otro lado, un "PI" muy alto puede ser un indicador de que la persona está intentando manipular los resultados de la prueba (aunque también podría significar una confianza muy alta, o falta de preocupación o interés ante los desafíos). Un IP muy bajo puede ser un indicador de baja autoestima.

Esta lógica de análisis es la razón por la cual la retroalimentación de impresión positiva está incluida en el Índice de Confiabilidad Global. En el caso de un PI muy alto, aparecerá una luz roja en la hoja de datos. En caso de muy baja, baja o alta, aparece una luz amarilla en la hoja de datos. En caso promedio, luz verde.

INDICE DE CONSISTENCIA DE LAS RESPUESTAS (CA)

El índice de consistencia evalúa la frecuencia de las opciones de respuesta que la persona utiliza en la escala de Likert de 5 puntos (por ejemplo., "Acepto", "No estoy de acuerdo").

Esta evaluación se basa en la elaboración de dos indicadores:

1. INDICADOR DE DENSIDAD - ¿con qué frecuencia utiliza la persona las opciones 1, 2, 3, 4 o 5? Su frecuencia se compara con la norma internacional. Si una o más opciones se sobre extienden significativamente, el sistema identifica un problema potencial.

2. INDICADOR ALEATORIO - esta prueba compara la manera en que la persona responde a cada artículo con el estándar internacional. Si se sigue un patrón aleatorio al contestar, el sistema detecta un problema potencial. Para aumentar la precisión, este indicador también está vinculado al tiempo de finalización para hacer que la retroalimentación aleatoria final sea más precisa.

Estos indicadores se resumen en un único índice de AC, que se presenta en la hoja de datos a través de 3 luces de colores:

Luz Roja - Baja Coherencia (problemas en uno o ambos indicadores)
Luz Amarilla - Consistencia moderada (problema potencial en el índice aleatorio)
Luz Verde - Alta Consistencia (ambos indicadores en un rango normal)

Discusión sobre el Indice de Consistencia en las Respuestas

La consistencia puede ser considerada una señal de que la persona tomando el SEI estaba enfocada en responder el cuestionario.

En el caso de una "luz roja", el asesor de SEI debe evaluar la situación individual. Sugerimos que le preguntemos a la persona tomando la prueba, "¿En que situación respondiste el cuestionario SEI?" Las respuestas podrían revelar:

• La situación era caótica o perturbadora. Recomendación: Reserve 10 minutos de tiempo tranquilo para volver a tomar el SEI.
• La persona no entendió el cuestionario. Recomendación: Compruebe si el cuestionario debe ser administrado en otro idioma, o si esta persona debe tener a alguien que lo ayude durante la re-toma.
• Esta persona tiene una tendencia a ser inconsistente. Recomendación: El SEI puede ser exacto en estas circunstancias.

TIEMPO DE FINALIZACION (CT)

Al igual que en los otros índices SEI, se compara el comportamiento persona individual tomando el SEI con una gran muestra internacional; Típicamente las personas toman alrededor de ocho minutos para completar el SEI. Si el tiempo de finalización es inusualmente rápido o lento, es una señal de un problema potencial. El índice de tiempo de finalización se calcula sobre la base del cuestionario principal, comenzando después de la página de datos personales y finalizando antes de la pregunta final de humor opcional.

Si el tiempo de finalización es:

• Extremadamente corto: Luz roja
• Corto: Luz amarilla
• Promedio: Luz verde
• Largo: Luz amarilla

DETECTOR DE ESTADO DE ANIMO

SEI 4.0 (disponible a partir de agosto del 2015) incluye una pregunta opcional al final del cuestionario. Esta pregunta ayuda al Asesor EQ a obtener una idea más clara de la situación actual de la persona tomando la prueba. Además, Six Seconds utiliza estos datos para investigar la relación entre las competencias de EQ y el estado de ánimo.

El modelo del estado de ánimo comienza pidiendo al examinador que elija una de ocho emociones básicas. [3] A continuación, se le pide a la persona que aclare el nivel de intensidad de su estado de ánimo mediante una de tres opciones (para cada una de los ocho):

La pregunta final es opcional.