The Pennsylvania State University  The Graduate School  College of Public Affairs  EVALUATION OF STRATEGIC LEADER COGNITIVE  DEVELOPMENT  THROUGH DISTANCE EDUCATION  A Thesis in  Public Administration  by  Susan R. Myers  Copyright 2007 Susan R. Myers  Submitted in Partial Fulfillment  of the Requirements  for the Degree of  Doctor of Philosophy  May 2007 ii  The thesis of Susan R. Myers was reviewed and approved* by the following:  James T. Ziegenfuss  Professor of Management and Health Care Systems  Thesis Advisor  Chair of Committee  Steven A. Peterson  Professor of Politics and Public Affairs  Director, School of Public Affairs  Robert F. Munzenrider  Associate Professor of Public Administration  Steven A. Melnick  Associate Professor of Education  *Signatures are on file in the Graduate School. iii  Abstract  This study investigates the effects of graduate level distance education in the  cognitive development of strategic level leaders.  Strategic leaders as public  administrators use cognitive skills to provide vision, direction, and purpose for  organizational development.  Distance education programs contribute to strategic  leader cognitive development with minimal disruption to their professional and  personal environment since the curriculum is accessible through online delivery  means.  Both quantitative and qualitative measures such as a survey instruments, focus  groups, and individual interviews were used to evaluate leader cognitive development  through distance education.  Senior military officers enrolled in the U.S. Army War  College (USAWC) Class of 2007 Distance Education Program completed the  Modified Career Path Appreciation (MCPA) survey instrument at the beginning and  the end of the first year of the program.  The MCPA survey quantitatively and  qualitatively measured respondent preference for differing levels of cognitive  complexity.  The MCPA survey is based on Elliot Jaques’ Stratified Systems Theory (SST)  that links cognitive capability to strategic, general, and production levels of  leadership.  The MCPA survey predicts strategic leader potential providing there is no  intervention in the cognitive growth over time.  This study incorporated a paired t­  test, and correlation analysis to evaluate changes in the respondents’ level of  cognitive complexity as a result of completing the first year of the distance education  program.  The quantitative and qualitative data indicated there was significant increase  in leader cognitive development for respondents that completed the first year of the  distance education program.  The data indicated that online networks, application of  the program material to the respondents’ experience, and discourse through the  forums supported leader cognitive development.  USAWC provides instruction for  over 300 senior leaders each year through distance education.  This study contributes to the body of public administration theory and practice  by demonstrating that leaders develop strategic level cognitive skills through distance  education programs.  These findings are important to officials who are considering  the role of distance education in the professional development of future strategic level  leaders in public administration.  Further research is needed to determine how  distance education programs can be used more effectively for leader cognitive  development. iv  Table of Contents  List of Figures……………………………………………………………………vi  List of Tables…………………………………………………………………….vii  Acknowledgements………………………………………………………………viii  Chapter 1. Introduction………..…….……..………………………..…..1  Strategic Leader Development through Distance Education  Cognitive Development of Military Leaders through Distance Education  Purpose and Overview of Study  The Organizational Setting  Conclusion  Chapter 2. Literature Review and Conceptual Framework …...……..….......23  Overview of Leadership Theory  Characteristics of Strategic Leader Cognitive Development  Strategic Leader Development as an Open System  Roles of Strategic Leaders in Organizations  Stratified Systems Theory (SST): A Strategic Leadership Model  Conclusion  Chapter 3. Methodology……..……………………………….….......…..62  Overview of Army War College Distance Education Program  Distance Education System and Evaluation Requirements  Research Question  Participants and Instruments  Research Procedures  Limiters and Delimiters of this Study  Conclusion  Chapter 4. Results and Analysis………………………………..…….……….…95  Overview of Study Results and Analysis  Demographical Data  Quantitative and Qualitative Data Results and Analysis  Analysis of Control Group  Triangulation of the Data  Analysis of Data Using an Organizational Subsystems Model  Conclusion  Chapter 5. Recommendations and Conclusion..……………………………....138  Overview of Study Recommendations and Conclusion  Contributions of Study to Leadership Theory and Practice  Summary of Findings  Recommendations for Future Research  Concluding Remarks v  Appendix A.  Research Instruments………………………………………...….162  Modified Career Plan Appreciation Survey  Focus Group/Interview Questions and Reporting Format  Appendix B. IRB Approval ………………………………………….………….176  Appendix C. Approval for Use of MCPA Survey Instrument (Stamp personal  correspondence, 2005) ……………………………….…………………………..178  Appendix D. Data Tables ………………………………………………………..179  References……………………………………………………….……….…….…192 vi  List of Figures  1.1  Model of Strategic Leader Development through Distance Education……...16  2.1  Strategic Leader Characteristics and Performance: A Research Model .……38  2.2  Open Systems of Strategic Leader Cognitive Development through Distance  Education ……………………………………………………………………….…...40  2.3  Organizational Subsystems that Impact Strategic Leader Cognitive  Development through Distance Education ……………………………………...…..42  4.1  A Model of Organizational Subsystems that Affect Strategic Leader Cognitive  Development through Distance Education ………………………………………...126  5.1  A Model of How Distance Education Contributes to Strategic Leader  Cognitive Development…………………………………………………………….145 vii  List of Tables  2.1  Doctrinal Leadership Framework of Competencies by Leadership Levels.…29  2.2  Comparison of Leadership Models…………………………………….…….31  2.3        Leader Development Model ………………………………………………..47  2.4  Institutional Stratums of Leadership Domain and Responsibility……….…..52  .  2.5  Institutional Stratums of Leadership Domain ………..…………….….……55  3.1  Department of Distance Education Curriculum Schedule…………………...67  3.2  Summaries of MCPA Survey, Focus Groups and Interview Protocol……….71  3.3  Overview of Study Instruments and Data Sources………………….……….76  3.4  MCPA Survey Responses to Levels of Organizational Leadership..………..79  3.5  Comparison of MCPA, Focus Group, and Interview Protocol………………84  3.6  Research Design Milestones…………………..………………..…….…...…89  3.7  Administration of Focus & Individual Interviews…………….……………..91  4.1  Demographics of the Treatment and Control Group…......……..…….……..99  4.2  Correlation Analysis of Demographic Factors……………..………………101  4.3  Summary of MCPA Survey Pre and Post Test Treatment Group  ……..….107  4.4  Summary of MCPA Phrase Sets for the Control Group………….………...110  4.5  Analysis of Qualitative Data………………………………………………..112  4.6  Summary of Triangulated Study Data ……………………………………..122  5.1  Revised Institutional Stratums of Jaques’ Leadership Responsibility and  Domain Based on Contemporary Organizational Structure ……………………….141  5.2  Contributions of Distance Education to Strategic Leadership….…………. 142  5.3  Examples of Cognitive Development as a Result of Distance Education.…147  5.4  Strategic Stratums of Leadership Domain and Responsibility…….…..…...151 viii  Acknowledgements  It is with gratitude that I acknowledge the men and women that serve in the  U.S. military and especially the U.S. Army War College Distance Education students  that supported and participated in this research.  Special thanks to my family and  colleagues at the U.S. Army War College for their support and guidance.  I would like  to acknowledge Dr. Charles Krupnick for his editorial support, the Army War College  Librarians, and Mrs. Sally Brooks for their assistance in gathering references and  data.  Dr. Craig Bullis, Dr. Diane DiClemente, Dr. Thomas Williams, Dr.Harry  Yarger, and Dr. Jeffrey Groh provided technical support.  I am especially indebted to  Dr. James Ziegenfuss for his mentorship as my committee chairman and teacher.  I  would like to acknowledge the memory of Dr. Rupe Chisholm who served as my  initial advisor and Dr. Beverly Cigler who served as my advisor through the  comprehensive exam process. 1  Chapter 1 Introduction  Frederick C. Mosher addressed the need for public leaders to pursue  professional development and found that governments allow universities and  professional educators to determine the criteria and choices in producing future  professionals (Mosher 1982).  Distance education is one of the venues that educators  are using in delivering professional development programs to prepare leaders for  future roles such as contending with complexity and long term planning requirements.  Leaders are increasingly using distance education programs to pursue professional  development opportunities, but there are few studies that have assessed how well  distance education programs are contributing to strategic leader development.  Strategic leaders are defined in this study as those who are in the highest level  of leadership in organizations and are responsible for formulating organizational  visions, leveraging resources, and overseeing policy performance.  Leaders at the  strategic level shape the organizational culture and values that are important in  developing global and national interests and partnerships.  Strategic leaders in public  organizations like the military, scientific, and educational institutions encourage  cognitive skill development for visioning to anticipate and manage change.  Cognitive development is defined as mental skills such as reasoning, intuition,  and perception that help to acquire knowledge.  Strategic leaders use their cognitive  skills to process complex information into meaningful concepts that contributes to  learning, evaluation, and integration.  The environment at the highest levels of  organizations requires that strategic leaders contend with volatility, uncertainty,  complexity, and ambiguity (VUCA) .  Strategic leaders need to have a broad 2  education and experience in order to create visions that have long term implications  in policy making.  Distance education programs are helping to develop strategic  leaders’ cognitive competencies by exposing them to complex course materials and  case studies.  It is important to evaluate the effectiveness of these programs to  determine the best ways to prepare leaders for future strategic level challenges.  Distance education programs are an increasingly popular way for busy and  resource constrained senior leaders to develop cognitive thinking skills through  informational and technical networks and sources.  Studies in peer reviewed journals  have found that informational sources, simulations, and writing requirements in  distance education programs contribute to development of cognitive skills such as  reasoning, perception, and intuition.  New technologies are being incorporated into  distance education programs such as threaded discussions to facilitate group  discussions.  Online educational systems contribute to the way strategic leaders  develop cognitive thinking skills and execute decision making processes because  leaders increasingly managing information through electronic systems.  The field of distance education is defined as the acquisition of knowledge  through technological systems at locations outside of classrooms.  Dr. Michael G.  Moore’s definition of distance education is used in this study since it encompasses  many of the terms and ideas from a variety of academic studies.  Moore advocates  that "Distance education is planned learning that normally occurs in a different place  from teaching and as a result requires special techniques of course design, special  instructional techniques, special methods of communication by electronic and other  technology, as well as special organizational and administrative arrangements" 3  (Moore 1996).  Clark and Mayer found that distance education helps leaders to be  better informed and contributes to their ability to perform .  This study is designed to  examine how distance education course design, and organizational systems contribute  to strategic leader cognitive development.  Many strategic leaders use distance education programs to develop cognitive  thinking capabilities because these programs provide leaders access to quality  educational course material and learning networks .  Distance education programs are  thought to enhance leader cognitive skills such as perception, intuition, and reasoning  because online networks and forums enable leaders to apply a diverse body of  knowledge to their professional experiences.  Leaders learn from extensive networks  of graphics and text in distance education programs and then integrate this new  knowledge with existing knowledge in their long term memory.  When leaders apply  their long term memory to their experience, they develop ways to perform strategic  level tasks such as visioning.  Leaders and educators are continuously evaluating and  refining graduate level distance education programs to improve programs and  enhance leader cognitive development.  Research studies about distance education suggest that some online  educational programs are contributing to strategic leader professional development by  expanding knowledge through technical and informational networks (Lape and Hart  1997; Rahm and Reed 1997; Pacey and Keough 2001).  Distance education networks  provide both hierarchical and lateral forms of communication that are important in  developing strategic leader knowledge for policy making and management.  Future 4  strategic leaders need access to a wide variety of information networks to synthesize  patterns of development that support long term planning and decision making.  Strategic leaders are often drawn to distance education for professional  development because of the accessibility to academically rigorous programs, the self­  directed, adult learning style, and the opportunity to develop collaborative networks.  Adult learners tend to be practical problem solvers that are motivated by professional  advancement and find online instruction matches their learning style.  Graduate level  distance education professionals are generally older with extensive college and work  experience.  The population of respondents in this study are senior military officers  and the majority have graduate degrees as well as diverse professional career  experiences.  This study specifically examines the cognitive development of senior  military officers enrolled in the Army War College Distance Education Program.  The intent of this study is to contribute to the body of knowledge of leadership  literature concerning the efficacy of distance education in the cognitive development  of strategic leaders.  This study may help identify how distance education programs  contribute to strategic leader cognitive development.  The field of strategic leader  cognitive development through distance education is relatively new since many  graduate level distance education programs have been accredited only recently.  Strategic Leader Cognitive Development through Distance Education  There are limited numbers of studies about leader cognitive development  through distance education programs and some of the studies have some contradicting  findings.  For example, some studies find that higher education distance education 5  programs are not as widely accepted by administrators as traditional education  programs because of the lack of personal interaction (Schuhmann, Cawley et al.  2000).  Other studies find that distance education programs are as effective as  traditional education programs in student cognitive development (Gunawardena,  Wilson et al. 2003).  Traditional education programs seem to be favored over online  education programs by many strategic leaders despite the growing number of online  programs. Public administrators generally have limited experience and understanding  of distance education programs since many of the programs began after their formal  education was completed.  Although there are many graduate level distance education  programs today; additional research data and experience with course delivery,  assessment techniques, and feedback systems is needed to continue to enhance leader  development.  Public and private organizations are increasingly using distance education for  strategic leader professional development because these systems are accessible and  utilize diverse educational methodologies that facilitate learning and discovery.  The  Department of Defense offers a number of distance education programs to promote  professional development from the lowest to the highest levels of leadership.  Distance education programs also contribute to higher rates of personnel recruiting  and retention because many of the distance education programs are free or subsidized.  Students that successfully complete the U.S. Army War College Distance Education  program of study are awarded a Master of Strategic Studies degree at no cost to the  student. 6  Military senior service colleges are also promoting intergovernmental  professional development with enrollments that include a variety of governmental and  international agencies.  The Army War College, for example, offers strategic studies  through a distance education program that has an enrollment of nearly 450 students  each year.  Students are selected to attend the Army War College from a variety of  federal agencies such as the State Department and foreign governments in addition to  the U.S. uniformed services.  The shared distance education experience contributes to  intergovernmental and international partnerships that are important to long term  strategic relations because of the growing numbers of civil­military interactions.  The body of leadership literature and research studies suggests that distance  education aids in the development of strategic leader cognitive abilities on a global  basis.  Extensive online information networks available through distance education  programs extends the ability of students and faculty to interact in a wide range of  issues (Jacobs and Jaques 1990; Bass 1998; Avolio 1999; Cranton and King 2003;  Heikkila and Isett 2004).  Distance education programs are evolving with the  development of new technologies such as simulations and interactive media.  Additional studies are needed to evaluate the effect of distance education systems in  strategic leader development so that public administrators can develop plans for  future professional development.  This study incorporates several theories, models, and frameworks that are  described in Chapter 2.  Elliot Jaques’ Stratified Systems Theory (SST) associates  strategic leader cognitive capacity and the ability to contend with increasing  complexity and long term planning capabilities at least ten years in the future.  Dr. 7  Gillian Stamp worked closely with Elliot Jaques to develop the Modified Career Path  Appreciation (MCPA) survey instrument.  The MCPA is used in this study as a  measure of individual leader cognitive development as a result of completing the first  year of the distance education program.  The development of leader cognitive skills  results from a complex interaction of individual, organizational, and environmental  factors.  Leader cognitive development is an open system consisting of inputs,  processes, and outputs.  Leaders are exposed to environmental factors that contribute  to cognitive development.  This study incorporates the use of the organizational  model of subsystems to assess how culture, psychosocial, structural, technical, and  management contributes to strategic leader development.  Examination of  organizational subsystems provides some insights into how individuals interact with  systems and organizations.  This study evaluates how organizational subsystems  contribute to strategic leader professional development.  Another model that is pertinent to this study is the Leader Development  Model that illustrates the roles of institutional education, operational experience, and  self­study in leader development and performance.  Institutional education includes  formal curriculum programs that are offered both in residence and online in  universities.  Operational experience includes developmental assignments that  prepare leaders for higher levels of responsibility.  Self study programs include  specialized material that individuals pursue to develop specialized skills.  This model  is explained in greater depth in the next chapter. 8  Distance education creates new ways to build professional networks and  promote quality interactions among faculty and students through a variety of online  educational tools and feedback systems.  Diverse learning experiences such as  simulations, video displays, and interactive tools contribute to strategic leader  cognitive development.  Distance education allows larger numbers of leaders to take  part in online collaboration for problem solving and networking because the  classroom space is not constrained.  Some strategic leaders have a greater propensity  to dialogue with classmates through electronic media than face­to­face traditional  classroom settings because there are fewer distractions and it is more suited to their  personalities.  Distance education systems help to expand leader dialogue because of online  communication networks between students who are from different ethnic or gender  backgrounds (Moore and Anderson 2003).  Online distance education enhances the  ability of strategic leaders to span organizational boundaries because of diverse  networks and participants.  These networks replicate many aspects of public  administration in requiring leaders to use multidisciplinary themes and approaches to  organizational design, management, and policy.  Student networks span a large  number of federal and international organizations as Army War College Distance  Education students are located all over the world.  Strategic leaders are often limited in the amount of time they can devote to  educational opportunities because of professional and personal demands. Distance  education systems generally allow strategic leaders the opportunity to complete  course material when their schedules allow.  A flexible approach to education and 9  professional development promotes learning and collaboration because participants  can focus on material that suits their needs and interests.  This type of education  system supports adult learning models that suggest senior leaders learn more when  they apply new knowledge to past experience.  Further analysis and discussion of the role of distance education programs in  strategic leader cognitive development is needed to evaluate trends and patterns in the  program materials and processes.  Recent research studies indicate that there are no  significant differences in the learning effectiveness between traditional and distance  education systems however; distance education programs are not as widely accepted  as traditional education programs (Gunawardena, Wilson et al. 2003; Williams 2003).  Some researchers found that the online environment that promotes dialogue and  collaboration is important to student learning and motivation (Berge and Schrum  1998).  Future research and studies that measure leader cognitive development will  help in determining the aspects of education that are effective in leader cognitive  development.  Distance education allows public administrators a variety of  professional development experiences that are accommodating of strategic leader and  organizational needs.  Public institutions offer a number of professional development systems such  as seminars, certificate, and degree granting programs.  Professional development  programs are important to preparing leaders for higher levels of responsibility and  result in leader commitment to institutions (Yukl 1998; Piotrowski and Rosenbloom  2002).  Strategic leaders are more visible and require decisions that are abstract  because of changing and conflicting information.  Despite the fact that strategic 10  leaders have less personal control over events, they are fully accountable for results  (Shelton 2001).  Distance education programs provide senior leaders flexibility and  accessibility to higher education programs that can be tailored to their strategic leader  duties and responsibilities (Bass 1998; Argyris 2004).  One of the greatest challenges for public strategic leaders is making time for  professional development despite increasing workloads and a constantly changing  environment.  Distance education is a way for busy professionals to access  educational systems with minimal disruption to their professional and personal needs  and requirements.  The following describes how the Army as a public agency  manages and supports the strategic leader professional development program through  distance education.  Cognitive Development of Military Leaders through Distance Education  Increasing numbers of strategic leaders are using distance education for  cognitive development because these systems offer collaborative and informational  networks in the work place.  The quality of distance education and growth in these  programs is also increasing exponentially because of greater visibility, accessibility  and improved quality of program materials.  This study focuses on the Army War  College (AWC) distance education program of instruction because of its orientation  toward cognitive development of strategic military leaders.  The AWC distance  education program is accredited by the Commission on Higher Education of the  Middle States Association of Colleges and Schools and is similar to other public and  private educational programs.  Students that successfully complete the program are 11  awarded a Masters of Strategic Studies degree. Because of the similarity of the Army  War College curriculum to other graduate school programs, this study may have  application for other public and private organizations that pursue strategic leader  professional development.  The Department of Defense and other public agencies such as the Office of  Personnel Management are increasingly using distance education because it is  accessible and cost effective.  Interestingly, the Department of Defense is using  distance education programs more extensively at the lower levels of leadership.  Some of this practice can be attributed to the fact there are many more leaders at the  lower levels of organizations than the strategic level.  Developing leader cognitive  capacity to prepare and educate future strategic leaders in the development and  employment of land power in joint, multinational, and interagency environments is  the core Army War College mission (Department of the Army 2004).  Leader  development in the Army is often associated with institutional training and education,  operational experiences and self­development such as evaluating conceptual capacity  and growth potential (Jacobs 1998).  The Army War College fulfills the need to  professionally develop strategic leaders through either a one year resident or two year  non resident instruction.  Non resident instruction at the Army War College is known  as distance education.  The AWC Distance Education Program parallels resident  instruction in the way it shares learning objectives, many readings, and writing  requirements.  The main difference in the programs is that the majority of the distance  education course work takes place through online readings, activities, and discussion  venues instead of the face­to­face resident program seminars. 12  Army War College resident courses utilize several online instruments to  assess and provide feedback on leadership attributes.  Instruments include: a  Personality Profile; Biodata Leadership; Team Roles, Handling Conflict and the  Strategic Leadership Development Inventory and the Modified Career Path  Appreciation (MCPA).  Army War College distance education students do not  currently have access to leadership assessment tools such as the MCPA to evaluate  their cognitive capacity.   Many major institutions outside the Army are using  learning centers and online assessment instruments to evaluate employee performance  and to provide insights for individual improvement and development.   Public  organizations such as the Office of Personnel Management and private firms such as  Arthur Anderson and General Electric assess managers and leaders as a means for  professional development and promotion (Collins and Porras 1994).  The Army  personnel command is also considering utilizing other types of assessment  instruments in addition to the officer evaluation reporting system.  In the mid 1980s, the Army Research Institute asked experienced researchers  to evaluate senior leader development (Jacobs and Jaques 1990; Markessini 1993).  Gillian Stamp developed a procedure called the Modified Career Path Appreciation  (MCPA) survey instrument to evaluate and predict rate of growth of individual  capability to handle increasing leadership responsibility.  The MCPA was also used to  test a theory of organization structure and adult development based on Jaques’  Stratified Systems Theory (SST).  Predictions of potential were made for  approximately 200 men and women of European and African origins working in  several multinational organizations (Stamp 1988).  Follow­up studies conducted over 13  a period ranging from 4 to 13 years evaluated the level the individual performed and  were correlated to the level of predicted potential for performance.  In the early 1990s, the Army War College initiated a program for resident  program students to use the MCPA and a variety of instruments to evaluate cognitive  skills, personality traits, and leadership traits to provide feedback for professional  development.  Students were administered the MCPA at the beginning and end of the  Army War College resident program.  Preliminary analysis of the MCPA survey  instrument data indicated a relationship between the Army War College educational  process and growth of conceptual and cognitive skills (Stamp 1988; Jacobs 1998;  Bullis 2003).  Researchers found that the Army War College resident program had a  significant impact on student strategic leader cognitive capacity such as intelligence,  analytical reasoning, creativity, and integrative complexity skills (Zaccaro 2001;  Bullis 2003).  Many strategic leaders use feedback and assessments like the MCPA survey  instrument to evaluate their individual transformation from organizational to strategic  level leadership.  Measuring leader cognitive growth supports similar studies in  evaluating the effectiveness of  distance education in professional development of  leaders (Beer 1980; Schwartzman 2003).  The intent of this research design is to  evaluate whether completion of the Army War College curriculum through distance  education increases cognitive capacity and builds executive leadership skills (Yukl  1998; Moore and Anderson 2003; Watkins and Kaufman 2003).  In this study, the  MCPA survey instrument and other data sources are used to measure the change of  distance education students’ cognitive capacity to deal with complexity and long term 14  planning requirements.  This is the first study completed that measures and analyzes  the development of strategic leader cognitive development through distance education  at the Army War College.  Purpose and Overview of Study  The purpose of this study is to determine if completion of the first year of the  Army War College distance education program results in significant leader cognitive  development for officers enrolled in the distance education program.  The Army War  College serves as one example of the few public institutions that utilize accredited  distance education programs for strategic leader development.  This study uses a  mixed methods approach of quantitative and qualitative data to determine how  distance education supports the development of strategic leadership skills.  This study incorporates a mixed methods approach that utilizes quantitative  and qualitative measures to gain a comprehensive assessment of factors that  contribute to strategic leader cognitive development through distance education.  Quantitative data is collected in this study by using a valid and reliable measure, the  Modified Career Path Appreciation (MCPA) survey instrument developed by Jaques  and Stamp to evaluate the impact of distance education in strategic leader cognitive  development.  The MCPA survey measures individual capacity to deal with  complexity in relation to the ability to perform skills required at various  organizational levels.  Jaques and others posit that strategic leaders need cognitive  skills to contend with increasing complexity and long term planning.  Stamp  developed procedures to predict the rate of individual cognitive growth in handling 15  increasing complexity and long term planning which are considered strategic  leadership roles and responsibilities.  She used these procedures to test Jaques’ theory  about the importance of organizational structure and cognitive development to the  success of strategic leaders.  This study uses qualitative data such as respondent interviews and focus  groups to address if and how distance education programs are effective in developing  strategic leader cognitive and long term planning skills.  Qualitative data also helps to  explain quantitative data and the way leaders use distance education programs for  professional development.  The qualitative data in this study was examined using the  organizational subsystem model to determine if culture, psychosocial, structural,  technical, and management subsystems contribute to strategic leader development.  This mixed methods approach provides a rich body of data.  The data and findings  contribute to the body of leadership literature about the role of distance education in  strategic leader cognitive development (Rahm and Reed 1997; Cranton and King  2003; Seth 2003).  Figure 1.1 depicts a model of strategic leader cognitive development through  distance education and illustrates the network of organizational subsystems that  contribute to this process.  The organizational subsystems that are analyzed in this  study include cultural, psychosocial, structural, technical, and management networks.  Open systems are defined as a system of independent activities that draw energy from  the environment.  The inputs, processes, and outputs in this open system  illustrate the  interactions of the organizational subsystems and the environment (Katz and Kahn  1978).  This study focuses on the development of leader cognitive skills but also has 16  some implications for interpersonal and technical leader attributes since leaders  contend with multiple organizational subsystems.  The inputs of the open system in this study are represented by strategic leader  attributes of cognitive, interpersonal, and technical skills and this study is limited to  evaluating cognitive skills.  Leaders that take part in the distance education programs  are exposed to cultural, psychosocial, structural, technical and managerial subsystems  that are discussed in Chapter 4.  The desired result or outputs of the distance  education open systems model in leader cognitive development are improved  cognitive and long term planning strategic leader skills.  The research question for this study is: Do U.S. Army War College students  increase their cognitive skills by completing the First Year of the Army War College  Distance Education Program?  Answering this question will serve to advance public  administration theory in several ways.  For example, this study is one of the first to  address the contribution of distance education to strategic leader cognitive  development.  This study is noteworthy because strategic leader cognitive  Inputs: Leader Attributes   Process: Distance Education      Outputs: Strategic Leader Attributes  Organizational Subsystems  Cognitive  Skills  Technical  Skills  Increased Strategic  Leadership  Cognitive and  Long Term  Thinking Skills  Cultural  Structural  Management  Psychosocial      Technical  Figure 1.1 A Model of Strategic Leader Cognitive Development  Interpersonal  Skills 17  development through distance education is a relatively new field of study.  Evaluating  the success of strategic leader cognitive development through distance education is an  initial step in creating new strategies for future professional development.  The Organizational Setting  The Department of Defense has four military service schools for senior  executives.  The intent of these programs is to provide a broad overview of strategic  leadership responsibilities for policy making, management, and organizational design.  The following mission statement of the college explains the institutional setting for  this study:  To prepare selected military, civilian, and international leaders for the  responsibilities of strategic leadership; educate current and future leaders on  the development and employment of military power in a joint, multinational  and interagency environment; conduct research and publish on national  security and military strategy; and engage in activities that support  Department of Defense strategic communications (Department of the Army  2004).  The organizational setting for this study is an accredited post graduate  educational program for military strategic leaders that takes place at Carlisle  Barracks, Pennsylvania.  The academic organization is designed and resourced for  post­graduate education and research.  The students of the distance education  program have diverse work experience in different levels and types of government  organizations.  Each year, over 450 distance education students are selected to  participate in the Army War College Distance Education Program.  Senior military  officers are selected for the program based on their performance records. 18  The Army War College is an ideal site to conduct this study since it has a  formal history of over a hundred and fifty years of strategic leadership education and  development.  Research subjects in this study are comprised of military officers from  various professional backgrounds in addition to war fighting such as administration,  legal, medical, information management, engineering, education, and business.  The  population of the research subjects associated with military universities is  predominately male, Caucasian ethnic background, and a graduate level of education.  This study is limited to military officers because of the small number of  civilian students that are part of the Army War College distance education student  population.  Many of the respondents have served in a number of military and civilian  career fields that facilitate interagency and in some cases international partnership.  Many of the study respondents have little experience with distance education or  computer learning and this program is their first extensive experience with online  course material.  The Army War College Distance Education Program is part of an Army  professional development program for senior leaders to prepare for future duties and  responsibilities at the strategic level.   Some of these duties include serving as  Commander of coalition forces and regional commands that require effective civil­  military coordination.  Strategic leaders in the military serve with many different  types of organizations all over the world and such as joint military staffs, interagency  and international organizations like the Department of State, NATO, and the United  Nations. 19  Students complete five courses during the first year of the USAWC distance  education program including: Strategic Leadership; International Relations and the  Use of Power; National Security Policy and Strategy; War and Military Strategy; and  Department of Defense Organization, Planning, and Strategy.  Students are typically  required to complete two essays in each course and participate in one forum (an  online threaded discussion).  All course requirements are evaluated and students are  provided with formal feedback by faculty members.  The Army War College has  integrated current and emerging battle simulations and technologies into the  curriculum with the intent of creating realistic experiential learning environments to  enhance the development of critical thinking skills .  Strategic level leaders in the military have important roles in contending with  complex civil­military relationship; they require cognitive, interpersonal, and  technical competencies.  Military doctrine defines strategic leadership as “the skillful  formulation, coordination, and application of ends (objectives), ways (courses of  action), and means (supporting resources) to promote and defend national interests” .  The Army War College distance education program develops strategic level  competencies by providing access to a wide variety of subject matter such as strategic  leadership, international relations, national security policy, and military strategy.  Distance education informational networks provide strategic leaders’ tools for  collaborative decision making in their Army War College studies and in future  endeavors such as planning, developing, and overseeing public policies of national  and international interest. 20  Public Administration scholars like Robert Behm, Frederick Mosher, and  others have written about the importance of professional development programs for  senior military leaders that work with civilian organizations to formulate and  overseeing public policy.  Samuel Huntington posits in his work on civil­military  relations that professional development should consist of a broad, liberal, and cultural  background to impart specialized skills and knowledge of a profession (Huntington  1981).  Morris Janowitz in his work on professional soldiers argues that the military  as a profession should be educated to carry out the values of the society it represents.  The Army Distance Education Program supports the ideals of these scholars by  providing students a broad array of strategic level literature with both military and  civilian frameworks and case studies.  This methodology helps develop cognitive  skills that use a balanced and critical approach to national security studies.  Distance education professional development programs provide military  members opportunities to gain insights to both military and civilian organizational  values and culture through readings and online interactions.  Access to a wide range  of information through distance education is especially important for military  members who can be somewhat isolated from civilian organizations.  The distance  education program is a means to integrate military and civilian academic experiences  and approaches to strategic issues.  In this study, respondents were able to  immediately apply what they learn in a distance education program to their  professional and personal experience.  The application of the curriculum material to  the respondents’ experience contributed to their cognitive development. 21  Conclusion  This chapter provided an overview of the study purpose, background, and  methodology. The study of strategic leadership through distance education is of  growing importance to the field of public administration because of the increasing  need for leader professional development.  Distance education is accessible and  provides some unique ways for strategic leaders to develop cognitive, interpersonal,  and technical competencies. Chapter 2 is a review of literature that focuses on the  research question of how distance education contributes to the cognitive development  of strategic leaders.  The literature review links theories of strategic leader  development with theories of distance education as applied to professional  development for public administration.  Professional development through distance  education is creating new networks and systems for policy making, management, and  organizational design.  Chapter 3 presents the research methods and explains how mixed methods  were used in the collection of both quantitative and qualitative data for analysis and  reporting.  This chapter also describes the participants, materials, and research design  procedures used in this study.  Chapter 4 is an overview of the data analysis and  findings that were a result of the mixed methods approach to the study that  incorporates both quantitative and qualitative analysis.  Collection of multiple forms  of data and analysis allow for triangulation of findings that support and add to  previous studies.  This chapter also denotes the limiters and delimiters of this study  that need to be considered for future studies.  Chapter 5 presents conclusions,  contributions of the study to theory and practices as well as recommendations for 22  future research.  Appendices of the study include the bibliography, research  instruments, data and supporting documentation.  In summary, this study is designed to evaluate how distance education  contributes to strategic leader cognitive development and to help fill gaps in the  strategic leadership literature.  Developing strategic leader competencies through  distance education is a dynamic field because of the evolving role of public  administrators in a technically sophisticated and networked global environment.  This assessment supports the continued and increased use of distance education as a  practical and effective means of strategic leader development. 23  Chapter 2 Literature Review  This review of leadership literature is an overview of conceptual and  theoretical frameworks that link strategic leader cognitive development with distance  education and public administration.  Strategic leadership describes the roles and  attributes that are required for an organization to gain and maintain competitive  advantage and to make sense of ambiguity (Jaques and Clement 1991; Zaccaro 2001;  Jacobs 2002).  Distance education is playing an increasingly important role in  strategic leader cognitive development through course content, informational  networks, and communications systems that increase capacity for both individual and  organizational learning.  Strategic leader professional development helps to ensure  leaders are kept informed of changing public administration functions such as  anticipating policy change, evolving organizational structures, and management  systems (Brewer, Selden et al. 2000).  This literature review is organized to examine both individual and  organizational theories and frameworks about strategic leadership characteristics and  cognitive development through distance education.  The first part of the literature  review examines individual aspects of cognitive development in leadership theory  such as conceptual, behavioral, and contingency models.  The second part of the  literature review examines organizational aspects of cognitive development such as  open systems, leader development, and stratified systems theory.  Both individual and  organizational aspects of leader cognitive development are important to evaluating  the role of distance education in the professional development of strategic leaders. 24  Strategic leaders are generally proactive and work indirectly with other  leaders or organizations to sort through problems with a clearly articulated vision.  Effective leaders are able to create a culture that supports achievement of  organizational goals (Jacobs 2002).  Strategic leaders often work in multinational  environments and have the responsibility for managing the relationship between the  national resources and policies (Markessini 1993; Jacobs 2002).  They create future  capabilities by managing joint and combined relationships or systems in order to meet  contingencies such as systems thinking, personal mastery, mental models, shared  vision and team learning (Senge and Carstedy 2003).  Strategic leaders use systems thinking for examining similarities in different  issues to generalize learning from systems.  Personal mastery of cognitive skills is a  result of growth of values, beliefs, and principles that systematically guide behavior  and decision making (Mintzberg 1994; Jacobs 2002).  Methods for extending  cognitive skills through distance education are important for building effective teams  and managing complexity.  For example, distance education programs support policy  analysis by providing access to multiple perspectives and source documents that give  strategic leaders a broad spectrum of ideas and approaches for decision making,  reform, and governance.  Strategic leaders envision future organizational roles and  capabilities that are networked through computer systems.  Networked systems are  effective ways to build consensus and commitment to learning and to improve  programs through forum discussion (Bryson 1995).  An organizational systems approach to problem solving through distance  education is important to evaluating the properties that make systems similar to one 25  another and make it possible to generalize learning.  Organizational subsystems such  as values or culture, psychosocial, technical, structural, and management subsystems  provide insights to the way that leaders develop cognitive skills and competencies.  These subsystems provide strategic leaders a multidisciplinary way to evaluate  distance education as a means for cognitive development.  Strategic leaders need to balance structured and less structured approaches to  developing expertise in organizational, management, and policy by using a large  variety of information sources and networks (Simonson and Buck 2003).  Extending  discourse, collaboration, and participation through distance education systems  promotes leader competencies with a variety of informational sources.  Diverse  informational sources provide strategic leaders a broad array of  knowledge and  critical thinking of issues that is necessary for strategic level decision making  (Heineman, Bluhm et al. 1995; Fischer 2003).  The organizational subsystems model  incorporates a number of ways to evaluate factors about strategic leader cognitive  development.  The cultural subsystem includes physical and visible behavior patterns,  language, rites and rituals (Ziegenfuss 2002).  Psychosocial subsystems evaluate  personality, attitudes, perceptions, motivation, communication and learning.  Strategic leaders increase their knowledge of technical subsystems through distance  education in using evolving hardware and software that links informational and  personal networks  (Jaques and Clement 1991; Zaccaro 2001; Jacobs 2002).  Structural subsystems are the way strategic leaders understand and develop  organizational authority and power such as delegating and reporting systems. 26  Managerial subsystems include design, planning, stewardship, communication,  evaluation, coaching, controlling and evaluating organizations.  These subsystems  give strategic leaders new perspectives for professional development that supports  policy making and resource management (Lape and Hart 1997; Hanna 2003).  The organizational subsystems model provides a framework to examine and  evaluate the contribution of elements from subsystems to distance education systems.  Cognitive development allows more complex ways of thinking and feeling, a deeper  sense of self and an increasing perception of the world (London and Maurer 2004).  Several public leadership theories link strategic leader cognitive development and  distance education.  Theories, models and frameworks help to explain leadership  theory, strategic leader characteristics and institutional responsibility.  Capacity to  think creatively and systematically about complex issues contributes to cognitive  development (Jacobs 2002).  Overview of Strategic Leadership Theory  There are many ways practitioners and theorists define leadership as a  multidisciplinary field of study .  Strategic leadership is the process of creating and  translating an organizational vision into a strategy or reality (Hellriegel, Slocum et al.  1995; Goleman, McKee et al. 2002).  Leaders draw on various sources of power and  skills such as visioning, empowerment, communication, and self understanding to  gain authority and enable others to achieve goals.  Various models such as behavioral,  contingency, attribution, and transformational models examine leader traits, behavior  and contingencies to help explain the multifaceted aspects of strategic leadership 27  attributes such as cognitive, social, and problem solving skills (Zaccaro 1996; Jacobs  2002).  Behavioral models help to explain leader action such as consideration and  initiating structure that foster organizational performance and goal attainment  (Zaccaro 1996; Ziegenfuss 2002).  Contingency models emphasize the importance of  situations and contingencies such as the group environment or acceptance of the  leader, task structure, and position of power.  Attribution models suggest that a  leader’s judgment is influenced by their insights and frame of reference based on  schooling, experience and self­study.  Transformational models evaluate how leaders  utilize personal sources of power such as idealization and intellect to focus on the  individual and heighten subordinate motivation.  The evolution of leadership theory is associated with the use of technological  capability such as networks and online tools to develop cognitive capacity, fit, and  performance (Frederickson 1971; Passmore 1988).  Developments in the digital  environment are dramatically changing the dynamics of decision making and  communications because online networks and simulations can model leadership  decision making outcomes (Paparone 2004).  Stogdill and Bass analyzed over 250  studies of leadership traits.  Their synthesis of the studies indicates that strategic  leaders have a number of attributes and competencies (Stogdill and Bass 1974;  Macgregor 2003).  Strategic leaders tend to be more intelligent, dependable,  insightful, persistent, self confident, have capacity for absorbing stress, willingness to  tolerate frustration, and have the ability to influence the behavior and organize groups  (Stogdill and Bass 1974).  Researchers at Ohio State University found that strategic 28  leadership behaviors such as consideration of others and initiation of structure  contributes to the achievement of group goals (Likert 1961; Katz and Kahn 1978;  Hellriegel, Slocum et al. 1995; Bass 1998).  Contemporary leadership theories examine many individual traits that are  associated with a continuum of strategic leadership styles such as transformational,  transactional, leading or managing by exception, and laissez­faire leadership.  Transformational leadership is attributed to the influence of leader intellect, influence,  individualized and inspirational attributes (Burns 1978; Bass 1998; Bass, Jung et al.  2003).  Transactional leadership is associated with hierarchy and assumes managerial  control with contingent reward for carrying out goals.  An example of leading or  managing by exception is when leaders monitor mistakes and direct corrective action.  Laissez­faire leadership is a state where leaders are absent from decision processes  and responsibility is ignored (Bass and Avolio 2003).  Strategic leader cognitive  development is associated with transformational leadership rather than transactional,  leading by exception, or laissez­faire leadership.  Leadership styles vary according to the leader’s personal attributes like their  cognitive capacity, interpersonal, and technical skills.  Leadership traits are also  impacted by environmental and organizational subsystems such as culture,  psychosocial, structural, technical, and management.  Many public organizations  emphasize the importance of followers accepting strategic leaders based on their  performance rather than drawing power from positions (Army 1999; Shinseki and  Hesselbein 2004).  Most public organizations are service­oriented where power is  attributed to results, favorable outcomes, and performance in managing critical 29  resources.  Bureaucracy is a form of hierarchical power and computer networks are  causing organizations to operate in a less hierarchical manner.  The following table  integrates various aspects of leadership traits and competencies at the strategic,  operational, and production levels in organizational structure. This study focuses on  the traits and competencies of the strategic level leader because strategic leaders  influence operational and production level leaders.  Table 2.1 Doctrinal Leadership Framework of Competencies by Leadership  Levels (Army War College 2005).  Interpersonal  Conceptual  Technical  Influencing  Strategic  Communicating,  Negotiating,  Consensus  Building  Envision  Deal with  Uncertainty  Develop  Frames of  Reference  Leverage  Technology  Translate  Political Goals  Strategic  Planning  Evaluate  Assess  Organizational/  Operational  Understanding,  Supervising,  Communicating  Establish  Intent  Filter  Information  Understand  Systems  Maintain  Critical Skills  Resource  Management  Predict 2 nd /3 rd  Order Effects  Plan &  Preparation  Execute  Assess  Production/  Direct  Counseling &  Communicating  Reasoning,  Creative, &  Reflective  Thinking  Know  Personnel and  Equipment  Plan &  Check  Provide  Feedback 30  The overlapping themes in leadership theories, models, and frameworks  include assessment and development of strategic skills and behaviors for creating and  sustaining organizational vision, performance, and development (Quinn 1988;  Markessini 1993).  Strategic leadership focuses on the highest levels of organizations  that typically have responsibility for comprehensive programs with extensive  resources for policy making and management.  Strategic leaders also interact and  have responsibility for developing subordinate leaders at the operational and  production levels.  The highest level of leadership in most organizations is strategic  level leadership.  Strategic leadership is multifaceted and typically includes the roles  and responsibilities of establishing organizational culture or values, policy  development, resource allocation, and decision making.  Table 2.2 compares several major leadership models by attributes, variables  and limitations of each model.  Specific roles and expectations of leaders are based on  their personal development and experience.  This table helps to explain the dynamics  of leadership theories and practice that highlights traits, behavior, attribution,  transformation, and contingency.  The field of leadership is multidisciplinary in  nature and has broad implications to future individual and organizational  development.  Few research studies evaluate the development of leadership cognitive  skills through distance education.  The literature on leadership explains that cognitive  skills are traits are vital to each of the leadership models because knowledge and  conceptual skills are engaged through traits, behavior, attribution, transformation, and  contingencies. 31  Table 2.2 Comparison of Leadership Models  Traits  Behavior  Attribution  Transformation  Contingency  Model  Model  Model  Model  Model  Intellect,  Social Skills  Motivation  Experience  Consideration  (Trust,  respect)  Initiating  structure  (roles)  Judgment based  on leader  knowledge of  employee  Idealized,  Intellectual,  Individualized,  and  Inspirational  Skills  Characteristics  of leader, role,  position of  power, and  structure  of  organization  Limitation of  Models  Does not fully  consider  environmental  influences &  interpersonal  interactions  Lacks  consideration  of  environmental  factors  Leader may  have limited  knowledge  based on traits  and/or  information  sources  Span of  control and  influence to  sustain  heightened  interest &  motivation  Fails to  consider  changes in  leader  characteristics,  position,  organizational  structure and  environment  Characteristics of Strategic Leader Cognitive Development  Strategic leadership can be described as a dynamic process that is oriented  toward complex problems involving inter­organizational solutions or a system within  systems (Selznick 1984; Paparone 2004).  Strategic leaders contend with broad and  complex issue networks that are constantly changing, such as the ability to integrate  multiple planning efforts.  Strategic leadership orientation affects interpretations and  the way issues are evaluated and acted upon.  For example, trust and accountability  are some of the prevailing organizational values for dealing with “wicked” problems.  Wicked problems are problems that have many competing public interests, such as  the need for organizations to account for public spending.  Strategic leadership is a 32  process involving lifelong learning and understanding multiple vantage points as  strategic leaders evaluate how both internal and external organizations function in  order to anticipate future requirements (Heifetz 2004; Reed, Bullis et al. 2004).  Development of cognitive intelligence in strategic leaders is important to  understanding how leadership roles change in the strategic domain because  organizations are constantly changing.  Cognitive intelligence is regarded as the sum  total of all mental abilities or the repertoire of a person’s knowledge and skills at a  given time such as intellectual, critical and creative thinking (Jensen 1987).  Strategic  leaders rely on their intellectual capacity to provide organizational vision and  guidance.  Intellectual ability is thought to provide for creative and critical thinking  and an array of mental abilities to put ideas together or separate them for analysis  (Behn 1985; Jaques 1986; Heineman, Bluhm et al. 1995).  Another important  attribute of strategic leadership is critical thinking because leaders need to consider  secondary and tertiary effects of the decisions.  Critical thinking is an attempt to clarify meaning through the evaluation of  evidence (Martinelli 1987).  Creative thinking is important to developing  organizational visions and establishing unique ways to solve complex problems.  Distance education facilitates intellectual, critical, and creative thinking by expanding  strategic leader access to larger networks of information and people (Pacey and  Keough 2001).  Public organizations are increasingly using computer networks for  critical and creative thinking, problem solving and information sharing.  For example,  many public organizations seek collaborative solutions to issues by promoting public  review and comment through on line bulletin boards. 33  Strategic level leadership attributes enable organizations to learn and discover  while navigating through complexity and chaos.  Complexity is according to Elliott  Jaques “a function of the number of variables, the rate at which they are changing,  and the extent to which they are interwoven” (Jaques and Clement 1991).  Capacity  for strategic leadership increases with maturation of cognitive capacity or the ability  to develop critical and creative thinking skills (Markessini 1993).  The art of  facilitating strategic leadership skills involves evaluating the rate of growth of the  leader’s cognitive skills that can be used to predict the capacity to handle increasing  responsibility or managerial potential (Stamp 1988).  Utilizing leadership assessment  systems to measure the impact of distance education on strategic leadership cognitive  development may help to predict the potential for future strategic leader competencies  (Stamp 1988; Jacobs and Jaques 1990; Bass 1998).  Strategic leaders recognize competing values and understand personal  commitments that are tied to organizations in determining future visions and missions  (Burns 1978; Quinn 1988).  In determining a vision, public leaders learn how to  address conflicts in the values people stand for and the reality that they face (Heifetz  2004).  Strategic leaders use their cognitive abilities to assess and find ways to  achieve the organizational vision with limited resources.  They anticipate change and  seek out innovation on a global scale by using  distance education to span new  boundaries and establish networks to expand their conceptual abilities (Jacobs 2002;  Kilfoil 2003).  Measuring and evaluating the impact of distance education in developing  strategic leader cognitive capacity is important because cognitive capacity is essential 34  in handling the complexity found at high organizational levels.  Strategic leaders are  thought to need a high level of concept abstraction, capacity to parallel process or  cross­link mental models, and the capacity to do integrative thinking (Jacobs and  Jaques 1990).  Knowledge is thought to be deep, abstract, and contextualized so  experts can make decisions quickly by recognizing patterns .  A comprehensive review of leader cognition results in over 2,000 references  that contain approximately 20 theories and models (Markessini 1993; Zaccaro 2001).  Theories concerning leader cognition are diverse and according to Markessini there  are at least five distinct theoretical groups: comprehensive composite models;  network models; hierarchical taxonomies; typologies of cognition; and cognitive task­  analysis models (Markessini 1993).  This study incorporates aspects of hierarchical  taxonomies with Jaques’ theory and typologies of cognition through the use of the  Modified Career Path Appreciation (MCPA) survey instrument.  The scientific community does not have a widely accepted, comprehensive  theory of  leadership learning principles (Markessini 1993).  There are disagreements  about the role of leader intelligence, critical and creative thinking, evaluation and  mapping ability.  Cognition involves the combination of intelligence, thinking skills,  evaluation and mapping elements into meaningful patterns.  Leaders are able to  create, manipulate, and interpret those combinations into an operational map (Jaques  1986).  With greater cognitive power, the leader’s model of reality is more extensive  and complex (Markessini 1993).  This study of cognitive skills focuses on the Army  War College distance education students.  However; many of the principles from this  study can be used to evaluate civilian professional development organizations such as 35  public and private university distance education systems, fellowships, and other  professional development programs.  Many strategic leadership course curriculums  use similar leadership theory and case studies.  Strategic leaders are expected to have multiple cognitive competencies in  many facets such as business, military, technical, and political arenas.  Leaders at the  strategic level use their knowledge to create change to establish and accomplish the  institutional vision.  Strategic leaders have in depth knowledge of political, economic,  diplomatic, informational elements of national power and know how to adapt to  change and uncertainty (Army 1999; Bullis 2003).  Leaders at the highest level in  organizations define organizational vision and purpose (Barnard 1968; Zaccaro  1996).  Strategic leader responsibilities in all professions include effective  communication skills and detailed knowledge of multidisciplinary subjects to  influence decision making.  In relating an organization to the external environment,  strategic leaders scan boundaries to incorporate external resources.  Leaders at the  strategic level have access to a wide audience and use a variety of case studies with  online networks (Passmore 1988; Chisholm 1996; Laubacher and Malone 2003).  Jaques’ theories center on the ability of strategic leaders to contend with increasing  levels of complexity and to develop plans or visions that span a ten year period of  time (Jaques and Clement 1991).  Study of strategic leadership for senior military officers is important in  understanding their role in contributing to national security (Shambach 2004).  Some  of the attributes associated with strategic level leadership are: that strategic leadership 36  is indirect and involves long term planning; that it requires boundary­spanning and  environmental engagement; and that strategic leadership is built on network  development and consensus building (Markessini 1993; Ziegenfuss 1996; Freedman  2003; Kilfoil 2003).  These attributes of strategic leadership has been found to be  linked with the capability for long term planning and cognitive complexity.  Data  from research studies suggests that executives have the capability to plan and  envision with many different types of organizations over long periods of 10 to 15  years (Jacobs and Jaques 1990; Donahue 2004).  The majority of strategic level  military officers plan in an 8­12 year time frame which is normal considering the  tremendous change and complexity of government organizations and systems (Stamp  1988; Jaques and Stamp 1990; Markessini 1993).  Strategic leaders constantly span boundaries to evaluate change and determine  the effects of environmental engagement in organizational members and structure.  Public administrators engage and interact with external agencies such as corporations  and international agencies (Jacobs 1998; Macgregor 2003). More than 88% of all  strategic leaders rate network development as important to their roles because  networks provide greater sources of information (Pettigrew and Fenton 2000; Senge  and Carstedy 2003).  Consensus building is not rated as highly as network  development but has a significant impact on the way strategic leaders think and act.  Many senior leaders are adept at fostering social and political relationships that are  conducive to consensus building.  Today and in the future, interpersonal relationship  building is being accomplished online and through collaborative processes like  distance education programs (Zaccaro 1996). 37  Frames of reference are the complex mental models that are required to  understand interdependencies and linkages in organizational causal maps.  Strategic  leaders use frames of reference to ensure that the vision and direction of the  organization fits with environmental change (Katz and Kahn 1978; Hamel and  Prahalad 1993).  The Army Research Institute’s extensive leadership studies indicate  that strategic level leaders need the ability to contend with longer time frames, to  interact with external constituents, to develop networks and consensus, and to  develop complex cognitive maps (Schwartzman 2003; Williams 2003; Reed, Bullis et  al. 2004).  Strategic leader characteristics are a determinant of the type of educational  systems that are best suited for their professional development.  For example, leaders  with high conceptual capacity generally desire an autonomous educational  environment like distance education that allows for self directed research (Boyatzis,  Cowen et al. 1995; Moore and Kearsley 1996).  Strategic leaders utilize computer  networks that have many types of informational and educational sources to maximize  organizational adaptation and performance.  Leaders in the Department of Defense  promote distance education as a means for preparing organizational members for  environmental and organizational change.  Strategic leaders have the ability to use the  expansive properties of distance education systems to enhance their conceptual  capacity, interpersonal skills, knowledge, and temperament to learn.  Figure 2.1 illustrates the relationship of strategic leader characteristics and  performance requirements for achieving complex and long term planning.  This  model illustrates how the strategic leader characteristics are important for increasing 38  performance requirements, organizational adaptation, and performance.  Top level  leaders must be capable of dealing with and communicating abstract concepts in a  way that most people can understand.  Figure 2.1. Strategic Leader Characteristics and Performance: A Research  Model (Zaccaro, 1986).  Strategic leaders generally have highly developed interpersonal skills,  knowledge, and temperament that contribute to achieving high standards of  excellence.  Long term planning time frames, boundary spanning, network  development, and an organizational frame of reference provide strategic leaders the  means to adapt and maximize organizational performance.  The preceding model is  an example of how individual leadership models are linked with organizational  leadership models.  Aligning strategic leader capability and skills with the right level  Strategic Leader  Characteristics •  Conceptual Capacity •  Flexible integrative  complexity •  Interpersonal skills •  Knowledge •  Temperament  Strategic Leader Performance  Requirements •  Long term work and planning  time frame •  Boundary spanning and  environmental engagement •  Network development and  consensus building •  Development of causal map  or organizational frame of  reference  Strategic Leader Development  and Education  Organizational Adaptation and  Performance: Maximization of  Return from Environment 39  of performance is instrumental in ensuring effective performance and congruity in  professional development (Mohrman and Cummings 1989; Bass 1998).  Strategic Leader Cognitive Development as an Open System  Strategic leaders employ systems thinking in organizational learning and  cognitive development through holistic approaches to problems that understand  interrelationships, processes, indirect effects and logic.  Systems analysis provides a  framework for evaluating public administration and specifically strategic leadership  elements of organizational design and management.  Theories about open systems  evaluate how the environment and technology impacts organizations.  Open systems  also help to systematically evaluate values, technology, structure, psychosocial and  management subsystems (Bertalanffy 1968; Katz and Kahn 1978; Chisholm and  Elden 1993).  Strategic leader cognitive development systems like distance education  programs are organizational systems to evaluate strategic leader cognitive  development.  These systems are comprised of inputs, processes, outputs, and  feedback loops.  Inputs are the skills or systems such as the initial state of the leader.  Processes are the means that are employed in achieving an outcome or performance.  Outputs are the outcomes or the result of distance education in developing strategic  leaders. Feedback loops operate within a context or environment that creates updates  to system operating environments (Jacobs 2002).  All systems tend toward  equilibrium that is less energy demanding and evolves to higher levels of  performance. 40  Figure 2.2.  Open Systems of Strategic Leader Cognitive Development through  Distance Education  Inputs that are essential for cognitive development of strategic leaders through  distance education include attributes such as quality education and operational  experience.  Processes are a means for organizational analysis to evaluate  organizational subsystem variables such as distance education culture, structure, and  management on strategic leader development.  Outputs are the results of the process  in shaping strategic leaders such as the networks that distance education utilize to  expand global learning.  Feedback systems provide a means to use developments  from the distance education process such as increased cognitive skills to improve  leadership attributes.  Most organizations and individuals no longer function as what von  Bertalanffy describes as closed systems or organizations that have no interaction with  the environment and technology (Bertalanffy 1968).  Global connections between  people and organizations are increasingly an open system that is also a primary means  Inputs  Processes  Strategic  Leader  Capabilities:  Complex,  Cognitive &  Long Term  Thinking Skills  Outputs  Feedback/ Redesign  Strategic  Leader  Attributes:  Education,  Experience,  Initiative  Distance Education  Organizational Subsystems:  Culture  Psychosocial  Structural  Technological  Management & Leadership 41  of communication and learning.  Leaders that interact with a variety of sources of  information and communication are better able to stay informed of change and  innovation.  Strategic leaders are like open systems in the way that they constantly  scan boundaries and incorporate use of developing organizational systems such as  distance education programs to improve performance management.  Feedback is an  important aspect of the open system processes, adjustments, and adaptations that  strategic leaders make in adapting to the changing environment.  In open systems,  feedback helps to improves processes and outputs.  An example of feedback in  distance education is course surveys that help administrators and educators improve  or redesign curriculum to meet student needs and requirements.  Distance education organizational subsystems that are part of the process in  open systems for developing strategic leader cognitive skills and includes the need  for: culture, psychosocial, structural, technological, and management subsystems.  Each of the subsystems is considered to be internal to organizational performance and  part of the integrated distance learning system.  Strategic leaders consider these  subsystems in balancing shifting priorities and to broaden their insights to  environmental change.  Organizational subsystems as illustrated in the following diagram serve as a  framework in this study for strategic leaders to consider many dimensions of distance  education systems (Jacobs, 2002; Ziegenfuss 2002).  The feedback and redesign  process also integrates changes from the environment into the system.  Open systems  are dynamic and aid in helping strategic leaders to transform both individually and  with their organizations. 42  The framework in Figure 2.2 provides a comprehensive means to evaluate  subsystems in strategic leader cognitive development through distance education.  This framework spans a continuum of the multidimensional factors that contribute to  strategic leader cognitive development and is part of the analysis part of this study.  The subsystem framework and descriptions are a means to organize and explain the  quantitative and qualitative data associated with strategic leadership cognitive  development theory and practice.  Figure 2.3 Organizational Subsystems that Impact Strategic Leader Cognitive  Development through Distance Education (Ziegenfuss 2002).  Organizational subsystem frameworks serve as a systematic way to triangulate  quantitative assessments from the survey instrument as well as the qualitative focus  group and individual interviews.  The MCPA survey instrument is limited in that it  assesses primarily organizational structure, leadership, and management.  Qualitative  CULTURE  Autonomy  Personal Networks  Complexity  PSYCHOSOCIAL  Interpersonal relations  Ethics  Uncertainty and Risk  LEADERSHIP &  MANAGEMENT  Long Range Planning  Guidance & Frameworks  Communication &  Feedback Mechanisms  STRUCTURE  Organization  Rules, Systems,  Methods, Procedures  TECHNOLOGY  Effective/Efficient  Informational Tools  Evolving 43  results from this study address how cultural, psychosocial, structural, technology and  subsystems in distance education contribute to strategic leader development.  The  multidimensional aspects of the organizational subsystem frameworks are important  to ensuring a thorough analysis as well as identifying gaps and overlapping factors  that impact strategic leader cognitive development through distance education.  The culture subsystem includes the goals and values of strategic leader  development through distance education such as utilization of technology for  maximum learning potential.  Culture is also the type of environment for strategic  learning such as higher education institutions that support cognitive development  through discovery and flexible course scheduling (Cranton and King 2003; King and  Lawler 2003).  Organizational members look for ways to identify and reinforce their  membership through cultural systems such as non attribution policies in academic  institutions so members can share ideas without being taken out of context.  This is  especially important with distance education where the audience for idea and  information exchange is not as controlled as in an institutional setting.  The psychosocial subsystem is the dynamics of individuals and group  interaction such as behavior, motivation, status, roles, and relationships.  Psychosocial aspects of distance education are shaped and supported in the way that  faculty and administrators interact with strategic leader students to aid in self  discovery.  Strategic leaders generally like to work on their own and have high  motivation for learning (Jacobs 2002; Shambach 2004).  The role of faculty members  is important in encouraging students to interact and learn from their individual and  collective experience. 44  The structural subsystem is the degree of formalization, standardization and  specialization in organizations such as establishing policy and procedure.  Strategic  leaders have experience with various organizational structures.  They are aware of  social requirements such as the value of the interaction of students and faculty to  promote strategic leader learning and understanding.  Distance education is a system  that allows strategic leaders to learn in a less formal environment where students have  greater control over scheduling and development of course requirements.  The technical subsystem refers to the knowledge to design, develop,  distribute, and support professional development products and services such as the  types of video or simulations used in courses.  Strategic leaders need exposure to  diverse and complex systems to promote learning and to mirror environmental change  (Jaques and Stamp 1995; Jacobs 2002).  The distance education program provides a  number of different types of curriculum materials that can be downloaded such as  text, videos, and interactive mediums.  Increasing numbers of students are  downloading text and video files that they can review while traveling or commuting.  High quality technical systems are instrumental to the support and confidence of  strategic leaders who expect high standards of performance.  Development of technological systems in distance education is promoting  strategic leadership by creating networks for critical and creative thinking.  New  educational systems such as simulations and threaded discussions allow leaders to  synthesize a large quantity of information.  The new science of leadership is about  sustaining and creating knowledge relationships among networks.  These networks  are where strategic leadership is dispersed and distributed to members based on their 45  value to the organization (Paparone 2004).  Evolving ideas about strategic leadership  skills and organizational structure are associated with changing environmental and  technological conditions such as globalization.  The managerial subsystem integrates the organization with the environment to  include distance education goal setting, design, evaluation, and control processes.  Strategic leaders have well developed managerial attributes that include stewardship,  communication, and evaluation of distance education systems.  Strategic leaders are  more likely to use feedback systems and reflective thinking to manage and assess  distance education systems (Berge and Schrum 1998; Jacobs 2002).  These skills are  important to the way strategic leaders synthesize complex ideas.  Organizational subsystems are important to the overall design and  implementation of distance education systems for strategic leaders because the  subsystems provide networks to help reinforce learning.  For example, the culture of  academic institutions is to promote learning and administrators are concerned about  the psychosocial subsystems or how students feel about the education process.  In  addition to these five subsystems, strategic leaders also take into consideration the  external systems of an organization or the forces outside the boundaries of the  organization (Ziegenfuss 2002).  External systems that impact distance education and  strategic leadership such as economics, politics, and globalization are instrumental to  understanding the way that leaders develop their cognitive abilities.  The  interrelationships among the systems indicate there are trends and important  information points for analysis of strategic leader cognitive development through  distance education . 46  Roles of Strategic Leaders in Organizations  Strategic leaders need to have cognitive skills, appropriate knowledge, skills,  and leadership experience of large organizations to manage complexity (Burns 1978;  Jaques and Clement 1991; Drucker 2002).  Organizational structures are made up of  layers or stratums that correlate leader roles and capability in planning over various  time spans.  Levels of complexity correspond with primal, rational, developmental,  and metaphysical management such as childhood and adolescence; daily business  discourse; the conceptual world of management; and universal order that transcends  the corporate world (Jaques and Clement 1991).  The highest strata or strategic  leadership is concerned about setting and sustaining public and corporate vision and  culture.  Strategic leader development is important for effective public administration  because strategic leaders guide the vision, organizational structure, and performance.  Large organizations have multiple levels of leadership that need to be  integrated to ensure effectiveness and legitimacy (Fernandez 2005).  Strategic leaders  make choices within the context of the situations that occur and are anticipated in the  future based on experience and their knowledge.  Legitimacy of power is measured in  the leaders’ accountability to others (Vinzant and Crothers 1998).  These leadership  skills are especially important in the military which the public has entrusted the  security of the nation.  Complex situations such as the national security requires both  military and civilian strategic leaders to have complex cognitive skills for planning  and decision making (Jaques and Stamp 1990; Bass and Avolio 2000). 47  The leader professional development model depicts how leaders use a  combination of institutional, operational, and self development programs. Leadership  attributes such as intellect was considered to be a result of institutional training and  education however; experiential assignments and self development programs are  increasingly important in addressing specific leader needs.  Institutional training and  education includes the formal educational programs that are part of academic  programs and institutions.  Operational assignments and experiential learning often  provides leaders practical, real world implications of leader development.  Self  development programs are the actions leaders take to increase specialized knowledge  and competencies as a result of educational study  Table 2.3 Leader Development Model (U.S. Army, 2006)  Types of Leader  Institutional  Assignments &  Self Development  Development  Training & Education    Experiences  Examples of  Development  Programs  Resident &  Distance Education,  Certificate  Programs  Developmental  Assignments  Specialized Study,  Professional  Reading  This study is limited to leader development in institutional education however;  the model shows the linkage of distance education between the three modes of leader  development. For example, distance education often serves as a linkage between  institutional education, experiential assignments and self development since much of  our learning and work environment is linked with computer systems.  There are a  number of ways that leaders use both formal and informal systems to further their 48  cognitive development such as formal education programs, certificate, and  information briefings that are distributed through distance education.  Expansion of  this model could be considered in future studies to illustrate other means of strategic  leader cognitive development beyond institutional education.  Distance education is in some organizations considered to be self  development.  However; institutional distance education provides interaction with  informational and personal networks that goes far beyond self development.  Strategic  theorists develop strategic concepts that integrate elements of history, power, and  national security.  Strategic practitioners develop and execute plans that employ both  military and civilian organizations to accomplish the strategic ends, means, and ways.  In distance education, strategic leaders use online resources to increase their ability to  handle complex and uncertain environments.  Effective organizations are a result of  the ability of leaders, theorists and practitioners to coordinate, formulate, implement,  and evaluate new strategies to adapt to complex and rapidly changing environments  (Ziegenfuss 2002).  Army doctrine advocates a hierarchical approach to leadership where strategic  leadership shapes organizational culture.  Strategic leaders in the Army establish  force structure, allocate resources, communicate strategic vision, and prepare for  future roles (Army 1999; Shinseki and Hesselbein 2004).  Strategic leaders are  developed by concentrating on interpersonal, conceptual, and technical competency  sets through learning and experience.  Military educational institutions like the Army  War College are developing ways to assist strategic leaders in developing strategic  level cognitive capacity (Holzer 1999; Murray 2000; Heikkila and Isett 2004). 49  Zacarro defines cognitive leader capacities as intelligence, analytical reasoning,  flexible integrative complexity, cognitive skills,  and creativity (Zaccaro 1996;  Zaccaro 2001).  Effective strategic leaders understand how to develop a vision that articulates  the application of ends (objectives), ways (courses of action) and means (resources)  to accomplish national interests (Freeman 2003).  The Army War College curriculum  is designed for students to gain insights into strategic thinking and decision making  through the examples of strategic leaders, strategic theorists and strategic  practitioners (Shambach 2004).  Strategic leaders integrate vision with resources for  organizations to coordinate ends, means, and ways.  Strategic leadership studies indicate that cognitive problem solving skills are  defined in terms of skill application of superordinate cognitive functions.  Cognitive  leadership capacity is a measure of  individual ability to effectively use information  processing, inductive and deductive reasoning (Jaques and Stamp 1990; Zaccaro  2001).  For example, leaders with low cognitive complexity are most comfortable  with simple tasks and concepts that can be completed within a year.  Leaders with  high cognitive complexity have the ability to process complex concepts over a long  time frame (Jaques and Clement 1991; Markessini 1993; Heikkila and Isett 2004).  Strategic leader cognitive complexity is associated with strategic level tasks  that in some cases may take in excess of twenty years to plan and develop depending  on the individual’s experience and environment (Kanter 1995; Prahalad 1998).  Many  strategic leader skills are a result of educational and operational experiences that are  important in building cognitive capacity and problem solving skills (Hall 2002; 50  Heifetz 2004).  A combination of experience, cognitive capacity, and personality  characteristics tend to favor individuals for strategic level leadership (Jaques and  Stamp 1995; Gunawardena, Wilson et al. 2003).  Strategic leadership skills can be  developed through a number of means such as direct personal interaction and online  interaction.  Researchers are finding that cognitive development through online  learning to be as effective as traditional educational experiences (Bass and  Steidlmeier 1992; Schwartzman 2003).  The Army strategic leadership construct is grounded in hierarchical  organizational structure because it is thought that this structure helps to facilitate  accountability and control.  Most organizational hierarchical structures are defined as  strategic, operational, and production levels.  Elliott Jaques’ Stratified Systems  Theory (SST) evaluates how leader cognitive skills are a product of combing  organizational elements into meaningful patterns.  Leaders at various levels in  organizations have different skills and abilities in translating mental representations  of systems into operational maps of reality based on their educational and experiential  background.  Strategic leaders have frames of reference that are oriented toward their  experience and the external environment.  Jaques defines cognitive power as “the  mental force a person can exercise in processing and organizing information and in  constructing that map” (Jacobs and Jaques 1990).  Strategic leaders must be able to  guide an organization to contend effectively complexity and long term planning such  as realizing second and third order effects of decision­making as well as cause and 51  effect chains.  Examples of cause and effect chains are the rules and outcomes of  policies developed by strategic leaders that address specific issues in organizations.  Stratified Systems Theory (SST): A Strategic Leadership Model  Elliot Jaques and others found that the highest levels of organizational  leadership rely on increasingly sophisticated or strategic cognitive capabilities.  Cognitive capabilities are important for decision making and interpersonal  relationships that set a common direction for organizational members (Jaques and  Clement 1991).  Jaques’ model delineates seven stratums of leadership that can be  categorized within three categories of strategic, operational, and production levels of  leadership.  Jaques’ seven levels of organizational leadership structure correspond to  Mintzberg’s theory of divisional management (Mintzberg 1989).  Most organizations  distinguish between strategic, managerial, and production levels of leadership.  Complexity increases at each succeeding level in organizations because of the  increasing levels of uncertainty.  The level of uncertainty associated with problem  solving increases at higher levels of leadership.  Higher levels of uncertainty are  linked with increasing cognitive ability in complex decision making such as  predicting future strategies.  Jaques uses the stratums of leadership domain and responsibility model to link  leader planning time span with their age as illustrated in Table 2.4 that shows the  potential growth of leaders based on the leader’s ability to plan measured in time.  The individual potential is based on no interruptions to the individual’s cognitive  development as a leader (Jaques and Stamp 1990) .  The second line (darkest line on 52  the chart) from the top of the chart, leaders that are 20 years old in stratum IV  management or operational positions have the potential to achieve stratum VII at  approximately 65 years of age.  Table 2.4 Institutional Stratums of Leadership Domain and Responsibility  (Jaques 1991).  Stratum  Civilian/Military  Responsibilities  Time Span  20 years old  Age in Years  40 years old  60 years old  VII: Strategic  CEO/Combatant  Command  Creates Policy  20+ yrs  VI: Strategic  Corporate  Leader/ Corps  Command  Applies Policy  10+ yrs  V: Top  Management  Division  Command  Directs Complex  Organizations  5+ yrs  IV: Middle  Management/  District Leader/  Brigade  Command  2+ yrs  III: Lower  Management/  Battalion  Command  1+ yrs  II: Production  Manager  Team/Platoon  Leader  3+ months  I: Production/  Tactical  Individual/Small  Group Leader  < 3 months 53  Stratified Systems Theory (SST) offers insights to individual leadership  development and roles within organizational structures that are important to growth,  succession and innovation.  SST describes the increasing complexity of leadership  duties and roles in an organization that includes several levels of leader performance.  The performance levels include direct or production level of performance; operational  or mid level performance; and strategic level performance (Jaques 1986).  Organizational modes of operation may include directing operating systems at  the production level; general operation of complex systems at an operational level;  and strategic mode of operations for the development or deployment of complex  systems.  Organizational structure emphasizes the need for conceptual skills,  flexibility, and competence in each successive level of the organization (Jaques and  Stamp 1990; Jacobs 1998).  This research design focuses on the top level of the table  or the strategic level of leadership.  The interaction of strategic leaders with other  levels in the organization is important in evaluating cognitive development,  communication, and performance.  Table 2.5 illustrates an integration of the structure of Jaques’ Stratified  Systems Theory to assess leadership attributes of large scale organizations (Jaques  1986).   The table includes a comparison of civilian and military leadership levels in  organizations to illustrate the roles and functions at each institutional level.  Not all  organizations have seven stratums or levels of leadership that are depicted in the table  but most organizations have production, operational and strategic levels of leadership.  This study focuses primarily at the strategic level of leadership however, strategic  leaders interact frequently with operational and production level leaders. 54  The various levels of leadership depicted in Table 2.5 help to differentiate and  evaluate the degree of strategic leader roles and responsibilities.  This research design  focuses on the top domains of military and civilian leadership or stratums IV – VII  that are the top two levels (military strategic levels of leadership that are Army  Brigade level and above).  Strategic leadership Stratums IV­VII are the levels that the  majority of general officers and CEOs perform.  The table describes the time frames,  tasks, domain, and level of responsibility typically associated with each stratum.  Strategic, managerial, and production levels of civilian organizational  structure are similar to the military strategic, operational, and tactical levels of  leadership as shown in Table 2.5.  This study focuses on the strategic level of  leadership however, interactions occur between the different levels of leadership.  The organizational relationship between the levels of leadership is especially  important with the flattening of organizational structure due to increasing interaction  of military and civilian agencies.  Globalization is causing civilian and military operations to become  increasingly integrated to accomplish the diverse roles and missions such as  reconstruction and delivering humanitarian aid.  These roles and missions require that  leaders have knowledge of many different types of organizational structure for  effective operations such as contractors that are supporting military operations in Iraq.  For example, strategic level military leaders interact with all levels of international  governments, non governmental organizations, and multinational corporations. 55  Table 2.5 Institutional Stratums of Leadership Domain and Responsibility,  Adapted from Level and Type of Capability in Relation to Executive  Organization, (Jaques 1991).  Stratum Time  Span  General Task  Requirements  Domain  Military/Civilian  Military Level of  Command  VII  20+ yrs  Creates Policies  Strategic  Combatant Command  Army  VI  10+ yrs  Applies Policy  Corps  V  5+ yrs  Direct Complex  Systems  Operational /  Management  Division  IV  2+ yrs  Allocates to units  Brigade  III  1+ yrs  Develops and  executes policy  Tactical/  Production  Battalion  II  3+ months  Directs work;  Solves problems  Company  I  < 3  months  Hands on  Platoon/Section  The top section of Table 2.5 depicts the strategic level of leadership that  accomplishes long range planning and interfaces with the external environment.  The  middle level of leadership depicted in the table is the operational or organizational  leadership section that is responsible for mid range planning, work coordination and  resource allocation. The bottom section of the table is the tactical or production layer 56  where mission requirements are executed and evaluated.  This research focuses on the  top level of the table or the strategic level of organizational leadership.  Some academics are critical of SST theory because several research studies  indicate that strategic leaders make better decisions when they have greater access to  information and developmental systems such as distance education (Paparone 2004).  Organizations are also becoming less hierarchical and have transitional structures to  adapt to change although most organizations continue to operate with strategic,  operational and production levels of leadership.  Further research is needed to fill the  gap in public administration literature about the complex nature of cognitive  development through technological systems such as distance education (Yukl 1998;  Heikkila and Isett 2004).  Stratified Systems Theory (SST) helps to explain how military leadership  creates conditions for effective organizational relationships.  Strata of leadership  positions are related to levels of work, responsibility, and complexity.  Understanding  the various dimensions and potential of leaders provides insights about the level of  complexity an individual can generate and the capabilities that leaders prefer in their  roles.  SST examines leader growth, capability to act in a leadership role that  includes taking responsibility at increasingly complex levels (Jaques and Stamp  1995).  Cognitive capacity is an important measure of strategic leader capability to  perform higher levels of work because it measures the individual capacity for  complexity over time (Jaques and Clement 1991; Heikkila and Isett 2004).  SST  assumes that bureaucratic organizations need a requisite number of managerial levels 57  because work at each successive level is thought to be qualitatively different from the  other levels.  The theory also assumes that individuals are different in the capacity to  carry out work at successive organizational levels and self directed means such as  distance education (Lewis 1996).  Public administrators need multidimensional  leadership attributes such as intellectual, social and problem solving skills because of  the complexity of public needs and issues.  For example, public managers have to  carefully balance political, legal, and budget considerations in public planning and  decision making because public sector leaders face greater scrutiny than their private  sector counterparts.  There are several links between Jaques’ leadership studies in the fields of  mental complexity and cognitive development.  For example, some research suggests  that personal leadership development is a series of successive stages of cognitive  restructuring that requires assessment and feedback of individual and organizational  performance (Piaget 1965; Cummings and Worley 2001).  Piaget found that behavior  is a means of adapting to the environment utilizing mental organizations or schemes  that individuals use to represent the world for equilibrium (Piaget 1965; Huilt and  Hummel 2003).  Schemes are reflexes to control behavior and are developed through  assimilation or transforming the environment and accommodation which is changing  cognitive structures to adapt to the environment (Huilt and Hummel 2003).  More  recent research findings indicate that leaders demonstrate potential for higher level of  performance capacity based on their individual conceptual skills and way of acting  (Jaques and Stamp 1995; Zaccaro 1996; Bass and Avolio 2000; Donahue 2004). 58  Conceptual skills include professional competence, conceptual competence,  and socio­political awareness (Jacobs and Jaques 1990).  Professional competence is  the ability of the officer to perform his or her duties including capabilities such as  technical competence, quickness in understanding new situations, and knowing how  the institution functions (Markessini 1993).  Strategic leaders are generally quick  learners, provide sound organizational guidance, and have high professional  competence in understanding complex situations.  These leaders effectively use  resources to accomplish the mission and have the expertise in understanding realistic  quality standards and keen sensitivity.  Cognitive competence assesses the breadth and depth of the leader’s frame of  reference and vision as well as their comfort level in developing long range plans and  objectives (Jacobs 1998).  Individuals with cognitive competence understand how  they fit in the larger picture and are able to see all sides of a problem as well as  separate the trivial from the important.  Socio­political awareness is especially  important for strategic military leaders in evaluating the sensitivity to political issues  and interests beyond the military.  Strategic leaders need to develop a wide range of  competencies to compete in political arenas to secure support and commitment such  as direct and indirect networks .  Bureaucratic organizations like the Army generally have more supervisory  levels than the work actually requires which creates redundancies in leadership roles.  Environmental changes are creating new forms of organizational structure that  challenge future strategic leaders to think creatively (Collins and Porras 1994).  SST  assesses and predicts individual ability to perform at different levels of conceptual 59  complexity in organizations based on the individual’s cognitive skills and age.  Strategic leaders need cognitive skills to anticipate and adapt to environmental  changes such as crisis, organizational restructuring, and cultural change.  Strategic leaders think and lead in a way that encourages others to commit to  an organizational vision based on shared language, participation, and common  meaning.  For example, Combatant Commanders in military organizations have  similar roles as State Department Ambassadors in providing resources to carry out  national security policy decisions.  The AWC distance education program facilitates a  common educational experience for State Department and military strategic leaders to  integrate their ideas and experiences in long term planning for national strategy and  security.  Strategic leaders determine span of control, types of operations, planning  horizons, and the extent of influence on global and national perspectives.  The highest  organizational level leaders need cognitive capacity for complexity and long term  planning to perform strategic level duties and responsibilities.  The Modified Career Path Appreciation (MCPA) survey instrument was  developed by Gillian Stamp based on Jaques’ model to measure individual capacity to  deal with complexity and to determine potential for future leadership (Jacobs and  Jaques 1990).  The leadership growth rate is the rate at which individuals will  increase in capacity to handle complexity over time, absent any intervention.   This  growth rate is of particular interest in determining leader potential for serving as  future strategic leaders. Cognitive growth is found to be accelerated by diversity of  individual experience and higher education such as the Army War College distance  education program (Jacobs and Jaques 1990; Hall 2002). 60  The statements in the MCPA survey instrument are designed to assess  individual capacity for complexity in leadership roles that are a result of experience.  The six sets of statements in the MCPA provide respondents a choice ranging from  low to high complexity.  A range of choices measures the extent to which an  individual is comfortable with unstructured, complex, or open ended scenarios.  The  MCPA is predictive of an individual’s potential for growth over time in capacity to  deal with complexity that exists at higher level organizations (Stamp 1988; Jaques  and Stamp 1990; Jaques and Stamp 1995).  The details about how the MCPA survey  instrument was utilized in this study is explained in detail in the following  methodology and analysis chapters.  Conclusion  As a relatively new and developing field of professional development,  distance education is making increasingly important contributions to strategic leader  cognitive development as it relates to public administration.  Previous studies and  theories on leader cognitive development focus primarily on traditional educational  programs and operational levels of leadership.  This study is grounded in Elliot  Jaques’ Stratified Systems Theory and the MCPA survey instrument that has been  utilized in previous studies that evaluated the potential of leaders in both military and  civilian organizations.  The SST theory and MCPA survey instrument have not been  previously used in leadership studies pertaining to strategic leader cognitive  development through distance education. 61  The literature on strategic leader leadership and professional development is  derived from a multidisciplinary field of study.  However, there is a gap in the  literature concerning leader cognitive development through distance education.  Leadership theory is evolving because of the development of new online educational  and experiential systems that  prepare future leaders for increasing levels of  complexity and responsibility.  Literature pertaining to strategic leader cognitive  development indicates that higher levels of education and diversity of experience are  important to evaluating environmental and technological changes (Kanter 1995; Hall  2002).  This study is designed to address some of these gaps in the literature and  provide some insights based on research about distance education professional  development systems that contribute to leader cognitive development. 62  Chapter 3 Methodology  This chapter presents an overview of the study methodology by identifying  the research question, the participants, survey materials, research design, and study  time line.  The intent of this study is to determine if the Army War College Distance  Education program contributes to the cognitive development of senior leaders and  what aspects of the program are important.  This study uses mixed methods with both  quantitative and qualitative data as a way to examine the multidimensional aspects of  strategic leader development.  The mixed methods process offers a balanced and in  depth analysis of strategic leader cognitive development.  Mixed methods also  supports triangulation of the data and provides the researcher a process to combine  the quantitative and qualitative aspects of the research (Patton 1990; Creswell 1998;  Denzin and Lincoln 1998).  In this study the investigator uses data from surveys,  focus groups, and individual interviews to evaluate and triangulate patterns of  responses.  Creswell emphasizes that combined qualitative and quantitative designs  encourages better understanding of the concepts being explored through triangulation  with several sources of data.  Denzin defines triangulation as “the combination of  methodologies in the study of the same phenomenon” (Denzin 1978).  Multi­data  approaches to analysis achieve broader and often better results.  Triangulation of data  includes a mixture of measuring direct reports, feelings, and behaviors from the  respondents’ experience with the distance education program primarily from the  survey instruments, focus groups, and individual interviews. 63  The qualitative tradition of inquiry for this research is a case study that  examines distance education programs as bounded systems.  A bounded system is  limited by time and place, such as the specific study of the Class of 2007 at the Army  War College analyzed in this work.  This case study investigates the success of  student cognitive development at the Army War College, with its cultural, physical,  political, historical, and social environment (Creswell 1998).  Qualitative research serves to explore human or systems problems by  analyzing words, data, and reports that provide detailed views of respondents in a  natural setting.  In this study, the investigator triangulated data from participant  responses to the survey instruments, focus groups, and individual interviews but also  examined trends from online threaded forum discussions and written requirements.  These multiple sources of data provide patterns and trends about the way respondents  approached their distance education experience.  The respondents’ performance in the  program written and forum requirements provided the investigator some insights  about the importance of these requirements to leader cognitive development.  Quantitative research in this study uses validating survey instruments such as  the strategic leadership course survey and the Modified Career Path Appreciation  (MCPA) survey instrument.  The strategic leadership course survey was administered  after the first course in the distance education program and was designed for  respondents to assess how the curriculum, course objectives, online materials, and  evaluative requirements contributed to their development as strategic level leaders.  The MCPA survey was administered at the beginning and end of the first year of the  program and assessed respondent understanding of the transition from managerial 64  positions at the organizational level to responsibilities requiring indirect leadership  competencies at the strategic level.  The investigator triangulated data from the course  survey, MCPA survey instrument, focus groups, and individual interviews.  Results  served to identify and explain the unique elements of the distance education process  that contributed to strategic leader cognitive development.  An ethnographic audit was used in this study as an element of the research  design that involves prolonged observation of the group.  The fundamental activities  of ethnographers to gather evidence through fieldwork, document respondent  viewpoints, and collect verbatim statements from respondents.  The investigator  observed the respondents over a fifteen month period during their participation in the  distance education program.  As a member of the distance education program faculty,  the investigator observed as well as interviewed, members of the study group  (Creswell 1998).  The ethnographer observed the respondent behavior and inquired  about the meaning of the behavior by studying the course curriculum, student course  submissions, and surveys (Passmore 1988; Martin and Frost 1996; Weick and  Westley 1996; Creswell 1998).  This study provides an overview of the Army War College culture and  community with a detailed description of the distance education program course  content, methodology, and the respondents’ demographic background.  Patterns and  trends in the respondents’ cognitive growth as a result of completing the distance  education program are highlighted by their comments in the study surveys and  interviews.  This work was accomplished through action research since the 65  investigator took part in the formal instruction and evaluation of the respondents’  course work.  The ethnography of this study seeks to establish a holistic perspective of the  cognitive development of strategic leaders through distance education.  This research  design required considerable time with students and faculty members in order to  understand fully the culture of strategic leader development through distance  education.  An important step of the research process was to audit the distance  education program and to examine the organizational environment.  The audit was  accomplished by evaluating respondent performance records of written and online  forum requirements, reviewing course surveys, and talking with the respondents in  the focus group and individual interviews.  The auditing process provided some  insight about the respondents’ behaviors, values and assumptions about the distance  education process that are presented in Chapter 4.  The following section is an  overview of the Army War College distance education program and the systems that  are used to evaluate leader cognitive development.  Overview of the Army War College Distance Education Program  The mission of the Army War College (AWC) is to prepare selected military,  civilian, and international leaders for the responsibilities of strategic leadership; to  educate current and future leaders on the development and employment of land power  in a joint, multinational and interagency environment; to conduct research and publish  on national security and military strategy; and to engage in activities that support the  Army’s strategic communications efforts. AWC provides both resident and 66  nonresident instruction.  The resident program is a full time, ten month graduate  school program and the nonresident or distance education program is a part time, two  year program.  Only 300 officers are selected each year for the resident program  while the non resident education program can accommodate over 400 students each  year.  The non resident program is called the Distance Education Program and is  administered by the Department of Distance Education (DDE).  The DDE program parallels the resident program but is conducted primarily  online.  Two summer resident courses are part of the program, however.  The resident  courses take place after students have completed the first five courses in the first year  and again upon completion of five more courses in the second year of the program.  The summer resident courses are two weeks in duration and are designed to facilitate  student and faculty communications as to well as reinforce curriculum objectives  through lectures about strategic leadership topics such as ethics, globalization, and  civil­military roles.  This case study focuses on the first year of the distance education  program.  The first year of study in the Army War College Distance Education Program  commences in June and ends with the completion of the first resident course the last  two weeks of June in the following year.  The online study consists of courses in  Strategic Leadership, International Relations and the Use of Power, National Security  Policy and Strategy, War and Military Strategy, and Department of Defense  Organization and Strategy.  The following table and section is a summary of the  courses that are in the first year of the Army War College Distance Education  Program and a detailed explanation of each of the courses.  The first year of study is 67  designed to prepare the student for strategic leadership roles and responsibilities and  challenges the student with strategic level issues, critical thinking skills, and graduate  level writing skills.  Table 3.1 Department of Distance Education Curriculum Schedule  Course 501  Course 512  Course 522  Course 532  Course 541  Strategic  Leadership  International  Relations and  the Use of  Power  National  Security Policy  and Strategy  War and  Military  Strategy  DoD  Organization,  Planning and  Strategy  Starts: 1 June  Ends: 1  August  Starts:1 August  Ends: 1 October  Starts: 1  October  Ends: 1  December  Starts:  1  December  Ends: 15  February  Starts: 15  February  Ends: 30  April  Topics:  Leadership  Skills,  Environment,  Application  Topics:  International  Relations  Theory,  Transnational  Interests  Topics: U.S.  Foreign and  Security Policy,  Sources of  Influence,  Policy Models  Topics:  Military  Element of  Power,  Evolving  Nature of War  Topics: Joint  Strategic  Planning,  Programming,  Budgeting  System  The Strategic Leadership course is a foundational course in the distance  education program and provides students an overview of strategic level leadership  theory and practice.  The course focuses on differentiating between strategic and  operational or tactical level, of leadership and the importance of values­based ethical  behavior, decision­making, and contending with a vulnerable, uncertain, complex,  and ambiguous (VUCA) environment. Students are required to evaluate leadership  competencies and skills at the strategic level.  Historical case studies provide students  the opportunity to assess the strategic level leadership competencies and critical  thinking skills of a strategic level leader. 68  The International Relations and Use of Power course places ideas about  international relations in a historical context as well as evaluating prominent realist,  constructivist, and liberal schools of international thought.  Students are required to  analyze the roles of various actors in the international system such as states,  organizations, and multinational corporations.  The course focuses on the post­Cold  War period and an integrated globalizing world that must also contend with  instability, insurgencies, and terrorism.  Transnational problems are reviewed to  evaluate challenges applicable to security and the use of diplomatic, informational,  economic, and military power.  The National Security Policy and Strategy course examines the formulation  and execution of U.S. foreign and security policy and makes the connection between  theories of international relations and domestic sources of influence.  Various policy  making models and several case studies of foreign and national security policy  provide students insights to the policy process.  The U.S. national security policy  formulation procedures are reviewed with emphasis on the interagency process and  the organization and operation of the National Security Council.  The War and Military Strategy course is a study of the military element of  power and emphasizes the permanent yet evolving character of war.  The readings  and online forum discussions focus on how conflict shapes strategic thought and  military practice.  The course includes both classic and contemporary ideas on war  and the formulation of military strategy with readings such as Clausewitz, Colin  Gray, and Sun Tzu. 69  The Department of Defense Organization, Planning, and Strategy course  provides students with an understanding of the interrelationships of the Joint Strategic  Planning System, the Joint Operations Planning and Execution System, and the  Planning, Programming, and Budgeting System.  Students examine the effects of the  Goldwater­Nichols Defense Reorganization Act of 1986 on the Department of  Defense.  Students also receive an overview of the Army and Department of Defense  Acquisition System providing a study of weapon and equipment development and  fielding.  Upon successful completion of the five first year courses, students were  required to participate in the two week, First Resident Course at the Army War  College in Carlisle Barracks, Pennsylvania from 19­29 June 2006.  Students  participated in seminar discussions, lectures, and conducted research on topics of  strategic interest.  The lectures covered topics that were complementary to the  program curriculum such as diplomatic, economic, informational and military issues.  The Class of 2007 had lectures and discussions by several renown speakers such as  Dr. Silliman, Director of the Duke Law School and former Air Force Judge Advocate  General who spoke about ethical issues surrounding military operations in Iraq and  former Congressman Lee Hamilton who spoke about the role of Congress in security  affairs.  After the lectures, students had the opportunity to interact with the speakers  during a thirty minute question and answer period.  Most lectures were followed by  seminar discussion periods where students could discuss important points from the  lectures in small groups. 70  The seminar discussion periods help students to think critically and to enhance  their understanding of issues from the lectures.  Distance education students were also  able to develop face­to­face relationships with their peers enhancing their online  communications.  The resident course also allows students to meet personally with  the college faculty, staff, and take advantage of services such as library, computer,  and wellness programs.  Several social events were conducted during the first resident  program so that students could develop interpersonal relationships with fellow  students and faculty members.  Distance Education Program Curriculum and Evaluative Requirements  Table 3.2 is a summary of the curriculum systems and evaluation standards  that were used in the Army War College Class of 2007 program.  Curriculum  readings, videos, and other online activities are the core material to support lesson  and course objectives.  Each course draws from a variety of resources including  books, journal articles, and online data sources to provide students a variety of  perspectives on selected topics.  Interactive modules and simulations provide  opportunities for students to evaluate and test aspects of the course material.  The  interactive modules provide students the opportunity to gain in depth analysis of  specific course themes.  Simulations allow students to test course doctrine and themes  in a variety of scenarios in order to gain insights of second and third order effects of  decision making and role playing.  These dynamic and diverse curriculum materials  and systems are used in many different types of distance education programs. 71  The evaluation criteria for each of the five courses of study are generally  based on a requirement for students to complete two written requirements and  participate in a course forum.  The written requirements are related to the course  learning objectives and the responses to the topics are limited to 1500 words in  length.  In addition to the written requirements, students are required to participate in  a week long course forum which is a threaded discussion that centers on the course  subject and readings.  Students are required to post entries on a daily basis  summarizing an assigned topic that is linked to the course readings.  Forums provide  students the opportunity to share their perspectives and detailed discussion of course  topics and issues.  Online discussions and writing requirements contribute to distance  education student learning and motivation  (Berge and Schrum 1998).  Table 3.2 Distance Education Program Systems  System  Description and Purpose  Curriculum Readings and Videos  1200 pages of online reading per  course and video materials from  lectures, journals, etc.  Learning Modules and Simulations  Assess student understanding and  comprehension; support role playing  and future studies  Written Evaluation Requirements  Two written 1500 word requirements  focusing on course readings and issues  Forum Evaluation Requirements  5­7 day interactive discussions for  students on course topics; faculty  facilitation and evaluation of  participation 72  Students are required in forums to synthesize course readings and to use  critical thinking to formulate their concepts.  Students make the forum entries into  designated online folders that are used as a system of exchanging and tracking  discussion about course topics.  The students overwhelmingly enjoy the forums more  than the written requirements because the “online discussion” is less structured than  written requirements although the total time involved is about the same as the written  requirements.  Evaluation criteria for forum discussions are generally less rigorous  than written requirements and students are rewarded for their contributions to the  discussions.  The writing and forum requirements were evaluated by the faculty as a  means to assess respondent understanding of the program objectives.  Standards for student performance are defined in the Army War College  policy for written submission and oral presentations.  Students are expected to be  actively involved in the seminar learning process of contributing as well as listening  and challenging ideas.  Written requirements are expected to be presented at the  graduate level that synthesizes and analyzes sources instead of description and  opinion.  Students are given numeric evaluations for writing and forum requirements  (Level 1­5) that are similar to alphabetic grades with a grade of 1 meaning failure to  meet standards; 2 meaning incomplete work; 3 means meets standards; 4 means  exceeds standards; and 5 means outstanding.  A grade of 1 or 2 requires students to  resubmit their requirements and students that receive three failing evaluations are  placed on academic probation.  Evaluation focuses on content, organization, and style with content being  weighted most heavily in the final evaluation.  Feedback on student progress is 73  provided in comments on each student submission and students are encouraged to  contact faculty members to discuss their performance.  An academic feeder report is  prepared by the faculty for each student and is included in the student’s file for  inclusion in the academic evaluation report that is prepared at the end of the distance  education program.  The academic evaluation report becomes part of the students’  official personnel file.  Research Question  The research question for this study is:  Do U.S. Army War College students  increase their cognitive skills by completing the first year of the U.S. Army War  College Distance Education program?  Participants  This research design was directed at approximately 426 military and civilian  students that were selected for the Class of 2007 Distance Education (DDE) program.  The attrition rate in the Class of 2007 was approximately 30 percent or 130 students  in the first two months of the program primarily due to the heavy time commitment  required of the program.  This study focuses on the military population of 285  students that completed the first year of the distance education program.  The Class of 2007 experienced a 32 percent level of attrition as a result of a  combination of personal, academic, and professional conflicts. Some of the reasons  students leave the distance education program are because of conflicting professional  and personal responsibilities such as frequent travel, deployments, illness, or family 74  issues.   In some cases the students find the academic requirement and time  commitment to be overwhelming.  Military students in the distance education program were selected by a  Department of Army board based on their demonstrated performance of duty and  potential for increased responsibility.  Over 70 percent of distance education students  were comprised of reserve component officers who have a wide variety of leadership  skills and competencies because of their civilian and military vocations.  Attending  the Army War College was a means to accomplish military educational requirements  for promotion to higher levels of leadership and selection for strategic level  leadership positions.  The purpose of the distance education program was to prepare  senior officers for strategic leadership roles and responsibilities.  This study population was comprised of military officers and the  demographics are presented in Chapter 4.  The civilian student population response  was limited to less than five respondents and was not included in the data.  The  predicted response rate to the survey instrument was approximately 50 percent or  approximately 150 student respondents. The response rate to the first survey was 125  students or 44 percent of the military student population.  The second survey response  rate was 67 students or 24 percent of the total student population. The paired t­test  and final analysis is based on the 67 respondents from both the pre and post test  surveys.  This response rate was thought to be representative of the respondent  population because the demographical data was similar to the entire study population;  i.e. the student body is fairly homogenous.  The control group was comprised of five 75  students who deferred or disenrolled at the beginning of the distance education  program (within the first course or first month of the program).  Instruments  This study employed a mixed methods approach of collecting and analyzing  quantitative and qualitative data.  The qualitative data collection and analysis were  based on survey instruments, focus group, and individual interviews to achieve broad  and rich results.  The quantitative data consisted of the MCPA survey and the  Strategic Leadership Course Survey Report.  The MCPA survey instrument uses nine  different phrase sets or statements to assess leader cognitive development.  It has been  used in a number of studies and is currently used in several other senior service  colleges and other organizations to examine strategic leader cognitive development  (Jacobs and Jaques 1990).  The Strategic Leadership Course Survey Report presents  data concerning student satisfaction with the course curriculum, materials, and  evaluative requirements.  Studies have found that student satisfaction and affinity  with education programs contributes to the adult learning process and cognitive  development (Holzer 1999).  This report provides insights to the students’ perceptions  of the effectiveness of the course materials, participation in online forums, and  evaluation of written and forum requirements.  The qualitative data was derived primarily from respondent focus group  discussions and individual interviews.  The intent of the discussions and interviews  was to get respondents to explain their responses to the surveys and describe their  experiences with the distance education program.  The focus groups and individual 76  interviews were designed to help explain the survey data and provide some insights  about the effects of distance education in the strategic leader cognitive development  process.  Each of the data sources provided different perspectives to help illuminate  how the distance education program contributes to strategic leader cognitive  development.  Table 3.3 is an overview of the primary instruments that were used in  this study.  Table 3.3 Overview of the Primary Study Instruments and Data Sources  Instruments  & Data  Sources  MCPA Survey  Instrument  Course  Survey  Focus Group  Interviews  Individual  Interviews  Description  Measures  Leader  Cognitive  Skills  Measures  Student  Satisfaction  with Course  Group  Assessment of  Leader  Cognitive  Development  through  Distance  Education  Individual  Assessment of  Leader  Cognitive  Development  through  Distance  Education  Type of Data  Scientific &  Interpretive  Scientific &  Interpretive  Interpretive  Interpretive  Quantitative measures  The investigator used the MCPA survey instrument to measure Army War  College student cognitive development at the beginning and end of the first year of 77  the distance education course.  The correlation coefficient in the MCPA survey  instrument is 0.79 which is the predicted rate of growth of capability and the level of  responsibility in four different organizational settings (Stamp 1988).  The construct  validity of the MCPA survey instrument is based on studies that include multinational  oil and chemical companies as well as previous studies with general officers and a  study with the British Army Staff College (Stamp 1988; Jaques and Stamp 1990).  In this study, differences in the measures of the MCPA survey instrument at  the beginning and the end of the distance education program indicate the impact of  the Army War College Distance Education curriculum on cognitive development of  the respondent population.  The MCPA survey included questions to establish  demographic parameters such as rank, education level, branch of service, gender, and  ethnic group.  A copy of the questionnaire is included in Appendix A.  The MCPA survey instrument identified the respondents’ current capacity to  contend with complexity.  The measures of capacity correlate to the levels of  complexity found at various levels in the organizational structure.   For example,  strategic leaders need to develop attributes associated with a strategic level of  leadership task complexity as denoted in Jaques’ Stratified Systems Theory (Jaques  and Stamp 1990).  The results of the MCPA survey instrument provided an indication  of the individual ability to handle strategic levels of complexity and the potential to  perform his/her duties adequately  (Stamp 1988; Jacobs and Jaques 1990; Jaques and  Stamp 1995).  For example, the Stratified Systems Theory helps to predict the level of  cognitive complexity respondents will be in the future based on the respondent’s age  and level the respondent is placed as a result of the response to the MCPA survey. 78  The growth rate is the rate at which the individual will increase capacity to handle  complexity over time, absent further intervention (Jaques and Stamp 1995).  Everyone grows cognitively over time, but respondents grow cognitively at different  rates based on their cognitive skills and experience.  Cognitive growth can be  enhanced by educational and developmental experiences such as completion of the  Army War College Distance Education Course (Markessini 1993; Hall 2002;  Schwartzman 2003).  The MCPA survey instrument consists of nine phrase sets that evaluate leader  cognitive capacity such as how they use information to perform tasks and achieve  outcomes.  Phrase Set 1 evaluates guidance and framework to accomplish work;  Phrase Set 2 evaluates types of information and tools; Phrase Set 3 evaluates the rules  used in decision making; Phrase Set 4 evaluates the type of approach strategic leaders  take in performing tasks; Phrase Set 5 evaluates the method strategic leaders use to  evaluate problems and issues; Phrase Set 6 evaluates the procedure strategic leaders  use to accomplish a task; Phrase Set 7 evaluates how strategic leaders deal with gaps  of information and knowledge; Phrase Set 8 evaluates how strategic leaders develop  various solutions; and Phrase Set 9 evaluates the way strategic leaders accomplish  solutions.  The analysis of the data pertaining to the nine different phrase sets is  presented in Chapter 4 and provides some insights to multidimensional aspects of  how strategic leaders contend with leadership roles.  The nine phrase sets provide a  diverse assessment of leader competencies that are especially important at the  strategic level. 79  Table 3.4 MCPA Survey Responses to Levels of Organizational Leadership  Phrase Set 1 Responses  Level of Organizational Leadership  1. Work to a complete set of instructions  Production or Tactical Level  2. Work within a given framework  Production or Tactical Level  3. Work with connections even if  particular links are unclear  Operational Level  4. Work in abstracts and concepts  Operational Level  5. Work with a minimum of  preconceptions  Strategic Level  6. Define the horizons of work  Strategic Level  The phrase sets in the MCPA survey instrument evaluate the respondents’  ability to work at one of the six organizational levels ranging from the lowest level of  production or tactical leadership to the highest strategic level of leadership.  The  phrase set responses were listed in random order on the MCPA survey instrument in  order to assess the respondents’ preference.  The survey responses were evaluated  using a scoring key that rank orders the responses of the instrument from Level 1 to 6  that is illustrated in Table 3.4.  Levels 1 and 2 responses are associated with the  lowest production level of leadership that have direct and short term leadership roles,  such as shift leader or team chief.  Level 3 and 4 responses are associated with  operational level of leadership with increasingly complex responsibilities over longer  periods of time, such as department head or project manager.  Level 5 and 6  responses are associated with strategic level leadership roles and responsibility, such  as the visionary roles of corporate presidents and agency directors. 80  The ordering of the survey instrument responses by level of leadership  described in the previous section allowed the investigator to measure the change in  the responses over time.  The following responses to the MCPA phrase sets were  presented in random order to the respondents.  The investigator used a key to code  the responses.  The order of the responses assisted the investigator in determining the  affinity of the respondent to the various levels of thinking as production,  organizational, or strategic level of leadership.  In this study, the responses to the  survey were on average at the organizational and strategic level of leadership.  The  data were then evaluated by the investigator to determine the respondent affinity to  various levels of leadership cognitive thinking and decision making skills.  The  analysis of the quantitative data was extended to evaluate overlaps with qualitative  data.  Each of the Modified Career Path Appreciation (MCPA) phrase sets has six  different statements that were mentioned in the previous section.  Respondents  selected one of the six statements (based on their level of cognitive capacity) that  described the thinking skills needed to perform at the strategic, operational, and  production levels of organizations.  MCPA survey statements are a measure of how  individuals think about work, the conditions in which they like to work, and or the  kind of work they like to do.  The MCPA survey instrument correlates the extent to  which individual respondent cognitive development has kept pace with their cohorts.  The survey also projects the respondents’ potential for future growth as a strategic  level leader. 81  Respondents were also asked to describe their time horizons or the planning  factors that they use for the future as measured in years as their final question in the  MCPA survey instrument.  The statement responses were scored together with the  time horizon to determine the trend of the cognitive development of the population.  The data provided some insights about levels of complexity and long term cognitive  thinking skills respondents developed as a result of the first year of the Army War  College distance education program.  The MCPA survey instrument provides space after each phrase set for  respondents to explain their phrase set selections and how it may relate to their  distance education experience.  The narrative explanations provide some qualitative  data that was useful in data analysis and research findings.  The data derived from this  section of the survey instrument were considered in the qualitative analysis along  with the data from focus groups and individual interviews.  The respondents’  explanation in the surveys, focus groups, and interviews resulted in some overlapping  themes that are discussed in the next chapter.  The statements in the nine MCPA phrase sets were presented to the  respondents in scrambled order.  The statements that were oriented to lower levels of  leadership were direct in nature, concrete, and oriented to production or operational  level leadership.  The statements oriented to higher levels of leadership were abstract,  descriptive of low structure, and oriented to the strategic level of leadership.  The set  of responses measure the extent to which individuals were comfortable with  unstructured and complex situations which are the more complex frames of reference  associated with higher leadership positions.  The MCPA was predictive of an 82  individual’s potential for growth over time and capacity to deal with complexity at  higher levels of organizations (Jacobs and Jaques 1990).  The MCPA survey instrument provides a measure of three dimensions that are  important for success in dealing with unstructured complexity at the highest levels in  organizations.  The three dimensions are the ability to contend with abstract concepts;  cross­reference from one type of problem dynamic to another; and use both rigorous  analytical and evaluative integrative logic.  The ability for strategic leaders to use  both analytic and integrative logic is essential because of the nature of the complex  time frames that occur at the strategic level of leadership.  Analytic skills enable leaders to envision what needs to happen despite  turbulence; integrative skills enable leaders to create a picture of what conditions are  necessary in providing direction.  The MCPA is an indicator of the probable  individual level of complexity and a predictor of the individual’s developmental  ceiling.  Correlations with other measures in the battery suggest that someone who  has a high MCPA score is more tolerant of ambiguity, is intellectually inquisitive, and  thinks reflectively (Jaques and Stamp 1990).  The Strategic Leadership Course Survey is another instrument that was  designed so students could assess the course curriculum and provide feedback about  how the course contributed to their development as strategic level leaders.  The  strategic leadership course survey was posted in the online course materials from  May­August 2006 and consisted of twenty questions evaluating the course  curriculum, online materials to include readings, videos, and forums, and the overall  level of satisfaction of the respondents with the course.  The results of the survey 83  were compiled into a report that assessed student opinions of the respondent  population.  Analyses of the data from the strategic leadership course survey are  presented in Chapter 4.  Qualitative Measures  This study also used standard qualitative (ethnographic) research techniques  to gather data.  The first step in this data collection process was to prepare a detailed  interview protocol that is synopsized in Table 3.5.  The interview protocol was  designed to provide additional details about the ways students respond to the MCPA  survey instrument phrase sets.  The focus group and interview questions were developed by the investigator  to further assess the respondents’ responses in the MCPA survey instrument about  their experience in the distance education program.  The intent of the focus groups  and interviews was to allow the respondents’ to explain their survey selections and to  discuss how the distance education program contributed to their cognitive  development.  The qualitative data was useful in explaining how distance education  information networks, experiential learning, and forum discourse contributed to the  significant quantitative findings from the MCPA survey instrument.  The interviews and focus groups were two way conversations between the  investigator and respondents that required specific questions to be asked of the  respondents and the investigator listening to patterns in responses.  The investigator  conducted the focus groups and interviews and collated the data to produce findings  that were grounded in specific responses or episodes pertaining to the respondent’s 84  experience with the distance education program.  The qualitative data was extensive  because of responses from the numerous pre and post survey entries, as well as the 10  interviews, three focus groups, analysis of online forum transcripts, and course  surveys.  Field notes were taken for all interviews and focus groups.  Respondents  were selected through a homogeneous and typical case sample methodology with  every effort made to ensure a representative sample (Creswell 1998).  Table 3.5  provides a comparison of the MCPA survey instrument, focus group, and individual  interview questions used by the investigator to evaluate and measure respondent  cognitive development through distance education.  Table 3.5 Comparison of MCPA Survey, Focus Groups and Interview Protocol  MCPA Survey Phrase Set Themes  Focus Group and Interview Themes  1. Guidance and Approach to Tasks  2. Ways Leaders Use Information/Tools  3. How Leaders Approach Rules  4. Ways Leaders Approach Tasks  5. Methods Used to Accomplish Tasks  6. Procedures in Solving Issues  7. Approach to Gaps in Knowledge  8. How Leaders Derive Solutions  9. Results of Leader Actions  1. How has time invested in the  Distance Education (DDE) program  contributed to your cognitive  development as a leader?  2. What aspects of the DDE program  challenges and support your cognitive  thinking skills?  3. How might you describe any changes  in your ability to contend with complex  situations that can be attributed to the  DE program?  4. Did you participate in any other  professional development or educational  programs this past year?  5. What implications do you think a  deployment had on your cognitive  development? 85  Long Term Planning Time Frame  (years)  6. How did you determine your long  term planning time horizon?  Challenges of strategic leaders and  distance education students  7. What are the greatest challenges for  strategic leaders?  8. What are your greatest challenges as a  DDE student?  Ways to make the survey process and  DE program better.  9. How helpful was it to explain your  selections in MCPA survey instrument?  10. What would you change about the  DDE program to better prepare for  strategic leadership roles?  The investigator is a member of the Army War College Distance Education  faculty and has had access to many aspects of program development and  implementation.  Subject matter expertise is important in putting into context the  findings and challenges of collecting and presenting data without bias.  The  investigator’s colleagues provided technical and subject matter expertise as annotated  in the Acknowledgements.  Research Procedures  The data for this study was collected throughout the first year of the Class of  2007 that commenced in May 2005 and ended in late June 2006.  The first set of data  collected was through the MCPA survey instrument pretest that was administered in  the first month of the distance education program in May 2005.  The second set of  data was collected through the Strategic Leadership Course survey instrument that  was administered from June to September 2005.  The third set of data was collected  from the MCPA survey instrument post test that was administered at the end of the 86  first year of study in May 2006.  The fourth and fifth sets of data were the focus  group and individual interviews that were conducted in June 2006.  The investigator obtained Army War College and The Pennsylvania State  University approval through their internal review processes.  The respondents were  provided directions explaining the voluntary nature of their responses to the survey,  focus groups, and interviews.  The research results were used only to assess the  effectiveness of the Army War College Distance Education Program.  Only aggregate  results of the instrument were reported to ensure respondent confidentiality.  Informed consent forms were presented and received from the respondents  prior to the distribution of the survey instrument.  To ensure confidentiality, the  MCPA instrument was distributed to students in the Class of 2007 both through mail  and an AWC website.  This procedure also served as a means for increasing the  response rate because the class had at least two opportunities to respond to each  survey.  Reminders were sent to the students every two weeks as a means to increase  the participation rate.  The survey was placed on a secured intranet site that required  the respondents to use their secure access to log on and complete the survey.  Upon receipt of the completed survey instrument, the researcher created a  Statistical Package for the Social Sciences (SPSS) data base to analyze the  quantitative data and a word processing procedure to organize the qualitative  responses. The MCPA survey instrument was scored by evaluating the mean of the  six possible responses to each of the nine phrase sets.  This process was completed (at  the beginning and end of the first year of the distance education program) to measure  changes in the respondents’ cognitive capacity.  The collective choices suggested the 87  level cognitive capacity at which the respondents liked to operate and their propensity  for future service at strategic leadership levels that required increased cognitive  capacity.  The surveys were coded by the respondents with their AWC log on numbers  to prevent duplication and to track responses.  When the online survey instruments  were received by the investigator, the assessment results were kept secured and  confidential by using secure Army War College internet sites.  Copies of the mailed  surveys were secured in locking filing cabinets to ensure respondent confidentiality  and anonymity.  Respondents were notified in the survey instrument about the focus group and  individual interviews that were scheduled during the first resident course.   The  respondents were reminded of the interviews a second time when the arrived at the  Army War College for the first resident session to help promote participation.  The  focus groups and individual interviews were designed to add to data from the survey  instrument and provide additional insights about their distance education experience.  The focus groups consisted of 6­8 students from the population of students that met to  discuss questions and issues presented in the interview protocol located in Appendix  A.  The intent of the focus groups and individual interviews was to explore exactly  how the distance education program contributed to strategic leader cognitive  development.  The investigator facilitated the focus group and interview sessions that  took place in the Army War College seminar rooms and library conference room.  These separate sessions allowed the facilitator to provide respondents a comfortable  setting for the interview process. 88  The interviews commenced with personal introductions followed by specific  questions such as “what aspects or materials of the first year of the distance education  program were helpful to you as a leader?”  The investigator ensured each member of  the focus group had the opportunity to speak about their personal experience with the  distance education program by calling on each member of the group by name.  The  focus group and individual interview sessions were at least 40 minutes in duration  and longer in some cases.  Respondents were eager to share their experiences and  thoughts about the distance education program and their development as a leader.  After the focus group and individual interview, the investigator compared these  results with the survey results.  The narrative explanation of each phrase set selection in the survey instrument  was evaluated by the investigator to determine if there were any patterns or trends in  student cognitive development.  Survey instrument responses were compared with  interview and focus group responses.  The overlap of some of the data indicated  triangulation or multiple forms of overlapping, diverse pieces of evidence and  perspectives.  Triangulation in this study was evaluation of quantitative and  qualitative data for overlapping themes in order to overcome bias and seek a holistic  explanation of how distance education contributes to leader cognitive development.  There is greater validity in the findings using multiple forms of evidence and  perspectives (Eden and Huxham 1996).  During the first resident course, the investigator presented a noon time briefing  to interested students on some general findings from the study such as the significant  quantitative data and themes from the qualitative data.  The purpose of the briefing 89  was to give the students an overview of the study results as well as allow them to ask  questions.  Over 100 members of the class attended the briefing which was also  broadcast into the seminar rooms by the Army War College broadcasting system.  The briefing attendees were given the opportunity to ask questions about the research  methodology and findings.  The study events took place as scheduled and the  investigator was able to achieve the study milestones.  Table 3.6 summarizes the major milestones of this study as described in this  chapter.  The milestones served as a way to anticipate and review the major events in  the study such as tracking survey responses and scheduling the focus groups and  interviews.  The investigator provided quarterly updates to the dissertation chairman  to keep him apprised of progress in the study.  Table 3.6 Research Design Milestones  Action Item  Start Date  Actual/Projected  Completion Date  Post and Mail Research  Letter and Consent Form  15 May 2005  15 June 2005  Email 1 st MCPA Survey  to Students  15 June 2005  30 July 2005  Analyze Data from  Course Survey  1 October 2005  30 November 2005  Email 2 nd MCPA Survey  to Students  9 February 2006  1 May 2006  Analyze Survey Data  1 May 2006  30 May 2006  Conduct Focus Group  and Individual Interviews  19 June 2006  29 June 2006  Brief Students on  Research  19 June 2006  30 June 2006  Complete Analysis of  Focus Group Data  1 July 2006  1 July 2006  Complete Thesis  1 August 2006  1 September 2006  Doctoral Defense and  Thesis Submission  15 September 2006  30 November 2006 90  Summary of Data Administration  The majority of empirical studies on strategic leadership are studies with  samples that primarily use interview methods (Stamp 1988; Markessini 1993).  The  interview method is a common approach to strategic leader research but has limited  internal validity (Rossi, Freeman et al. 1999; O'Sullivan, Rassel et al. 2003).  Most of  the previous studies were small, limiting the application of inferential statistics and  resulting in conclusions based primarily on descriptive analysis.  The intent of the  focus group and interview data in this study was to maximize validity and reliability  by comparing the quantitative data from the MCPA instrument with qualitative data.  Focus groups provided qualitative data through interviews that involved  questioning of several individuals simultaneously in an informal setting.  Group  interviews offered the advantage of being inexpensive, data rich, flexible, and  cumulative (Patton 1990; Krueger 1994).  Focus groups have high face validity and  capture the dynamic nature of group interaction as well as allowing flexibility for the  investigator to explore unanticipated issues that may not be identified in the survey  (Krueger 1994).  Table 3.7 is a summary of how the surveys, focus groups, and interviews were  administered in this study.  The table denotes the number of iterations of each of the  protocols, size of the protocol groups, and some remarks about the demographic make  up of the protocol population.  The intent of this table is to illustrate the diversity of  data that was collected and analyzed in this study as a means to evaluate a continuum  of quantitative and qualitative data.  Extensive use of multiple sources of data 91  provided an in­depth picture of how informational networks, experiential use of the  course material, and the forum discussions contributed to leader cognitive  development.  Table 3.7 Administration of Survey, Focus Groups and Interviews  Protocol  Application of Protocol  Size of Groups  Remarks  Quantitative:  MCPA Survey  Instrument  Pre Test: 130  Respondents  Post Test: 67  Respondents  Individual  Survey Sent to  Entire Course  Population of 285  Quantitative:  Student Survey  Report  234 Responses or  (61%): Survey  Followed Strategic  Leadership Course  Individual  98% Satisfaction  that course  contributed to  professional  development  Qualitative:  Individual and  Focus Group  Interviews  10 Individual  Interviews;  3 Focus Group  Interviews  10 respondents  3 focus groups  Cross Section of  Respondents from  Population  Qualitative:  Forum  Transcripts  2 Strategic  Leadership Forums  40 respondents  Assessment of  Forum Dialogue  The investigator used qualitative observation of student participation through  writing assignments, forum dialogue, and online surveys to triangulate the findings  and build an in­depth picture of the case.  The investigator’s experience as a distance  education faculty member provided ethnographic insights of student performance  through program communications and evaluations that added to the context to the 92  study findings.  Distance education systems provide many different forms of rich  observational data such as trends and patterns from surveys, forums, focus groups,  and individual interviews that are presented in Chapter 4.  These quantitative and  qualitative sources of data provided a holistic overview of the distance education  system and illustrate how the different aspects of the program relate to each other.  Delimiters/Limiters  This study evaluates the cognitive development of leaders enrolled in the  Army War College distance education program and are projected to serve in a variety  of challenging strategic level organizations.  The diversity of Army War College  Class of 2007 respondent population is delimiting in that it replicates some civilian  functions such as joint or interagency staffs.  For example, respondents in this study  have diverse experience with civilian, federal, and international agencies such as the  State Department.  On the other hand the study is limiting in the way the population  of the study respondents are solely military officers.  The first limitation is related to the size and homogeneity of the study  population.  This limits generalization to other educational institutions and programs.  Only 67 or 24 percent of the Class of 2007 responded to both the pre and post survey  so the results of the data must be interpreted with caution.  The Army War College  distance education program population is also fairly homogenous. Ninety­four  percent of students are male Caucasians, and 70 percent have some graduate level  educational experience.  Most other graduate level distance education programs have  much greater percentage of females and are more ethnically diverse. 93  The second limitation is that the mission, vision, and strategic goals of the  Army War College are different from most graduate level distance education  programs offered at public universities and colleges.  Officers are selected for the  Army War College based on their professional rather than academic background and  performance.  Army War College admissions requirements are not tied to the  Graduate Record Examination or review of undergraduate academic records.  All  officers are required to have a bachelor’s degree however; the lack of the students’  academic background inhibits their participation in forums and requires considerable  instructor guidance to complete written course requirements.  The Army War College  is, accredited by the Middle States Association of Colleges and Schools that also  accredits public universities and colleges in the Commonwealth of Pennsylvania and  surrounding states.  The third limitation of this research is the inability to provide students  feedback on their completed survey instrument because the feedback would have  helped the students focus on their strengths and weaknesses.  The Army War College  adopted a policy in 2005 to move the leadership feedback program from the college  to the Army Physical Fitness Readiness Institute (APFRI) that is also located at  Carlisle Barracks, Pennsylvania.  The relocation of the Army War College Leadership  Feedback program during this study was a result of an institutional change of policy  that subsequent to this study provides detailed feedback to students on the results of  the survey instrument.  Specialized APFRI staff members were not available to  provide individual respondents feedback.  However; the respondents were given an  overview of the research findings by the investigator during the first resident course. 94  The feedback to the individual students may have contributed to the respondents’  knowledge and ability to develop specific aspects of their cognitive thinking skills.  The fourth limitation of this study was that many respondents reported in the  individual and focus group interviews that they had participated in other professional  development programs.  The majority of the respondents indicated that these were  generally short term and related to their specific civilian careers, such as equal  opportunity, or accounting analysis.  These student experiences may have impacted  the outcome of this study in comparison with other graduate level studies.  It was also  difficult to make comparisons between the study respondents and typical graduate  students because of the unique and diverse background of military officer  professional experiences and assignments.  Conclusion  This chapter presented an overview of the ethnographic procedures used to  collect, analyze, and triangulate data along with explanations of why the procedures  and methods were selected and implemented.  This overview includes a synopsis of  how the case study was developed, the research question, selection of participants and  materials, the research design procedures, plus limiters and delimiters of the study.  This information is important to understanding the context and the conditions in  which the study was designed and conducted so the methods can be duplicated.  The  final part of the chapter identifies delimiters and limiters that may contribute or  distract from the overall outcome of the study such as the homogeneity of the study  population. 95  Chapter 4 Analysis and Results of Study Data  The purpose of this chapter is to present the data and analysis from this study.  Both the quantitative and qualitative data indicate there was significant change in  student cognitive development as a result of the completion of the first year of the  Army distance education program.  These findings caused the investigator to ask  what the reasons for the significant changes were and what aspects of the distance  education program can be attributed to the change?  The investigator concluded that  the increase in leader cognitive thinking skills was the result of three major factors:  use of distance education organizational subsystems (networks), the application of the  program material to the respondents’ leadership experience (experiential), and use of  online forum discussions in developing the respondents’ thinking skills (discourse).  The first part of this chapter is an overview of the results and triangulation of  the quantitative and qualitative data from the surveys, focus groups, and individual  interviews.  The second part addresses organizational subsystems (networks) in the  cognitive development of strategic leaders.  The third part is a summary of the results  and analysis of the study data.  This study called for the measurement of the cognitive development of the  respondents before and after “treatment” which is defined as the completion of the  first year of the Army War College (AWC) distance education course of study.  The  MCPA Survey instrument was used to gather some of the data.  The MCPA  quantitative data was evaluated using a paired t­test to examine leader cognitive  development as a result of completing the distance education program.  The  investigator also analyzed the MCPA post data with the respondent population 96  demographic data.  Statistical analysis indicated a significant change in the  respondents’ cognitive development following completion of the first year of the  distance education program.  The pre­treatment data was a measure of student  cognitive capacity prior to respondents starting the distance education course.  Post­  treatment data measured cognitive capacity upon completion of the first year.  Qualitative data from the surveys, focus group, and individual interviews also  resulted in some significant findings.  Correlation of the treatment and demographic  data did not indicate there was relationship between gender, ethnic group, age, or  educational experience and strategic leader cognitive development.  This finding may  be attributed to the fact that the study population was fairly homogenous.  In addition to the MCPA survey, a strategic leadership course survey was  administered and measured respondent satisfaction with the online curriculum  materials and evaluative requirements.  Studies have found that student satisfaction  with distance education materials contributed to their cognitive development.  The  results from the course survey indicated that respondents found the online  informational networks, the ability to exchange ideas in the forums, and applying  what they had learned to their personal experience significantly contributed to their  cognitive development.  The respondents’ comments from the surveys, focus groups,  and individual interviews indicated that informational networks, forums, and  application of the distance education program to their personal experience contributed  to their cognitive development.  Qualitative data was collected from focus group and individual interviews  while the students were attending the first resident course at the end of the first year 97  of the distance education program.  The investigator was able to conduct face to face  interviews in addition to the online surveys which provided a personal way to confirm  the triangulation of the data.  The focus groups and individual interviews gave  respondents the opportunity to explain and provide specific examples about how the  distance education program contributed to their cognitive development.  Rigorous  collection and analysis of the quantitative and qualitative data such as respondent  comments in the survey instruments, focus groups, and interviews which were the  primary sources of data were used to triangulate and analyze the study findings.  Other data such as the forum transcripts and respondent academic records  provided some additional insights.  This data along with the focus group and  individual interview data were analyzed with regard to patterns and trends from the  data and organizational subsystems such as culture, structure, technology,  management, and psychosocial networks.  Triangulation indicated a pattern in the  data that distance education program networks, application of course concepts to  respondent experience, and forum discussions contributed to respondent cognitive  development.  Demographical Data  The Army War College Distance Education Class of 2007 initially had a  population of 426 students however; there were only 295 remaining in the program at  the end of the first year.  Over 131 students deferred or disenrolled from the distance  education program.  Of the 295 students remaining at the end of the first year, 10  were civilians but only 4 of the 10 responded to the pre test survey.  The investigator 98  decided to limit the study to military officers since so few of the civilian students  responded to the survey, so this study is based on a population of 285 students.  The  attrition of the class was attributed primarily to increasing military deployments and  personal issues.  Students faced many competing demands on their time because of  professional and personal needs such as changes in work load, family dynamics, and  retirement.  In the population of 285 military students, 27 percent of the military members  hold the rank of Colonel and 73 percent hold the rank of Lieutenant Colonel;  approximately 94 percent are males and 6 percent females; 90 percent of the  population is Caucasian and 10 percent of other ethnic background.  Over 70 percent  of the population holds post graduate degrees and 28 percent only undergraduate level  degrees.  The population of the class and the study respondents is fairly homogenous  and somewhat different than most distance education programs that tend to be  predominately female and younger in age.  This demographic finding is noted in the  section that discusses limitations and delimitations of the study.  The respondent or treatment population consisted of 67 military students or 24  percent of the military student population who responded to both the first and second  MCPA survey instrument.  The MCPA survey instrument was provided to every  member of the Class of 2007 and several steps such as monthly online news updates  and personal phone calls were taken to notify and remind students to respond to the  survey.   The population of the study respondents is demographically representative  of the entire population in the Army War College Distance Education Class of 2007 99  based on rank, gender, ethnic, and educational background.  Demographic data  pertaining to the treatment group and the control group is depicted in Table 4.1.  Table 4.1 Demographics of Total Population, Treatment and Control Group  Gender of  Population  Gender of Treatment  Group  Gender of Control  Group  269 Males  (94%)  56 Males  (84%)  9 Males (90%)  16 Females  (6%)  11 Females  (16%)  1 Female (10%)  Highest Level of  Education  in  Population  Highest Level of  Education Treatment  Group  Highest Level of  Education  Control  Group  79 Bachelor’s  Degree (28%)  15 Bachelor’s  Degree (22%)  3 Bachelor’s  Degree (30%)  206 Graduate  Degree  (72%)  52 Graduate  Degree (78%)  7 Graduate  Degree (70%)  Ethnic Background of  Study Population  Ethnic Background of  Treatment Group  Ethnic Background of  Control Group  250 Caucasian  (88%)  116 Caucasian  (89%)  9 Caucasian  (90%)  18 African­  American  (6%)  8 African­  American (6%)  1 African ­  American  (10%)  10 Asian  (4%)  5  Asian  (4%)  8 Hispanic  (3%)  1 Hispanic  (1%)  The control group consisted of 5 respondents that completed both the pre and  post surveys.  The results of the control group are interpreted with caution since they  are not necessarily a reflection of the entire class.  The demographics of the control 100  group is similar to the entire Class of 2007 Distance Education Program with the  exception that the control group has 8 percent less respondents with post graduate  degrees than the treatment group.  This finding indicates that respondents with  graduate level of education had greater success in the first year of the distance  education program.  This finding was also evident in the increased quality of the  respondents’ that had graduate level experience in the written and forum  requirements.  This study evaluated demographic identifiers such as gender, ethnic group,  and level of education to determine whether there was any correlation of these factors  to strategic leader cognitive development.  Demographic identifiers helped to  determine trends and aspects of distance education systems that may be important to  future professional development in public administration.  Leadership literature posits  that individuals having interest in feedback and professional development generally  have a higher degree of success at the strategic level of leadership .  The results of the correlation analysis are shown in Table 4.2 and indicate  that there was no significant correlation between the demographic variables and  strategic leader cognitive development.  The lack of significance (p<.05) may be  attributed to the fact that the respondent population in this study was fairly  homogenous.  The demographic data suggests that students with graduate level  educational experience had greater success in completing the first year of the  distance education program in this study.  This finding is inferred from the fact that  a larger population of respondents with graduate level education successfully  completed the first year of the distance education program. 101  Table 4.2  Correlation Analysis of Demographic Factors  Demographic  Factor  Age  Gender  Ethnic Group  Education  Level  Pearson  Correlation  Coefficient  0.68  0.41  0.51  0.35  Course Survey Findings and Analysis  This section presents the results of the Strategic Leadership Course Survey  and the MCPA survey instrument.  The purpose of the course survey was to assess  student understanding of the program materials with regards to the curriculum, online  materials, and evaluative requirements.  The course survey was posted on 17 May  2005 and closed on 19 September 2005 so that students could respond after they  completed the strategic leadership course requirements.  The response rate for the  Class of 2007, Strategic Leadership course survey was 61 percent based on 386  submissions and 234 responses.  The opinions, attitudes, and perceptions of the entire  population are reflected in terms of the response rate .  The course curriculum, online  materials, and the curriculum evaluative requirements were highlighted in the survey  report found in Appendix D.  The overall satisfaction level of the curriculum by the students was 89 percent  in the five courses that comprise the AWC distance education first year program.  One respondent replied that “Despite the challenging course readings, the high quality  of the distance education program encouraged me to spend additional time and effort  in completing the program requirements.”  The quality of the respondent performance 102  increased throughout the first year of the program which was evident in the improved  quality of forum discussions, papers, and grades.  One respondent found that “the  evaluative requirements for the courses were important in helping to shape his  thoughts, understanding, and ability to communicate as a strategic leader”.  The survey found that curriculum themes effectively addressed human  dimensions of strategic leadership, international relations, the fundamental nature and  evolving character of war, and how conflict shapes strategic thought and military  practice.  One respondent found that “the high quality of the course material has  given me new insights about strategic leader cognitive competencies such as  visioning, frame of reference development, and problem management.”  Respondents  remarked in the surveys, focus groups, and interviews that the distance education  program improved their ability to perform visioning, frame of reference management,  and problem management skills.  In the distance education curriculum, visioning the future is the capability to  formulate and articulate strategic aims and key concepts to shape the future  environment.  Frame of reference development is defined in the Army War College  Strategic Leadership Primer as “a knowledge structure of the strategic world or the  dynamic representation of significant factors in the strategic environment.”  (Shambach 2004).  Frame of reference serves as a basis of observation and judgment  of the strategic leader’s environment.  Problem management is contending with  strategic problems and issues that are competing, have manifold implications, and  potentially catastrophic outcomes if not resolved carefully. 103  One respondent’s perceptions of the online materials were that “the materials  were thoughtfully developed segments well suited to the course objectives.”  Respondents overwhelmingly found the online materials and networks useful in  helping to synthesize and apply leadership principles from program materials.  Another respondent remarked that he “gained a greater knowledge and understanding  of complex issues by having the opportunity to discuss issues with my peers and by  applying the concepts from the course material to my work.”  The ability of the  respondents to apply the program material to their experiences as leaders was  significant to their development as strategic leaders.  The evaluated curriculum requirements such as the essay writing requirements  and forum discussions helped respondents understand the course material, although  some of the respondents found that the writing and forum requirements were  challenging. One respondent said that the course was “difficult and challenging but I  have to say I learned quite a bit.”  Respondents described their development as  strategic leaders as a result of completing the distance education program that  included complex curriculum themes, large quantity of readings, and rigorous writing  and forum requirements.  The diverse program materials and requirements were designed to  accommodate both audio and visual learning preferences.  A few respondents felt  there should be some modifications to the curriculum such as “reducing course  readings and written requirements.”  One respondent recommended that the faculty  “reduce the amount of reading and add more video lectures.”  Another respondent  indicated that “the online readings were very important to my understanding of the 104  nature of strategic leadership roles in solving complex issues and conducting long  term planning requirements.”  These conflicting accounts of respondent experience  with the program material are attributed to the differences in respondents’ learning  preferences.  Some respondents preferred course readings and others preferred audio  and visual materials.  Respondents were overwhelmingly satisfied that the course material, forums,  and writing requirements contributed to their professional development, demonstrated  by a 93 percent satisfaction rate.  One respondent stated that he was “putting into  practice some of the critical thinking skills presented in the leadership course  curriculum.”  Another respondent wrote that “the institutional themes of strategic  vision, human dimensions of strategic leadership, and ethics best contributed to my  development as a strategic leader.”  The majority of respondents in this study had the opportunity to apply the  concepts from the distance education program to their experience as leaders.  Respondents experienced frame of reference development or increased knowledge as  a result of intergovernmental strategic level case studies such as the requirement to  develop future national security strategy.  One respondent stated that “The distance  education program teaches you to see the big picture and apply specific leadership  principles.”  Another respondent stated “I like moving beyond the requirement and  finding solutions to larger issues.”  These findings indicated that respondents  developed cognitive skills for contending with strategic level issues as a result of  completing the distance education program requirements. 105  The Army War College faculty continuously surveys students and reviews the  curriculum materials as a means to evaluate and improve the effectiveness of the  distance education program course curriculum.  The findings from this study indicate  that the combination of informational networks, experiential applications of course  materials, and exchange of ideas through the forums contributed to strategic leader  cognitive development.  One respondent claimed that he was “better equipped to  handle the increasing challenges of strategic leader responsibilities as a result of the  distance education experience.”  MCPA Survey Findings and Analysis  The following section is a summary of the data results from the Modified  Career Path Appreciation (MCPA) Survey Instrument pre and post tests. The first  MCPA survey instrument or pretest was available to the students from 19 May to 1  August 2005 at the beginning of the Distance Education Program.  The post survey  was made available to students between 15 February and 1 May 2006 toward the end  of the first year of the distance education program.  The treatment group was  comprised of the respondents that successfully completed the first year of the distance  education program.  The control group consists of respondents that did not complete  more than one course in the first year of the distance education program.  The method that the students used in responding to the survey changed  between the pre and post test responses from responding by mail to responding  online.  Approximately 80 percent of the 130 students responded to the first survey  through a mailing of the survey instead of the online version.  Although the 106  investigator assumed that larger numbers of students would respond to the online  survey; pre stamped and preaddressed mailing envelopes were mailed along with the  survey to encourage greater participation.  Only 50 percent of 67 students responded  to the second survey using the online instead of alternate mailing system.  A paired samples t­test procedure was used to compare the first and second  MCPA survey instrument responses and to provide a measure of leader cognitive  development.  The results of the paired samples t­test showed that the means of the  post test populations were higher in every phrase set measure in comparing the pre  and post test.  The differences in the measures were attributed to the effects of the  distance education program in leader cognitive development.  Three of the nine phrase set responses were found to have significant  differences from pre to post testing as noted with asterisks in Table 4.3.  The phrase  sets that had significant differences in cognitive development were those phrases that  addressed the way that strategic level leaders use information, approach tasks, and  achieve results.  These findings indicated that the respondent cognitive development  was likely a result of the distance education program requirements because  respondents had for example, increased their ability to use words, ideas, and theories  as tools.  The data also indicated that the significant increase in cognitive  development of the treatment group occurred over the ten months of the first year of  the distance education program.  There may, however, be some mitigating factors that  contributed to this finding, e.g., other forms of professional development and  experiences such as certificate programs. 107  Table 4.3  Summary of the MCPA Survey Pre and Post Test Treatment Group  Responses  Phrase Set Themes  (Statements of how  leaders approach and use  information)  Pre Test Response  (MCPA Measure of  Leadership)  Post Test Response  (MCPA Measure of  Leadership)/Significance  (2­tailed)  1: Guidance/Frameworks  to approach tasks  2: Use of  Information and  Tools  3: Implementation of  Rules  4: Ways Leaders  Approach Tasks  5: Methods Leaders Use  in their Approach to Tasks  6: Procedures that Leaders  Use in Solving Issues  7: How Leaders Approach  Gaps in Knowledge  8: How Leaders Work to  Derive Solutions  9: Results of Leader  Actions  3.7  3.8  4.1  3.9  4.0  4.1  4.4  4.3  4.6  4.1/ .128  4.4 /.006 *  4.3/ .318  4.4 / .010 *  4.4/ .099  4.1/ .368  4.5/ .797  4.5/ .545  5.2 / .005 *  * denotes significance  p<.05  The data from the pre test indicated that the respondents’ approach to  leadership tasks prior to starting the distance education program were on average, 4.0  or the operational level of leadership.  This finding is consistent with the fact that  many of the respondents had recently completed operational leadership assignments 108  that had shorter term and less complex planning requirements.   The post test survey  indicates an improvement in cognitive leader skills in all phrase sets and the average  for the nine phrase sets was 4.4 or closer to the strategic level of leadership.  Five of  the nine phrase sets increased from levels between 3.7 and 4.6 in the pretest  (operational level of leadership) to levels between 4.1 and 5.2 in the post test  (strategic level).  This finding indicates that the respondents’ increased their cognitive  capacity while enrolled in the distance education program.  It was not possible in this study to control for outside factors that may have  contributed to the respondent cognitive development.  The majority of respondents in  this study indicated in the interviews that they had completed other professional  development opportunities concurrent with the distance education program (as a  result of their civilian careers), such as certified public accountant and equal  opportunity training.  One of the respondents was enrolled in a doctoral program in  addition to the distance education program.  Some of the respondents were deployed  to a war zone that created online access problems and at times limited participation in  the online aspects of the program.  Analysis of Control Group Data  Analysis of the control group data in Table 4.5 indicated that there was no  significance in the respondent cognitive development as measured by a paired t­test  of the pre and post test survey instrument responses.  The control group initially  consisted of 10 officers selected for the Distance Education program that completed  the pre test survey but disenrolled from the distance education program before 109  completing the first course.  Only five of the ten officers responded to the second  survey and hence limited analysis of those officers who did not complete the first year  of the distance education program but responded to the pre and post survey.  The  population of the control group was about 2 percent of the 285 students from the  Class of 2007 that completed the first year of the distance education program.  These  results must be interpreted with caution since they are not necessarily a reflection of  the entire population of the Class of 2007 Distance Education Program.  Although the data for the control group indicates some cognitive growth, the  findings were not significant.  Cognitive growth can be attributed to the fact that  people develop their thinking skills as a result of the aging process.  A finding of no  significance indicated that the control group respondents did not experience  statistically significant development in cognitive thinking skills that were measured  by the MCPA survey instrument.  The data indicated that there was some development of cognitive thinking  skills which is most likely attributed to the fact that the control group population  continued to mature and was exposed to cognitive thinking experiences outside the  distance education program.  For example, one of the respondents is a high school  teacher who is continuously developing her cognitive skills as a result of her  profession.  All of the control group members were serving in both military and  civilian professions as a result of their status as reserve component officers.  The  respondents in this study were able to use their experiences from a wide variety of  professional experiences. 110  Table 4.4  Summary of the Control Group MCPA Survey Responses  Phrase Set Themes  (Statements of how  leaders approach and use  information)  Pre Test Response  (MCPA Measure of  Leadership)  Post Test Response  (MCPA Measure of  Leadership)/  Significance (2­  tailed)  1: Guidance/Frameworks  to approach tasks  2: Use of  Information and  Tools  3: Implementation of  Rules  4: Ways Leaders  Approach Tasks  5: Methods Leaders Use  in their approach to Tasks  6: Procedures that Leaders  Use in Solving Issues  7: How Leaders Approach  Gaps in Knowledge  8: How Leaders Work to  Derive Solutions  9: Results of Leader  Actions  3.2  4.2  4.0  3.4  4.2  4.0  4.8  3.4  4.8  3.4/ .866  5.0 / .495  4.4/ .670  4.6 / .284  5.0/ .338  4.8/ .405  4.8/ .495  4.2/ .338  4.8 / .070  The fact that only ten respondents that participated in this study deferred or  disenrolled from the distance education program indicates that the study population  had greater success in the program than the total population of students.  Studies have  found that respondents that participate in leader development programs generally  have a higher level of commitment and persistence to educational programs (Garvin 111  1993; McDaniel 2002; Schwartzman 2003).  The investigator noted that respondents  who completed the first year of the program generally had also completed online  administrative and academic records as opposed to those students who deferred or  disenrolled from the program.  This finding infers that students who successfully  pursue professional development opportunities generally make a greater effort to  maintain their administrative and academic records.  Patterns and Themes from Qualitative Data  This section presents a summary of the evaluation of the qualitative data from  the narrative portion of the MCPA survey instrument, focus groups, individual  interviews, course surveys, and the investigator’s personal experience as a member of  the distance education faculty.  The three focus group and ten individual interviews  took place during the Distance Education Class of 2007 resident course that was held  at the Army War College in Carlisle, Pennsylvania from June 19­26, 2006.  The focus  groups consisted of 8­10 respondents who volunteered to take part in interviews  conducted by the investigator.  The focus groups and individual interviews were  comprised of questions pertaining to the responses from the MCPA survey instrument  and the respondents’ experiences in the distance education process.  A copy of the  questions is located in Appendix A.  The focus groups and interviews allowed the  investigator to personally discuss with the respondents the importance of access to  multiple informational sources (networks), application of the program material to the  respondents’ leadership experiences (experiential), and online forums (discourse). 112  Qualitative data from the MCPA survey instrument were derived from the  narrative portion of the survey where respondents explained their phrase set  selections.  In the narrative portion of the post test MCPA survey, respondents were  asked to address if their distance education experience had an impact on their  professional development as strategic level leaders.  The qualitative data from the  MCPA surveys were organized and analyzed by examining trends and patterns from  the data according to the nine survey phrase sets.  A summary of the analysis is found  in Table 4.5 and the complete analysis is located in Appendix D.  The results of this  analysis created a rich and detailed account of respondent cognitive development as a  result of their distance education experience.  Table 4.5  Analysis of MCPA Survey Pre and Post Qualitative Data  Phrase Set  Pre­Test Themes  Post­Test Themes  Phrase Set 1: Guidance  and Frameworks  Desire for some structure,  initiative, creativity &  freedom to collaborate and  discover  Distance education  informational networks  and forums contribute to  theoretical frameworks  Phrase Set 2: Information  and Tools  Desire to multitask,  develop new relationships,  courses of action, and gain  access to information  Discourse with other  students helped to  develop skills for critical  thinking  Phrase Set 3: Rules  Desires guides and ethical  standards but notes the  need for revision of rules  for currency; anticipate  2 nd and 3 rd order effects  Applying rules to various  situations requires broad  analysis; experiential  evaluation promotes  understanding and  effectiveness of rules  Phrase Set 4: Approach  Evaluating a broad  spectrum of systems to  determine efficiencies and  effective methods; apply  new knowledge  Acquired broader base of  knowledge through  informational  networks  that promote different  ways to strategically  examine issues 113  Phrase Set 5: Method  Analyze and visualize new  approaches; create picture  of problem;  ID underlying  issues  Determine how parts  relate to the whole;  examine procedures and  experiment by applying  concepts to experience  Phrase Set 6: Procedure  Works with established  timelines and processes;  experiment & Assess Risk  Appreciation of  complexity; desire for  creativity and flexibility;  need to facilitate  transformation  Phrase Set 7:  Gaps  Gaps are opportunities to  develop skills and learning  as a result of new  information and knowledge  Gaps facilitate thinking,  awareness; opportunity to  shape events & promote  creative thinking  through learning and  experience  Phrase Set 8: Solutions  Options & alternatives  support creative problem  solving; evaluate  experiences  Evaluation of multiple  solutions & ability to see  unintended consequences;  anticipate future events  Phrase Set 9: Results  Leaders contend with  conflicting solutions and  evolving situations;  leaders need options  Need for contingency  plans to adapt for the  future and multiple ways  to present information to  promote understanding  The patterns of data indicated that informational networks, discourse in the  forums, and experiential application of the distance education curriculum materials  were instrumental to increasing respondent cognitive development.  For example, one  respondent found that “experience in working with multiple forms of technology and  communication aided me in organizing and addressing complex issues such as  examining the diplomatic, informational, military and economic aspects of national  security.”  Respondents found that the combination of accessing informational  networks, the ability to discuss the findings with their peers, and then apply the  knowledge to a case study or their personal experience was a powerful way to  increase their cognitive skills. 114  Quantitative and qualitative data indicated that respondents gained confidence  in the use of informational networks and theories as tools for analysis of strategic  level planning.  One respondent claimed that “finding linkages and connections  between ideas and theories through the course readings and writing requirements is  rewarding and likely to lead to better and more comprehensive solutions.”  Another  respondent found that “the distance education program materials provided me with  the opportunity to work within a framework but also the freedom to seek additional  sources and complete course requirements at my own pace.”  Informational networks allowed students to explore broad topics  synchronously that encouraged them to visualize strategic issues and relationships.  Respondents indicated that the distance education program enabled them to “consider  multiple perspectives such as conflict and change in different mediums such as  readings, forum interaction, and simulations.”  This finding follows studies that found  distance education group projects may take longer to come to consensus in online  classrooms in comparison to face­to­face classrooms, but distance education students  are able to redirect themselves without outside intervention.  The distance education program readings, writing, and forum requirements  encouraged creative thinking and application of strategic leader cognitive attributes  such as problem management and visioning.  One respondent explained that “the  distance education program writing requirements encouraged me to synthesize many  sources of information which helped improve my skills of association.”  Respondents  expressed increased confidence in using and applying information and knowledge to  formulate strategy and policy as a result of participating in online forums.  Another 115  respondent found that “the distance education forums developed his critical thinking  skills as a result of having to synthesize and discuss the course readings.”  Respondents also found they had a broader base of knowledge or cognitive  ability for strategic level analysis as a result of participating in the forum discussions.  For example, students were required in the national security policy and strategy  course to apply concepts relating to the use of diplomatic, informational, military, and  economic factors in addressing national security issues such as the strategic planning  for Operation Iraqi Freedom.  One respondent stated in the MCPA survey instrument  narrative section that “I like to examine broad topic areas and the distance education  program permits exploration of strategic topics because of the access to multiple  informational networks.”  Case studies encouraged respondents to apply higher level  cognitive skills to evaluate interagency policy roles in strategic level security  assessments and decision making.  Qualitative data from the first phrase set of the MCPA survey indicated that  respondents used multiple informational networks for strategic level decision making  and policy development.  One respondent indicated that he “preferred working with  frameworks that provided some structure but allow flexibility in considering new  environmental and organizational dynamics.”  It is important for leaders at the  strategic level to span organizational boundaries in order to gain more comprehensive  outlooks on issues.  Qualitative responses in the data further explained that the  distance education program provides access to extensive course readings, websites,  and forums in working through complex course requirements.  A respondent  indicated that she “liked having the opportunity to consider many different sources of 116  information to consider various solutions since strategic level issues are constantly  changing.”  Another respondent found that he enjoyed “having some structure in the  course curriculum such as the lesson objectives and course requirements that served  as a guide but allowed for creativity and discovery.”  The distance education program emphasized the need for strategic leaders to  develop creative and critical thinking skills in contending with complexity and long  term planning requirements.  The variety of instructional materials such as course  videos and interactive segments were important so that each student had the  opportunity to learn to the greatest extent possible.  Interestingly, some distance  education students were much better at completing forum requirements that involved  threaded discussions than completing the written papers.  Informational networks and  forum discussions about strategic leadership issues such as visioning provided what  one respondent said was “latitude for discovering new ways of thinking and problem  solving.”  The Army War College distance education program encouraged students to  develop strategic level thinking skills such as how to develop relationships among  organizations to achieve national security objectives.  Course readings included case  studies and exercises where the respondents had the opportunity to examine and  analyze reports regarding ethical conduct in time of war.  Students were required to  read a variety of reports and to identify appropriate skills and competencies such as  ethical reasoning needed to prevent detainee abuses at detention facilities like Abu  Ghraib.  One respondent found that the application of curriculum theoretical readings 117  to case studies to be “extremely beneficial in understanding the context of strategic  leader roles and responsibilities.”  The course readings, forums, and writing requirements on ethics helped  respondents develop strategic leader cognitive thinking skills.  In the writing and  forum requirements, respondents were required to develop and defend strategic level  policies such as detainee interrogation at a national and international level.  Respondents indicated that “the forums provided a means to work issues  collaboratively that resulted in greater understanding of complex issues and cases.”  Some of the forums allowed students to formulate and test ideas that they presented in  the written requirements.  One respondent remarked that “forum discussions  broadened my perspectives of issues because I could draw on the experiences of  several professionals who took part in the forum discussions.”  In this study it was not  unusual to have forum participants deployed to Iraq, Afghanistan, Korea, and  Germany checking into forums from remote sites.  The distance education program forum discussions helped students understand  the magnitude of their responsibilities as a strategic level leader through sharing their  experiences with their peers.  One respondent remarked that “the forums encouraged  diverse dialog and consensus that helped me understand and develop  interrelationships in the course material.”  Forum discourse provided respondents  opportunities to formulate and test ideas with each other and faculty members that  were useful in developing a frame of reference for observation and judgment.  Some  respondents expressed the importance of the forums to feeling connected to other  students and helped them “develop the ability to recognize alternate points of view.” 118  Summary of the Qualitative Data  This study includes qualitative data from focus groups, individual interviews,  and the respondents’ written comments from the MCPA survey instrument explaining  their responses to the phrase sets.  Each of the data sources provides some unique  perspectives about the respondents’ experience with distance education that are  summarized in the following table.  The following section describes the highlights  from the focus groups, individual interviews, and comments from the MCPA survey  instrument data sources.  The focus group data themes indicated that forums helped respondents’ build  confidence with course material understanding because of the exchange of  information with peers and faculty members.  Respondents found that this distance  education programs enhanced their online connectivity with informational and  personal networks so they were not learning completely on their own.  They  sometimes experienced challenges with accessing online materials and found that  they needed clarification on the meaning of some of the curriculum material.  Respondents found that faculty feedback was important to the learning process in  helping clarify and reinforce program writing requirements.  Data themes from the individual interviews indicated that the online forums  helped respondents’ build knowledge and understanding through synthesis of  informational sources.  They found that the writing requirements promoted  understanding of curriculum themes as a result of synthesizing a variety of sources  and being able to apply the material to their personal experiences.  Most of the 119  respondents found the distance education program to be challenging in that it required  well developed analytical skills of complex theories from the course readings.  The MCPA survey instrument narrative data indicated that respondents found  that they developed knowledge in the distance education program as a result of  interacting with peers and faculty members.  The curriculum required development of  critical thinking skills, the ability to synthesize a large volume of readings, and apply  this knowledge to their personal experience.  The broad spectrum of course  curriculum provided the respondents an in depth perspective of global issues and  events such as how the military contends with diplomatic, informational, and  economic factors.  Distance education curriculum requirements gave respondents the  opportunity to examine strategic level issues such as programming resources for  national security.  The data from the focus group, individual interviews, and MCPA narrative  sources of data helped to compliment the quantitative data in the triangulation of the  data.  The qualitative data indicates a pattern of respondent cognitive development as  a result of access to informational sources, discourse in the forums, and immediate  application of the course material to their personal experience.  This data also helped  to explain the significance in the quantitative data such as the way and approach  leaders use to access information as well as how they derive results.  The following  section provides additional insights about the crosswalk or triangulation of the  multiple data sources and the study findings as well as the recommendations for  future research. 120  Triangulation of Data  The investigator collated the quantitative and qualitative data to determine  the overall trends and patterns from the surveys, focus group, and interview  responses.  Three main trends emerged that indicated respondents found that 1)  distance education informational networks, 2) forum discussions, and 3) experiential  application of the course material significantly contributed to their cognitive  development.  For example, respondents’ evaluated and synthesized a large number  of curriculum and information sources in the forums and written requirements.  The  findings from this study are consistent with previous studies that indicate  academically rigorous distance education programs are effective in developing  leaders cognitively .  The findings from the data extend Jaques’ and Zaccaro’s theories about leader  cognitive development by addressing how distance education systems contribute to  strategic leader cognitive development.  Previous studies and theories only focused on  traditional educational programs for leader development because distance education  has only recently become a more common form of professional development.  Online  informational networks, forum discussions, and experiential opportunities provide  distance education program students new ways to acquire and apply knowledge.  The interview data indicated that respondents found that the distance  education programs developed their ability to sort through large quantities of  information to develop their knowledge and understanding of complex information.  One respondent found that “distance education contributed to my ability to contend  with complexity through informational networks and gives me a long term 121  perspective of my roles and responsibilities as a strategic leader.”  This finding is  especially important because distance education program graduates are generally  assigned to strategic level leadership positions that require them to contend with  complex and diverse information sources for long term planning.  The data indicated that the respondents found that distance education  materials and online technological processes expanded their ability to perform  complex thinking skills.  Respondents found that the distance education program  encouraged them to think more about the use of technology in their future roles and  responsibilities (in shaping long term visioning and policy implementation).  One  respondent found that he “needed to develop understanding of informational sources  and technology beyond the curriculum materials.”  Table 4.6 illustrates the relationship of the quantitative and qualitative data to  the increase in cognitive development of the three phrase sets that had significant  statistical results.  Interestingly, the quantitative changes in the phrase sets are similar  to the changes in the qualitative data.  For example, respondents found that they were  more comfortable in using information such as networks as tools.  Respondents also  found that they could transcend tasks through use of information and personal  networks and they found a greater acceptance for conflict and nonpermanent  solutions.  The ability of the respondents’ to apply the knowledge from their distance  education curriculum to their personal experience helped to reinforce their  understanding of strategic leader roles and responsibilities.  For example, one  respondent found that “applying the strategic leadership competencies from the 122  curriculum materials to my profession gave me greater insights about the difficulties  of strategic level planning”.  Table 4.6 Summary of Triangulated Quantitative and Qualitative Data from  Significant MCPA Phrase Sets, Individual, and Focus Group Interviews  MCPA Phrase  Set  & Theme  Pre Test Response  Numerical and  Qualitative Response  Post Test Response  Numerical and  Qualitative Response  Synopsized  Qualitative  Responses from  Respondent Focus  Groups and  Interviews  Phrase Set 2:  Ways Leaders  Use Information  MCPA Survey  Measure 3.8:  Operational Level of  Leadership that  compares merits of  options  MCPA Survey  Measure 4.4:  Operational Level of  Leadership that uses  words, ideas and  theories as tools  Distance education  writing requirements  and forums facilitate  synthesis of complex  material  Phrase Set 4:  Leaders  Approach to  Tasks  MCPA Survey  Measure 3.9:  Operational Level of  Leadership  MCPA Survey  Measure 4.4:  Operational Level of  Leaders that  transcends tasks and  relationships between  tasks  Distance Education  encourages  exploration: Expands  knowledge and  networks  Phrase Set  9:  Leaders  Achieving  Solutions  MCPA Survey  Measure: 4.6  Operational Level :  Develop alternative  approaches  MCPA Survey  Measure: 5.2:  Strategic Level of  Leadership that  accepts conflict and  nonpermanent  solutions  Distance Education  promotes creative and  critical thinking.  Alternate courses of  action are considered.  Phrase Set 2 was a measure of the way that respondents use informational  networks.  Respondents became increasingly confident in using words, ideas, and  theories as tools.  This was illustrated in one respondent remark that “the distance  education writing requirements and forums facilitated greater understanding of the  complex course readings.” 123  Phrase Set 4 was a measure of the way leaders approach tasks and one  respondent found he could “transcend the relationships between tasks in order to gain  a more holistic approach to planning and analysis.” Strategic level leaders need a  holistic and comprehensive approach in the way that they think about tasks in order to  contend with broad policy issues.  An example is using diplomatic, informational,  economic, and military means in developing national security strategy.  Phrase Set 9 was a measure of how leaders achieve solutions.  The data  indicated that respondents increased their capacity for accepting conflicting and  nonpermanent solutions.  A respondent reported that “there is rarely one view which  is universally accepted and the distance education program encourages exploration of  issues through informational networks, forum discussions, and application to personal  experience.”  The application of new knowledge to their personal experiences helped  the respondents build skills to contend with increasing complexity and long term  planning requirements.  The qualitative patterns of responses in this study indicated that respondents  found informational networks, forum discussions, and experiential learning facilitated  their cognitive development.  The forum discussions and informational networks  contributed to the synthesis of complex theories because respondents had the  opportunity to discuss and compare their ideas with subject matter experts, their  peers, and faculty.  One respondent remarked that “the distance education program  promotes creative and critical thinking in addressing course requirements that links  the course readings with ideas presented in the forums and my personal experience.” 124  Another respondent remarked that “the diversity of course materials and learning  methodologies allowed me to try new ways of evaluating and analyzing issues.”  A second example of the data triangulation in this study can be found in the  Phrase Set 2 responses that illustrated respondents used multiple sources of  information as a result of their distance education experiences.  The pre test survey  response indicated that only 38 percent of students desired to work at a strategic level,  most likely because the military organization is highly structured and hierarchical.  The post survey indicated that 64 percent of the respondents desired to work at the  strategic level and used multiple sources of information for planning and decision  making.  Qualitative responses in the interviews and focus groups indicated that  respondents gained confidence in their leadership cognitive attributes. One  respondent claimed that “the distance education program helped me to ratify my  leadership style and situational understanding.”  This ratification of respondent  leadership was also evident in their retention in the program.  In summary, students that made the effort to participate in this study had a  higher rate of successful completion.  More than 85 percent of the population that  responded to both the pre and post test MCPA survey instrument completed the first  year of the distance education program.  The attrition rate of the Class of 2007 was  over 30 percent in the first year of the program; the enrollment fell from 425 to less  than 300 students.  Leadership theory that posits leaders who take a positive and  proactive approach to performance feedback have a higher level of cognitive  development. 125  The qualitative data from the survey instruments, focus groups and individual  interviews indicated growth in respondents’ cognitive skills and leadership  competencies.  Multidimensional online mediums of course readings, writing  requirements, and online forums assisted respondents in developing cognitive skills to  synthesize complex material.  One student noted that he “developed skills of  association so that he was able to consider complex theories and evaluate second and  third order effects of his decisions.”  Another respondent shared that he “appreciated  the opportunity to consider and reflect upon the nature of strategic leadership” and  third respondent found that “I could relate better with strategic level issues and  discussions as a result of course readings and discussions.”  The combination of  acquiring new knowledge through multiple informational networks and immediately  applying the knowledge to personal experience illustrated the effectiveness of  distance education programs in strategic leader cognitive development.  Analysis of Data Using the Organizational Subsystems Model  Distance education programs are comprised of organizational subsystems such  as cultural, psychosocial, structural, technical, and management networks.  This  section illustrates how focus group and individual interview data were analyzed using  the model of organizational subsystems.  These subsystems provide some insights  about the significance of each of the individual subsystems as well as the interactions  between the subsystems.  Figure 4.1 illustrates the relationships between organizational systems in the  cognitive development process.  The findings from this study indicated a link 126  between the cultural values of respondent collaboration and motivation to complete  course requirements with their feelings or psychosocial attributes of support by their  peers and faculty members.  One respondent commented that “the distance education  program teaches you how a variety of tasks are related to each other.”  Organizational  subsystems are important to the adult education process of sharing personal examples  of how leaders apply new knowledge to their personal experiences.  Figure 4.1 A Model of Organizational Subsystems that Affect Strategic Leader  Cognitive Development through Distance Education  Using multidimensional frameworks for analysis helps to illustrate overlaps  and gaps in knowledge of leader cognitive development.  Figure 4.1 illustrated that  there are integrating factors between each of the subsystems illustrated with arrows to  show interactions.  For example, both cultural and psychosocial systems evaluated the  way respondents behaved and felt in participating in distance education programs.  Cultural  Forums promote  respondent  collaboration and  shared values  Psychosocial  Peer Partnership with  varied experience and  interests for Creative  and Critical Thinking  Management  Assess 2 nd & 3 rd Order  Effects, Multifaceted  Analysis, Long Term  Planning  Structural  Expand networks of  information sources  and contacts; less  structure facilitates  discovery  Technical  Use of forums and  simulations for  analysis; ready access  to multiple sources for  greater analysis 127  One respondent volunteered that “feedback and interaction with classmates and  faculty was instrumental to my understanding of course material and concepts.”  Respondents consistently expressed their desire for opportunities to interact  with fellow students and faculty members at the beginning and throughout distance  education programs.  In most cases, respondents sought feedback and guidance in  completing course requirements through email inquiries and phone calls.  For  example, the investigator had over 50 inquiries from respondents pertaining to course  requirements.  One respondent stated in the course survey that he found “a greater  level of competency with the technical aspects of the program such as accessing  research data bases through discussions with faculty and fellow students.”  Cultural elements include physical, behavioral, language, and values.  In this  study, respondents contended with a culture that has a high degree of academic rigor  because of the requirements of a master’s degree graduate level program.  The  master’s degree that is awarded upon completion of the entire distance education  program serves as a tribute to shared values and high motivation of the students in  completing strategic level educational requirements.  One respondent found that the  distance education graduate program “provides informational and decision making  tools for increasing my ability to contend with a wide spectrum of strategic leadership  issues.”  Despite the geographical separation between students and faculty in the  distance education programs, the respondents found that “the distance education  provides opportunities to gain insights from peers and faculty as well as the ability to  focus thought and anticipate future requirements.”  The psychosocial and behavioral 128  aspects of the distance educational environment are somewhat constrained because of  the limited communication and interaction of students and faculty.  However, many  respondents found that the communications networks allowed them to be creative in  expressing their ideas, e.g., sharing links to favorite sources and references for course  requirements.  Learning is a social activity that is strengthened with carefully facilitated  instruction in which the faculty design primarily written communication for feedback  and encouragement to online students.  Faculty and students are partners in learning.  Effective communication is crucial for successful distance education programs.  The  combination of course surveys and forum feedback sessions allowed respondents the  opportunity to identify issues related to their learning experiences.  One respondent  remarked that “most faculty members were responsive and available to work issues  and support student needs.”  Distance education literature indicates that responsive  and timely faculty feedback contributes to student cognitive development through  distance education (McDaniel 2002).  Strategic leader studies indicate that leaders develop unique and complex  language because of the need for boundary spanning requirements such as  interagency and international relationships.  Unique online language skills are often a  result of relationships and access to informational sources.  For example, strategic  leaders contend with a wide range of organizations and relationships in their roles.  Educational systems help to develop effective use of unique acronyms and language  skills (Schwartzman 2003).  One respondent confirmed in an interview that “distance 129  education programs helped me develop effective communications skills such as the  way I articulate my vision and organizational mission.”  Psychosocial subsystems include personality, attitudes, learning, motivation,  communication, and group dynamics.  In distance education, course value is one of  the most important predictors of the way respondents perceive the quality of  instruction.  The strategic leadership course survey report found that respondents had  high value for the Army War College distance education program.  Value is  especially important for adult learners that are eager to apply what they learn to their  experience.  One respondent found “the quality of the AWC distance education to be  excellent and relevant to her experience as a leader.”  Trends in the data indicated that  respondents were applying the new knowledge about strategic leadership to their  professional and personal experiences.  These findings helped validate some of the  course curriculum such as the continued need for strategic planning, negotiations, and  consensus building.  Studies have found that faculty members that demand high quality work  receive higher evaluations for their teaching and are thought to be most effective  (Moore and Anderson 2003).  It is important for faculty members to remain visible to  students by participating in discussions, involving everyone in the learning activities,  and providing feedback.  The quality of communication between faculty and students  and student participation in the threaded forum discussions were important to the  perceptions and attitudes of the distance education learning process.  For example,  forum participation either increased or decreased as a result of faculty feedback,  prompting students to consider additional ideas, questions, or controversial topics. 130  In one case, forum participants provided few entries about how leaders  contend with ethical issues until the facilitator questioned the participants about  applying the course readings to their personal experience.  For example, respondents  were required to apply ethical principles to case studies pertaining to how soldiers  should treat detainees in time of war.  This technique provided a way for the forum  participants to relate what they were learning about ethics to their professional  experience.  The exercises of having students relate the topic of ethics to their  personal experience resulted in a rich assessment of how to contend with various  ethical issues.  One respondent found this learning technique effective because “I  could apply the ethical concepts to what I knew about the case and gave me a new  perspective from a strategic point of view.”  In the forum discussions, respondents were expected to make daily entries  which required synthesizing course readings and providing examples of application of  the material.  One respondent found that “the readings on strategic leadership  competencies gave me insights about the roles and demands of strategic level leaders.  Faculty evaluation of student participation in forums contributed to the facilitation of  good group dynamics and a positive attitude for learning because students found that  there were incentives and consequences associated with participation.  For example,  students that presented different views of an issue in their online discussions from a  variety of sources were generally given higher evaluations than students that present  only one side of an issue.  One student found that forums “encouraged me to interact  with my peers and the dialogue helped to confirm what I thought about the readings.”  Online discussions tend to be more scholarly than face­to­face discussions because 131  respondents have to formalize their thoughts in writing and document their sources  that become a permanent entry.  Classroom seminars tend to discuss various issues  without citing sources to the same degree that is accomplished online.  One student  remarked that “I could not say anything that came to mind when making forum  entries because I knew my peers and faculty members would scrutinize the entries.”  Technology subsystems include the product design, production, distribution,  support, and service recovery of distance education systems.  On line course materials  and methodologies such as forums or threaded discussions provide what one  respondent said were “new ways of learning through technology.”  Forum discussions  can be viewed by a large number of the student population and faculty so students are  generally more thoughtful about how they present their ideas in a forum.  Online  forums typically have a formal record of proceedings in contrast to seminar  discussions which are more of a facilitated discussion of ideas.  Forum and seminar  discussions are becoming increasingly sophisticated as faculty members gain  experience with various methods of questioning encouraging students from many  different locations to participate in discussions.  Students have recently acquired the ability to download curriculum materials  to personal data devices that allow them to access and collaborate with their peers  without having to be tied to a computer.  Downloading curriculum materials allowed  some respondents to share curriculum material with other organizations and  individuals that do not have online access to the program.  Expanding the application  of the program curriculum to groups outside the Army War College may help to  develop inter­organizational technological and informational networks. 132  Structural subsystems in distance education include formalization,  standardization, specialization, authority, policies, and procedures.  The distance  education program evaluated in this study is fairly regimented, and specialized  because of the nature of higher education accreditation.  For example, respondents in  this program had to complete essay writing requirements that were similar to other  graduate level programs to ensure evaluation of their learning and comprehension.  The regimentation and structural requirements in distance education program courses  and lessons seemed to provide students assurance in an online environment that is  less certain than residential learning.  One respondent remarked that she “liked having  some structure in the course curriculum but the latitude to research and discover new  concepts.”  Respondents found that there is a high degree of comfort with the distance  education program structure because each course had a standardized format of course  directives and lesson plans.  Faculty members provided students feedback on every  written and forum requirement in the program in the form of a numbered grade and  narrative comments.  The evaluated requirements gave students specific guidance as  well as official notification that they were either meeting or failing to meet program  objectives.  Timely feedback and frequent communication is especially important in  distance education to help compensate for the lack of one­to­one communication.  In  this graduate level program, students were expected to contact faculty members if  they needed clarification in completing course requirements.  Students that took the  initiative to seek clarification and communication with faculty members generally did 133  well in completing the course requirements.  One student responded to the survey in  the following way, “The distance education program faculty provided me with timely  feedback and the opportunity to work within a set framework while allowing freedom  to complete tasks as I see fit.”  In the cases where deficiencies were identified by  course evaluators, timely feedback allowed respondents to make corrections that  contributed to the successful completion of course requirements.  Respondents that had a record of unsatisfactory performance were assigned  faculty mentors to provide additional feedback.  Mentors provided dialogue and  specific feedback on written requirements beyond what the evaluators provide in their  assessments that in most cases contributed to successful course completion.  One  respondent remarked that “timely faculty feedback and mentoring support were  instrumental to my success in the distance education program.”  Distance education programs, policies, and procedures generally mirror face­  to­face education programs since both programs share the same accreditation  standards.  Well developed policies and procedures are important in developing  quality distance education programs because online communications often takes the  place of face­to­face communications.  Respondents had several avenues in the  distance education program to ask questions of administrative personnel through  email, phone contact, and some personal visits.  One respondent remarked that he  “liked having the ability to use a variety of means to communicate my ideas and  concerns.”  Personal contacts seem to help reinforce respondent academic  performance in the distance education program because respondents developed a 134  greater capacity for visualizing and understanding complex issues through personal  dialogue.  Managerial subsystems include the way organizations design, communicate,  and evaluate distance education program.  Distance education programs have unique  curriculum designs that are focused on allowing students to navigate complex course  material with limited interaction between faculty and peers.  Both quantitative and  qualitative data from this study indicated the importance of effective communication  and evaluation in respondent completion of program requirements.  Some respondents seemed to perform better in the distance education program  based on their educational background and motivation.  Respondents with graduate  level education had a higher completion rate than those that had no graduate level  educational experience.  Over 85 percent of the respondents from the second survey  hold a graduate level degree and only 15 percent hold only an undergraduate degree.  The educational status of the respondent population varies significantly from the  general population of the Class of 2007 at the beginning of the year and the end (30  percent with undergraduate degrees and 70 percent with graduate degrees).  In summary, the organizational subsystems helped to identify factors in the  distance education program that significantly contributed to development of strategic  leader cognitive competencies.  The strong culture (shared beliefs and values) in  distance education programs is evident in the respondent professionalism and  persistence in completing the program requirements.  Psychosocial subsystems such  as student perceptions and beliefs are being transformed through distance education  as a result of forum and faculty communications.  The excellent group dynamics and 135  motivation of the students to learn and apply strategic leadership attributes is  contributing to their effectiveness and reinforcing the value of professional  development.  One student stated in the survey that “the distance education process  exposes me to a number of evocative thinkers and helps to ratify or amend my  leadership style and situational understanding.”  The structural systems provided a  framework for respondents to transcend or create a more holistic approach to  visioning and problem management as a result of drawing from online course  materials and forum discussions.  Technical and management subsystems allowed  leaders to use technical skills such as monitoring informational sources and  participating in simulations exercises that test their theories.  One student found that  “distance education systems teach that complex issues are dynamic and managing  change is as important as managing problems.”  The organizational subsystems  framework was instrumental in organizing the data to evaluate patterns and to show  linkages between the subsystems that contributed to the increased ability of leaders to  contend with complexity and long term planning.  Conclusion  Data in this study were analyzed through a mixed methods approach of  quantitative and qualitative data that found distance education networks, experiential  opportunities, and forum discourse significantly contribute to leader cognitive  development.  Quantitative data from the MCPA survey was triangulated with  individual and focus group interviews.  The qualitative data provided some additional  insights about the transformational nature of cultural, psychosocial, structural, 136  technical, and management subsystems in strategic leader cognitive development.  The organizational subsystems framework illustrated the importance of relationships  between the subsystems that were not addressed in the quantitative portion of the  MCPA survey instrument.  This study found that strategic leaders are able to significantly develop  cognitive thinking and long term planning skills with access to academically rigorous  distance education systems.  Change in the strategic leader environment requires that  leaders continuously monitor and develop informational networks through  educational experiences.  Distance education programs enable strategic leaders to  monitor change through advanced technological systems and to apply new theories  and tools immediately to the issues and challenges that are part of their evolving  organizational roles and missions.  Respondents indicated greater comfort with their  cognitive skills as a result of being required to develop and apply strategic level  competencies such as visioning, negotiating, and boundary spanning in their  academic and professional experiences.  The study data confirms Jaques’ theory that strategic level leaders require  higher cognitive and long term thinking skills to contend with complexity and long  term planning.  The data in this study indicates that respondents significantly  increased their cognitive thinking skills through a academically rigorous distance  education program.  This finding can be attributed to the fact that the distance  education program exposed respondents to complex material and required them to  consider many implications in decision making. 137  This study also confirmed that better educated students are generally better  prepared and more highly motivated to complete the distance education experience.  Seventy percent of the respondents that had masters and doctoral degrees were found  to be more successful in their pursuit of professional development opportunities such  as keeping current with leadership literature, networks, and practices.  Higher level  education and competency with adult learning skills is important in distance  education programs that require students to perform most of the learning on their  own.  Respondents found that “feedback in course requirements helped to reinforce  my understanding and confidence in learning through distance education systems.”  Over 70 percent of respondents expressed their increased comfort with complexity  and long term planning skills as a result of their distance education experience.  One  respondent found that “the distance education program emphasized looking at issues  from different perspectives and focused on flexibility and change.”  In summary, distance education programs tend to be highly collaborative and  effective because of the interrelationships of organizational cultural, psychosocial,  structural, technical, and management subsystems.  Effective communication,  feedback, analysis, and evaluation systems promote discourse and experiential  learning.  The combination of student feedback through the MCPA survey instrument  and course surveys provided some rich data concerning the importance and value of  networks, experiential learning opportunities, and discourse in forums in the cognitive  development of strategic leaders. 138  Chapter 5 Conclusions and Recommendations  The purpose of this chapter is to summarize the conclusions and  recommendations for future studies.  The first part of this chapter presents the  contributions to leadership theory and practice in the field of Public Administration.  The final part presents some and recommendations for future research and concluding  remarks.  The original goals of this study to evaluate leader cognitive development  through distance education were accomplished.  The investigator triangulated  quantitative and qualitative data and found that completion of the first year of the  distance education program significantly contributes to leader cognitive development.  The significant findings in the data indicated that respondents increased their  cognitive development through organizational subsystems (networks), application of  their new knowledge to experience (experiential), and communication through online  forums (discourse).  This study advances leadership theory and practices concerning distance  education as these relatively new programs are just beginning to be assessed.  The  mixed methods approach used in this study allowed the investigator to analyze a wide  range of individual and organizational systems critical to the cognitive development  of strategic leaders.  This study indicates that there are a number of organizational  and individual factors that contribute to leader cognitive development through  distance education.  Some of these factors were the way that respondents used the  online networks, applied the curriculum to their experience, and used discourse in the  online forums to reinforce their understanding of the program material. 139  The previous chapter illustrated that distance education programs provide  leaders access to large networks of readings and informational sources that expanded  the respondents’ conceptual frameworks.  Respondents learned how to critically  evaluate informational networks and sources as well apply new knowledge to  strategic level issues as a result of complex course requirements.  Online forums  enhanced leader cognitive and long term planning skills through collaboration as  leaders learned from each others’ experiences.  Respondents used the online forums  to build and reinforce their knowledge and understanding of strategic leadership  principles such as formulating national security policies.  Forums and the program  writing requirements promote critical thinking skills such as assessing and critiquing  current and former strategic level leaders such as the Secretary of State and the  Secretary of Defense.  When leaders apply the distance education informational  networks to their experience they reinforce and build their cognitive capacity.  This  experiential learning process also provides feedback to the respondents in the form of  additional knowledge that increases strategic leader cognitive skills and  competencies.  It may also help compensate for the shortfall of interpersonal  experiences in distance education.  Contributions of the Study to Leadership Theory and Practice  There are several contributions to leadership theories and practice.  The first  contribution is that distance education programs contribute to strategic leader  cognitive development.  Previous leadership theories and practices related to leader  cognitive development have been limited to the study of resident educational 140  programs.  This study extends Jaques’ Stratified Systems Theory and Zacarro’s  Strategic Leader Model by adding distance education as one of the ways that strategic  leaders develop increased levels of cognitive capacity.  Jaques’ Stratified Systems Theory and Zacarro’s Strategic Leader Model  explain that leader cognitive development is associated with individual attributes,  organizational structure, and processes.  Jaques further differentiates leadership  cognitive skills with the strategic, operational, and production organizational levels.  Table 5.1 illustrates that the strategic level is the highest level of the organizational  structure (e.g. a CEO or agency director).  The organizational level is the operational  or middle management level (division manager) and the production level leader  works with individuals to accomplish tasks and solve problems.  The three organizational levels of leadership help distinguish strategic leader  cognitive attributes needed to perform roles and responsibilities in public  organizations.  This study was limited to assessing cognitive development of strategic  level leaders through distance education however; the study has implications for the  operational and production levels since the three levels interact in most public  organizations.  It is important to consider the interaction and distinction between the  strategic, operational, and production levels since strategic leaders have oversight for  all levels of organizational leadership.  Distance education programs could support  leader development at all three levels by extending program readings and forum  discussions to entry (production) and mid career (operational) education programs.  Expanding the program materials to multiple levels in an organizational structure will  help facilitate understanding of the mission and objectives. 141  Table 5.1 Revised Institutional Stratums of Jaques’ Leadership Responsibility  and Domain Based on Contemporary Organizational Structure  Stratum & Long Term  Planning Horizon  Leadership Requirements  Examples of Leaders  Strategic Level  +10 Years  Creates and Applies Policy  Directs Complex Systems;  Monitors the external  environment  Department Secretary  Federal Agency  Directors  Operational Level  5­10 Years  Allocates resources and  Executes Policies  Field Agency or  Organizational  Director  Production Level  < 5 Years  Directs work and solves  problems  Shift Leader/ First  Line Supervisor  The significant increase in strategic leader cognitive thinking skills was  attributed in this study to the way distance education programs expand leader  informational networks through readings, online collaboration, discourse in online  forums, and experiential learning processes (Passmore 1988; Moore 2003).  These  findings may be applicable for the organizational and production levels of leadership  because most leaders contend with multiple informational networks.  The data found  that online educational networks and forums increased the respondents’ ability to  exchange information and experiences that had implications for all levels of  leadership.  Zacarro’s strategic leader model associates leader characteristics with  competencies and performance requirements.  Findings from the study show that the  distance education program increases leadership competencies and performance in  the way that respondents are encouraged to think about the second and third order  effects of strategic level decisions.  For example, respondents found that exposure to  new technologies in distance education encouraged them to think about future uses of 142  technology as well as consideration of the second and third order effects of leader  decision making roles.  One respondent found that he was able to “increase my  confidence in technological systems as a result of completing the distance education  program requirements”.  Table 5.2 Contributions of Distance Education to Strategic Leader  Characteristics and Performance (Adapted from Zacarro’s Model, 2001).  Development of Strategic Leader  Characteristics through Distance  Education  Development of Strategic Leader  Performance through Distance  Education  Expanding knowledge and capacity  through informational networks  Encourages consideration of second and  third order effects of decisions  Threaded discussions (forums) promote  discourse and critical thinking  Promotes long term thinking &  planning  Writing requirements are designed to  require students to synthesize complex  material  Broadens leader perspective to consider  global issues  Respondents overwhelmingly found that the distance education course  material contributed to their cognitive development through the broad spectrum of  readings that contribute to understanding complex subject matter.  The strategic  leader course survey and respondent interviews highlighted how the wide range of  curriculum materials, activities such as the forums, and evaluative requirements  significantly contributed to the development of strategic leader cognitive skills such  as visioning.  Respondents are responsible for developing organizational visions that  provide a linkage with the mission, resource allocation, and assessment standards.  For example, strategic level Army Commanders develop a vision when they take over 143  as leader of organizations to inform personnel what they expect to accomplish during  their tenure.  Distance education evaluative requirements were designed to encourage  respondents to seek out and synthesize multiple sources of information.  The  respondent dialogue and synthesis of the course material encouraged reflection and  communication of complex ideas.  These skills support Zacarro’s theory that strategic  leaders need to develop the capacity to perform strategic level roles such as  formulating policy and strategic planning.  The second contribution is that distance education promotes leader cognitive  development of organizational cultural, psychosocial, structural, technical, and  management subsystems or networks.  Culture, psychosocial, structural, technical,  and management factors found in the population of respondents such as their  commitment, discipline, and respect for each other in completing and sharing insights  from course requirements.  Distance education networks are sets of effective  organizational subsystems such as the technological skills and structural skills to  navigate through online course curriculum material and forums.  Distance education networks provided respondents in this study access to  extensive informational sources and forums that facilitated greater cognitive capacity  and application of complex, strategic level concepts.  As a result of completing the  distance education program, respondents were better able to think about long term  and implications of their decisions.  For example, respondents completed a program  requirement in which they identified leadership attributes that were instrumental in  contending with the global strategic environment in the year 2010. 144  Systematic aspects of strategic leader cognitive development resulted from  internal and external environmental change e.g. technological developments.   The  organizational subsystems help to explain increased leader cognitive skills as a result  of interactions from cultural, psychosocial, structural, technical, and management  networks.  For example, respondents indicated that distance education program  helped them to think critically about how institutional policies (structure) and  networks (cultures) contribute to national and global strategies.  One respondent  found that “evaluating strategic level policies such as the failure to deploy sufficient  numbers of military units to suppress insurgent attacks in Iraq is important for future  strategic decision making.”  Figure 5.1 illustrates the process or system of leader cognitive development.  Leadership attributes are categorized as cognitive, technical, and interpersonal  attributes.  This study focused on the cognitive attributes.  Respondents added to their  cognitive leadership attributes through a number of technical and structural networks  such as the course readings, curriculum requirements, and online information sources.  Respondents used various online and personal contacts to compare and contrast  organizational best practices.  Cultural and psychosocial factors such as values in the  discipline to participate and camaraderie were evident in the way respondents’ shared  ideas through discourse in the forums.  Respondents managed their cognitive  development through completing course requirements and through experiential  learning by applying the course material to their personal experience.  The distance education development process includes feedback systems such  as assessment of course written requirements, forums, and surveys that resulted in 145  improvements to the distance education process (such as curriculum changes).  The  feedback loop illustrates that leader cognitive development is a continuous learning  process.  Strategic leader development is a result of respondents leveraging online  systems such as networks, experiential learning, and discourse through forums.  These systems result in developing leaders with greater cognitive and long term  planning skills.  Figure 5.1 Model of Strategic Leader Cognitive Development through Distance  Education  ^­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­^­­­­Feedback/Redesign Loop­­­­­­­­­­­­­­­­­­  The third contribution of this study is illustrated in the model of leader  professional development.  The leader development model consists of three modes of  professional development: institutional, experiential, and self development.  Distance  education programs are effective in supporting organizational professional  Timeline  Summer 05  Summer 06  Leader Attributes  Distance Education Program  Strategic Leader  (Inputs)  (Process)  (Outputs)  Interpersonal  Skills  Cognitive  Skills  Technical  Skills  Culture       Structural  Management  Psychosocial    Technical  Increased Strategic  Leader  Cognitive Capacity  And Long Term  Planning Skills  Distance Education  facilitates cognitive  development through  + Networks  + Experiential  + Discourse 146  development initiatives by exposing leaders to networks of informational systems that  promote continuous learning.  This finding is important as organizations face  increasing resource constraints and growing demands for professional development  requirements.  Distance education systems allow leaders to immediately apply new  concepts to their organizations and to use the experiential learning to reinforce  cognitive development.  The combination of institutional learning, experiential  application, and self development allows leaders to test and validate new cognitive  skills in anticipating future requirements and solving challenging issues.  The Professional Development Model highlights the importance of distance  education to institutional leader development and the linkage of distance education to  experiential learning and self development.  Institutional education and training  development includes the formal curriculum structure, forums, and written  requirements such as distance education programs.  Leadership development creates  networks and sources of information and knowledge that support experiential  learning.  In this study, respondents could immediately apply the course material to  their personal experience since most of the students are enrolled in the distance  education program on a part time basis.  The forums provided a means to discuss their  learning experiences.  For example, respondents found the multicultural curriculum  materials to be especially helpful in helping respondents contend with understand  future multinational security planning.  Their learning experiences were a result of the  curriculum materials in the institutional program and their duties while deployed  overseas. 147  Table 5.3 Examples of Strategic Leader Cognitive Development through  Distance Education in the Professional Development Model  Types of  Leader  Professional  Development  Programs  Institutional  Education and  Training  Development  Experiential and  Operational  Development  Self Development  Examples of  Distance  Education  Professional  Development  Programs  Online Curriculum  Sources  Forums  Writing  Requirements  Case Studies  Interactive  Modules  Simulations  Specialized  Information  Sources and  Networks focused  on specific skills  and competencies  Distance education promotes experiential learning by providing historical case  studies and requirements for the respondents to apply doctrine to the development of  national security policies (e.g. a case study that discussed the ethical treatment of  foreign detainees).  Leaders in this study were able to apply new knowledge from the  distance education program immediately to their professional lives as leaders in  industry or of deployments overseas in support of national security.  Respondents  were serving in duty positions that required them to develop strategic level policies  and strategies having national and international implications, such as establishing  future military force structure.  Other examples include respondents developing  strategic level leadership skills through distance education while serving as life cycle  project managers of major weapon systems and key planners on joint military staffs.  Leadership literature emphasizes the need for lifetime learning.  This study  illustrates how online leader curriculum encourages lifetime learning.  Experiential  development includes the application of formal instruction to case studies,  simulations, and interactive module to illustrate multidimensional aspects of a system 148  or organization, or developmental assignments like serving as an executive assistant.  Self development is the acquisition of specialized skills and knowledge to focus on  specific leadership attributes such as negotiations or strategic planning.  The linkage of institutional, experiential, and self development through  distance education is reinforced in theoretical and practical applications.  Distance  education programs expand institutional professional development opportunities  beyond traditional, face­to­face programs to networked and experiential learning  processes.  Respondents consulted with their classmates in addition to former  professional contacts to develop a broad sense of how the Army is changing  approaches strategic level issues such as development of future force structure and  weapon systems.  Findings from this study indicate that the online networks,  experiential applications, and forum discourse significantly contribute to developing  strategic leader cognitive skills needed to develop organizational visions, policy and  allocate resources.  Summary of Findings  Respondents in this study found that distance education systems encouraged  them to develop greater knowledge through informational and personal networks,  experiential application, and discourse.  The informational networks increased the  respondents’ ability to perform strategic level leadership tasks such as long term  planning and policy making.  Distance education facilitates development of strategic  level thinking skills because the program requires students to access, process, and  apply a wide variety of informational networks such as joint military, interagency, 149  and international policy sources.  Many of the case studies require respondents to  develop coalitions and partnerships with International Government Agencies, and  Nongovernmental Organizations (NGOs).  Informational networks support professional development systems and allow  leaders flexibility to balance professional and personal requirements.  Online systems  contribute to leader development of cognitive skills such as learning through role  playing simulations that can replicate many different types of organizational scenarios  and structures.  Leaders can gain insights to hypothetical scenarios such as supporting  military operations with varying levels of personnel and equipment.  One case study  required respondents to anticipate a shortfall of military forces as a result of engaging  in several international incidents.  This distance education program improved the respondents’ ability to perform  complex functions such as long term planning, boundary spanning, and network  development which are vital for strategic level policy and decision making.  Respondents found that the distance education program emphasizes critical thinking  and looking at issues from many perspectives.  Cognitive models and taxonomies in  distance education programs such as role playing support the development of  strategic leader mapping ability, reasoning ability to include problem solving, and  critical thinking skills.  In one exercise, respondents were required to role play  positions in the National Security Council in developing future security policy to  contend with development of nuclear weapons in Iran and North Korea.  Respondents  were able to relate real world events while developing their cognitive skills and  understanding of the curriculum materials. 150  Leader Cognitive Development  This study found that successful completion of an academically rigorous  distance education program increases leader cognitive capability.  One respondent  found that the program “increased my confidence to choose quality informational  sources in evaluating international policy development as a result of reading a variety  of online sources.”  These findings were supported with both quantitative and  qualitative data through pre and post test data analysis that indicated the increased  ability of respondents for cognitive complexity and long term planning requirements.  Jaques’ Stratified Systems Theory and the MCPA survey instrument provided insight  into the cognitive development of strategic leaders and were also useful in  determining sub culture preferences such as organizational structure, cultural,  psychosocial, and management systems (Passmore 1988; Ziegenfuss 2002).  For  example, the findings of significant growth in respondent cognitive development in  this study illustrated that most respondents selected higher order or strategic level  decision making tools for performing tasks.  For example, respondents found that  they were increasingly comfortable with using theory and ideas as tools for decision  making.  The pretest was administered prior to the respondents starting the distance  education program and the respondents scored at Level Three and Four responses in  the MCPA survey instrument which was the organizational level of leadership.  Level Four in organization leadership is indicative of the operational level leadership  with a relatively short planning time span.  According to the data, respondents’  MCPA scores increased from Level Four to Level Five which is considered strategic 151  level of leadership by the end of the first year of the distance education program.  Table 5.4 illustrates differences between strategic and operational leader  responsibilities.  Table 5.4 Strategic Stratums of Leadership Domain and Responsibility (Jaques  1991).  Stratum  Civilian/Military  Responsibilities  Planning  Time Span  Level 6: Strategic  CEO/Regional  Commander  Creates Policy  20 + years  Level 5: Strategic  Corporate Leader/ National Command  Applies Policy  10+ years  Level 4: Operational/  Management  Regional Leader/ Brigade Commander  Directs Complex Organizations  5+ years  Level 3: Operational/  Management  District Leader/Battalion Command  2+ years  The control group was unfortunately a very small population of students that  did not complete the distance education program and had no significant change in  cognitive thinking skills as measured by the paired t­test.  The lack of change in the  control group findings were in contrast to the significant change in the treatment  group that had significant change in cognitive skills as measured by the paired t­test.  Qualitative responses provided insights to the psychosocial and cultural  aspects of the respondents’ cognitive development such as their increasing comfort in  using complex theories and ideas as tools for visioning, policy development, and 152  evaluation.  A pattern of responses from the surveys and individual and focus group  interviews addressed the question about how distance education networks,  experiential applications of the course material, and forum discussions significantly  contribute to strategic leader cognitive development.  Respondents found that they  had an increased frame of reference for understanding joint and international  organizational requirements as a result of studying and discussing a variety of case  studies.  Distance education program materials gave respondents exposure to complex  networks and ideas which increased their comfort level for uncertainty.  The strategic  leadership courses for example, included a written requirement for students to read a  number of articles from different publications and assess their own leadership  attributes based on future needs and requirements.  The data from this study indicates that the AWC distance education program  increased the respondent’s ability to think holistically and conceptually as a result of  having to use different mediums such as online forums to consider strategic level  issues such as national security.  Leadership theory indicates that increasing critical  reasoning and thinking skills increases the leader’s ability to effectively perform their  roles and responsibilities.  Critical thinking skills are important to the strategic leader  development process because of the need for leaders to consider many different  aspects and implications about issues in strategic level decision making.  Distance  education facilitates critical thinking of strategic issues because of the online access  to multiple informational networks and the exchange of ideas through forums.  For  example, in this study respondents were required to use critical thinking skills to  evaluate how international leaders perceive United State security interests. 153  Respondent Satisfaction with Distance Education Curriculum Materials  The distance education course surveys had a 90 percent satisfaction level of  the respondents with the program attributed to the quality of curriculum materials and  that respondents could apply the material to their personal experiences.  Respondents  found that the distance education course requirements helped them in shaping their  thoughts and understanding of the subject material such as strategic vision, human  dimensions of strategic leadership, and ethics.  Respondents acknowledged in  interviews the importance of developing online informational and personal networks  to support cognitive skills needed for future leadership roles and responsibilities.  One  respondent found that his interaction with fellow classmates “gave me a much  broader perspective for international issues.”  Studies about leader cognitive development have found that students take  more responsibility for their learning as they gain experience with online education .  Respondents found that time management and effective communication skills were  instrumental to completing the distance education program successfully.  Establishing  effective communications with other students and faculty to reinforce respondent  knowledge through discussion and feedback was a common theme throughout the  focus group and individual interviews.  These findings are being integrated in student  handbooks, orientations, and curriculum guidelines so that future distance education  students think about how former graduates scheduled time and managed the course  resources to successfully complete course requirements.  A student orientation  program is being developed at the Army War College in part from the findings from 154  this study to enhance future distance education students’ preparation for utilizing the  technical networks and feedback systems for addressing course requirements.  Distance education students in this study were older and had more  professional experience than the average graduate student.  The respondents’  increased age and experience may have contributed to a high satisfaction with the  distance education learning environment.  Distance education programs promote adult  learning through experiential and Socratic means because students are able to  immediately apply the concepts to their experience.  Many distance education  students are part time students that are completing course requirements in addition to  fulfilling their roles and duties as professionals.  Respondents that started the distance education with a graduate level of  educational background had a higher level of success in this study.  This was evident  in the findings that show that 78 percent of the respondent population that  successfully completed the distance education program had a graduate level  educational background.  This is in comparison to the initial population of students of  which only 72 percent had graduate level degrees.  Leaders that develop extensive  cognitive development generally have the ability to effectively utilize self directed  systems like distance education to gain additional knowledge necessary for solving  complex issues.  Respondents in this study found that they developed greater comfort  in planning over longer time periods as a result of having to contend with long term  policy issues such as the future security posture of the Middle East.  The field of distance education is evolving with the development of new  programs and systems to support leader cognitive development.  This study helps to 155  fill the gap in leadership literature about the contribution of distance education  programs to leader development.  However, further studies are needed to consider the  many aspects and facets of leader cognitive development that the literature describes  as technical, interpersonal, and cognitive skills.  Respondents found that course curriculum materials such as the “Strategic  Leadership Primer”, videos, forums, and lectures were valuable in the development of  strategic leadership competencies.  Additional research is needed to fully explore the  effectiveness of distance education and organizational systems in supporting leader  cognitive development.  There are some limitations such as non­universal access to  high speed internet connections restricting access to some of the online materials.  The competencies of contending with increasing complexity over long periods  of time are especially important for public administrators that are faced with  substantial ambiguity and uncertainty as a result of changing environmental  conditions.  The leadership literature indicates that a significant challenge for public  administrators is to maximize the value of distance education systems for future  professional development opportunities.  Professional development is one of the top  priorities of strategic level leaders because of the need to prepare for evolving  environmental developments. Online education programs minimize travel cost and  students can immediately apply the concepts they learn to their professional  experiences.  Cognitive development contributes to the ability of strategic leaders to  communicate complex issues effectively and to manage problems that have many  different stakeholders and solutions (Markessini 1993; Heikkila and Isett 2004). 156  Recommendations for Future Research  This section recommends how future studies of cognitive development could  be directed to contribute to public administration leadership literature.  The first  recommendation is that this study should be extended to determine the long term  effects of distance education on cognitive development.  Additional assessments of  respondent cognitive development should be measured at the end to the second year  of the Army War College Distance Education Program and at periodic increments in  the future.  It is important to determine the long term effects of distance education by  incorporating career assignments to determine other factors that may contribute to  strategic leader cognitive development.  The second recommendation is that this study should incorporate a larger and  more diverse population of respondents to form a better idea of how demographic  factors contribute to leader cognitive development.  This study population was fairly  homogenous because the population of senior military officers has very little  diversity.  A larger and more diverse sample would help to compare how several  different treatment and control groups respond from distance education programs.  The population should include both military and civilian students to include more  diverse age groups, gender, and ethnic backgrounds.  This study should be expanded to evaluate the impact of distance education in  the development of operational and production level leadership because all three  levels of leaders interact in most organizations.  Expanding the study to consider  production and operational levels of leader cognitive development may have some  implications for the way that strategic level leaders are educated.  Many organizations 157  are becoming less hierarchical and thus interrelationships among organizational  leaders and members are becoming more important.  Leaders at all levels in  organizations increasingly need the same types of communications and thinking skills  since they interact on a regular basis.  The third recommendation is to use additional quantitative and qualitative  survey instruments to examine interpersonal and technical competencies in addition  to cognitive strategic leader competencies.  Utilizing a variety of different survey  instruments and interview questions to measure leader cognitive development may  provide additional insights into the effectiveness of distance education.  Survey  instruments that assess strategic leader development such as 360 degree assessments  incorporate insights from subordinates, peers, and superiors and provide  multidimensional feedback to the respondents about leadership development.  The  investigator should also control for external factors such as other educational or  experiential development experiences which was not possible in this study.  Public  administrators and researchers need to determine the most important parameters of  the leader development process such as cognitive, interpersonal, and technical  competencies.  Future studies should be tailored to evaluate competencies based on  organizational priorities and goals.  Although the MCPA provides some feedback on leader cognitive potential,  the question of senior Army officer potential for strategic level leadership is closely  linked to performance evaluations.  Performance evaluations are presently limited to  supervisor assessment of individual performance and leadership.  Future studies  should consider assessing leader potential to effectively perform tasks associated with 158  increasing complexity and long term planning skills.  This study examined leader  cognitive development through an educational process.  It would be beneficial to  examine how effective these educated leaders are in applying their knowledge to  organizational settings.  Strategic skills in can be evaluated in a number of ways  including the contribution to organizational performance.  There are also a number of  survey instruments and methodologies available (e.g. the 360 degree survey) to  examine various aspects of leader cognitive development.  Additional work is required to develop the predictive qualities of the MCPA  in terms of assessing individual and collective potential for the highest levels of  leadership as a result of a distance education program.  Future studies should also be  designed to evaluate the impact of course content in the cognitive development of  respondents.  An objective of future studies should be to substantiate cognitive  development with respondent performance in both academic and practitioner settings.  For example, supervisors could use feedback from the MCPA instrument in  developing and measuring professional development programs tailored to skills and  competencies. The MCPA survey instrument identifies nine leader cognitive skills  such as the way leaders use guidance, information, approach rules, and seek results.  This planning typology offers a way to further substantiate the relationship between  strategic leader cognitive development and performance by identifying specific  strengths and weaknesses in leader cognitive attributes.  Future studies involving the MCPA survey instrument could include feedback  to respondents by trained administrators that have experience with the survey  instrument and theory.  The intent is to determine if there is even greater cognitive 159  development as a result of the feedback.  Leadership literature indicates that the  feedback process is important to leaders for evaluating and internalizing the attributes  needed for professional development.  The MCPA survey instrument provides some  detailed insights to leader development in relation to other leaders.  Leadership  feedback may cause adverse results if the respondents are not educated properly on  the meaning and limitation of the instrument.  The fourth recommendation is that the data from this distance education study  should also be compared with a similar study with a traditional graduate education  program.  This data will determine whether there are similarities or differences in the  types of institutional professional development programs and strategic leader  cognitive development.  Greater analysis in comparing the programs is important  because organizations are increasingly using distance education and a combination of  distance and resident education programs.  Comparisons and contrasts of the  programs will provide insights into what types of curriculum materials or topics are  more effectively taught through distance and/or resident type instruction.  By extending the study beyond the distance education program, the post  graduate data may provide some additional insights about how respondents apply  their distance education experience to their professions.  Longitudinal studies provide  additional insights to the data and trends in the data that are important to determining  long term impacts and trends of the distance education curriculum and processes in  strategic leader cognitive development.  It is important to determine if the data  concerning cognitive development over the long term is similar to the finding at the  end of the first year of the program.  Longitudinal studies may provide some 160  additional data about other factors such as experiential assignments and self  development programs contribute to strategic leader cognitive development.  Concluding Remarks  Strategic leader cognitive development through distance education is evolving  as technology creates new ways to deliver information and to work collaboratively at  a distance.  Ongoing development of distance and traditional education systems are  resulting in effective development programs.  Annual review of distance education  programs will allow administrators to assess and update leadership theory and  practice and would also allow faculty members and students opportunities to  collaborate on evolving technological systems.  The evolution of technology systems is creating greater access to educational  media and information sources that are important to the leader development process.  The development of technology systems are diversifying the way that distance  education can be used to adapt to a changing environment .  This study illustrates how  strategic leaders need to develop skills continually to assess information from the  myriad of sources and continue to deploy effective technologies within organizations.  The findings from this study contribute to the body of knowledge about how  distance education supports the development of strategic cognitive leadership skills in  the field of public administration.  Studies on strategic leader cognitive development  through distance education should be expanded because of the numerous  developments in the field of technology.  Studies about distance education programs 161  are important because these programs are increasingly becoming more main stream in  leader professional development programs.  The institutional landscape of higher education and professional development  is evolving with a shift toward decentralization as instruction for leaders is becoming  more self­directed with a greater emphasis on strategic leader competencies .  The  multidisciplinary aspects of leadership literature illustrates the importance of using a  combination of methods such as online surveys and interviews to assess the  development and performance of future leaders.  Students and practitioners of  organizational culture and management should find this study useful because it  illustrates leader cognitive development in theoretical and practical ways.  The field  of public administration will benefit from continued studies that examine how both  distance and traditional education programs contribute to leader cognitive  development. 162  Appendix A: Survey and Focus Group Letters and Instruments  15 May 2005  MEMORANDUM FOR Department of Distance Education (DDE) Class of 2007  SUBJECT:  Research Survey  1. Please complete the enclosed consent form and return the form to my office at:  U.S. Army War College, Room A332, 122 Forbes Avenue, Carlisle, PA  17013­5243.  Once I have received your consent form I will send you the Modified Career Path  Appreciation (MCPA) survey as part of a research project in evaluating strategic  leader development.  A prepaid, addressed mailing envelope is enclosed for your use.  The purpose of this research is to look at the impact of the DDE course on increasing  cognitive capacity and to determine the feasibility of a distance education leadership  feedback program.  The MCPA is an instrument designed to assess cognitive  potential or the kinds of thinking skills needed to perform effectively as strategic  leaders.  2. The MCPA assesses your capacity to deal with complexity and predicts your future  strategic organizational level of leadership.  The MCPA is part of a battery of  individual assessment instruments that resident course students find useful and is also  administered to students at the National Defense University.  A potential progress  data sheet and feedback will be provided to you upon request when you complete the  final survey.  The data sheet indicates your response in comparison to your peers as  well as an indication of your level of development that may be useful to your personal  leadership development planning.  3. It takes approximately 10­15 minutes to complete the survey and your participation  is important for future development of the DDE leadership feedback program.  Please  follow the instructions that are provided with the instrument.  The survey  participation is voluntary and the results will be kept confidential.  Your participation  in this survey data is part of my doctoral research with Penn State University and the  Army War College.  Thank you in advance for your participation and if you have any  questions, please contact me at (717) 245­3577, DSN 242­3577 or by email at  Susan.R.Myers@Carlisle.Army.Mil.  SUSAN R. MYERS  COL, EN  Director of Leader Management Studies  Department of Distance Education 163  Informed Consent Form for Social Science Research  The Pennsylvania State University  Title of Project:  Evaluation of Strategic Leader Cognitive Development through  Distance Education at the U.S. Army War College  Principal Investigator:  Susan R. Myers, Graduate Student  Penn State, Harrisburg Campus  Department of Public Affairs  777 Harrisburg Pike, Middletown, PA 17057­4849  (717)  948­6058; susan.r.myers@carlisle.army.mil  Advisor:  Dr. James Ziegenfuss  Penn State, Harrisburg  Department of Public Affairs  777 Harrisburg Pike, Middletown, PA  17057­4849  (717)  948­6053; jtz1@psu.edu  1.  Purpose of the Study:  To explore the impact of the Army War College distance  education course of study in the cognitive development of strategic leaders.  2.  Procedures to be followed:  You will be asked to complete this consent form and  mail to my office at the following address: COL Susan Myers, Room C336, 122  Forbes Avenue, Carlisle Barracks, PA 17013.  Once I have received your consent  form  I  will  send  you  the  Modified  Career  Path  Appreciation  (MCPA)  survey  instrument  and  ask  you  to  complete  the  survey  instrument.    I  will  provide  a  preaddressed mailing envelope for you to return the survey to my office.  You are  asked  to  complete  the  MCPA  survey  instrument  at  the  beginning  and  again  toward the end of your first year program of studies.  Another copy of the survey  will be sent to you with course 541 material. The completed surveys will serve as  data points to measure if there is change in cognitive development associated with  completion of the program of studies.  You may also be asked to participate in a  focus group to discuss the survey instrument when you attend the resident course  next summer.  The focus group will consist of 8­12 students and the purpose is to  discuss  the  survey  instrument  as  it  pertains  to  your  strategic  leadership  educational experience at the Army War College.  3.  Discomforts and Risks:  There are no risks in participating in this research beyond  those experienced in every day life.  Some of the questions are personal and might  cause discomfort.  4.  Benefits:    You  might  learn  more  about  your  cognitive  development  by  participating  in  this  study  and  your  strengths  and  weaknesses  in  developing  strategic leader attributes.  This research might provide a better understanding of  ORP USE ONLY:   IRB# 21018 Doc. #1  The Pennsylvania State University  Office for Research Protections  Approval Date:  5/11/05 – J. Mathieu  Expiration Date:  5/9/06 – J. Mathieu  Social Science Institutional Review Board 164  the  value  of  the  War  College  distance  education  program  and  the  information  could help to make the program better.  5.  Duration:  It  will  take  about  15  minutes  to  complete  the survey  questions  each  time  or  a  total  of  30  minutes.    The  focus  group  will  last  approximately  30  minutes.  6.  Statement of Confidentiality:  You will be asked to provide the last four numbers  of your social security number only to track the survey submissions.  If you speak  about the contents of the focus group outside the group, it  is expected that you  will  not  tell  others  what  the  individual  participants  said.    Only  myself,  the  investigator and my advisor listed on the previous page will know your identity.  The data will be stored and secured in a secure file in my office at the Army War  College,  Carlisle  Barracks,  Pennsylvania.    Upon  completion  of  this  research,  I  will strip the  identifiers (the  last  four numbers of  your social security  number)  from  the  data.  The  Office  for  Research  Protections  and  the  Social  Science  Institutional  Review  Board  may  review  records  related  to  this  project.    No  personally identifiable information will be shared in the event of a publication or  presentation resulting from the research.  7.  Right  to  Ask  Questions:  Please  address  questions  about  this  research  and  the  consent form to COL Myers at (717) 245­ 3577, or see me in Room C336, Army  War  College,  122  Forbes  Avenue,  Carlisle,  PA  17013.    If  you  have  questions  about  your  rights  as  a  research  participant,  contact  The  Pennsylvania  State  University’s Office for Research Protections at (814) 865­1775.  8.  Compensation:  Participants will not receive any compensation for participating in  this research.  9.  Voluntary Participation:  Your decision to be in this research is voluntary and you  can stop at any time.  You do not have to answer any questions you do not want to  answer.  You must be 18 years of age or older to take part in this research study.  If you agree to take part in this research and the information outlined above, please  sign  your  name and  indicate  the date below.  You  will  be provided a copy  of  this  signed and dated consent  form  for  your records upon request. Thank  you  for  your  support.  ­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­  ­­­­­­­­­­­­­­­­­­­­­­­­­  Participant Signature  Date  ­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­­  ­­­­­­­­­­­­­­­­­­­­­­­­­  Person Obtaining Consent  Date 165  Modified Career Program Assessment (MCPA) Survey Instrument  Please enter the last four numbers of your Army War College DDE Log in  Number (for tracking purposes only): __________  Please enter your age: ____________  Please enter your gender (Male/Female): __________  Please enter your ethnic group (White; Black; Hispanic; Asian; Other):  ________  Please enter your grade/ rank (GS 14; LTC/05; COL/06): _______________  Please enter your total years of government service: ___________  Please enter your professional specialty (Engineer, Administrator, Infantry,  and Logistician): ____________  Please enter the largest organizational level that you have led (less than  2,000 personnel; 2­6,000 personnel, 6­30,000 personnel): ______________  Please enter the highest organizational level that you desire to lead (less  than 2,000 personnel, 2­6,000 personnel, 6­30,000 personnel):  ____________  Please enter your highest level of civilian education (undergraduate,  graduate, post graduate): _______________________  Instructions  In the MCPA you will be given nine phrase sets of statements.  Each  statement is a possible way you could think about your work, or conditions in  which you like to work, or the kind of work you like to do.  In each set of  statements, pick the one you feel is most characteristic of you – the one you  like most, and then pick the one least characteristic of you – the one you like  least.  Place the number indicating the “most liked” and “most disliked”  phrases.  After you have picked the ones you most and least agree with, you  will be asked to explain why those were your choices.  After you have  completed all nine phrase sets, you will asked to describe your time horizon  (the span of time that you define in your personal life in weeks, months or  years for the near term, mid term and far term).  The final question addresses  the extent your comfort level in dealing with VUCA (volatility, uncertainty,  complexity, and ambiguity). 166  Please return the completed survey to COL Susan Myers at  Susan.Myers@Carlisle.Army.Mil  or you can print and mail to me at: United  States Army War College, COL Susan Myers, Room 336, Root Hall, 122  Forbes Ave., Carlisle, PA 17013.  Thank you for your participation.  Phrase Set I  Item Number Most Liked : ______  Item Number Most Disliked: _______  1.  Define the horizons of the work  2.  Work with connections even if particular links are unclear  3.  Work to complete set of instructions  4.  Work with a minimum of preconceptions  5.  Work in abstracts and concepts  6.  Work within a given framework  Explain your selection:  Phrase Set II  Item Number Most Liked : ______  Item Number Most Disliked: _______  1.  Do one thing at a time  2.  Use works, ideas and theories as tools  3.  Focus on one part of the task at a time  4.  Compare the merits of alternative options  5.  Establish new relationships between previously unrelated materials  6.  Coordinate by drawing together a number of separate strands  Explain your selection:  Phrase Set III  Item Number Most Liked : ______  Item Number Most Disliked: _______  1.  Look for the intent of the rules  2.  Make sure the rules fit  3.  Use the rules as guides to action  4.  Follow the rules  5.  Work with the rules  6.  Redefine the rules  Explain your selection: 167  Phrase Set IV  Item Number Most Liked : ______  Item Number Most Disliked: _______  1.  Span a broad spectrum and also focus in detail on certain aspects  2.  Follow instructions carefully  3.  Transcend the task  4.  Take a systematic approach  5.  Look for relationships between the current task and other tasks  6.  Approach each task in own right  Explain your selection:  Phrase Set V  Item Number Most Liked : ______  Item Number Most Disliked: _______  1.  Figure out the right sequence of tasks  2.  Consider the context of the problem  3.  Do first things first  4.  Break up the problem into separate parts  5.  Analyze problems by searching for underlying issues  6.  Create an overall picture of the problem  Explain your selection:  Phrase Set VI  Item Number Most Liked : ______  Item Number Most Disliked: _______  1.  Allot a specific amount of time to each task  2.  Expect that a task will be transformed while it is in progress  3.  Transform the task  4.  Develop a plan with a clear sequence of steps  5.  Handle ambiguity by developing opposing points of view  6.  Follow a set procedure  Explain your selection: 168  Phrase Set VII  Item Number Most Liked : ______  Item Number Most Disliked: _______  1.  See gaps as the most interesting part  2.  Stop if there is a problem  3.  See gaps in knowledge as interruptions to work  4.  Know that new information creates new gaps  5.  See gaps as pauses in the process  6.  See gaps in knowledge as missing pieces of a jigsaw  Explain your selection:  Phrase Set VIII  Item Number Most Liked : ______  Item Number Most Disliked: _______  1.  Rely mainly on previous experience  2.  Resolve problems by choosing between alternatives  3.  See the solution as the beginning of anew problem  4.  Seek to develop an original solution  5.  Expect to be told what to do  6.  Expect that the problem will resolve itself in time  Explain your selection:  Phrase Set IX  Item Number Most Liked : ______  Item Number Most Disliked: _______  1.  Conflicting solutions must sometimes be accepted  2.  Hold a solution while developing an alternative approach  3.  Most problem solutions are straightforward  4.  There are no permanent solutions  5.  Go back to the beginning if the thread is lost  6.  Options should be discarded  Explain your selection: 169  Personal Time Horizons  Most people have defined unique time horizons in their personal lives.  As  you define them in your personal life –not how the military defines them – how  long in weeks, months or years are NEAR TERM, MID TERM, and FAR  TERM.  NEAR TERM  MID TERM  FAR TERM  ___________  __________  __________  Final question:  One of the goals of the AWC experience is to help prepare you to operate  effectively in the VUCA (Volatile, Uncertain, Complex, Ambiguous)  environment.  To what extent do you believe that your comfort level with in  dealing with a VUCA external environment has increased during your time at  the US Army War College?  (Please place the number for the statement that  best reflects your opinion on this line _______).  1.  Increases dramatically – I am much more comfortable dealing with  VUCA.  2.  Increased somewhat – I feel a little more comfortable now than a year  ago.  3.  Did not increase at all – I arrived here already comfortable dealing with  VUCA.  4.  Did not increase at all – I didn’t like VUCA when I arrived and still do  like it.  5.  Other (please explain).  Thank you for completing this survey.  Please verify that you have  answered all nine Phrase Sets and the Personal Time Horizon Estimates.  If you have questions about this project, please contact COL Susan  Myers, (717) 245 ­3595 or email at Susan.Myers@Carlisle.Army.Mil. 170  MCPA Phrase Scoring Key  Phrase Set 1  1. Work to a complete set of instructions  2. Work within a given framework  3. Work with connections even if particular links are unclear  4. Work in abstracts and concepts  5. Work with a minimum of preconceptions  6. Define the horizons of the work  Phrase Set 2  1. Do one thing at a time  2. Focus on one part of the task at a time  3. Co­ordinate by drawing together a number of separate strands  4. Compare the merits of alternative options  5. Establish new relationships between previously unrelated  materials  6. Use words, ideas and theories as tools  Phrase Set 3  1. Follow the rules  2. Work within the rules  3. Make sure the rules fit  4. Use the rules as guides to action  5. Look for intent of the rules  6. Redefine the rules  Phrase Set 4  1. Follow instructions carefully  2. Approach each task in its own right  3. Take a systematic approach  4. Span a broad spectrum and also focus in detail at certain  aspects  5. Look for relationships between the current task and other tasks  6. Transcend the task  Phrase Set 5  1. Do first things first  2. Break up the problem into separate parts  3. Figure our the right sequence of tasks  4. Create an overall picture of the problem  5. Look for underlying issues  6. Consider the context of the problem  Phrase Set 6  1. Follow a set procedure  2. Allot a specific amount to time to each task  3. Impose a procedure to reduce uncertainty  4. Handle ambiguity by developing opposite points of view  5. Expect that a task will be transformed while in progress  6. Transform the task 171  Phrase Set 7  1. Stop if there is a problem  2. See gaps in knowledge as interruptions to work  3. See gaps as pauses in the process  4. See gaps in knowledge as missing pieces of a jigsaw  5. See gaps as the most interesting part  6. Know that new information creates new gaps  Phrase Set 8  1. Expect to be told what to do  2. Rely mainly on previous experience  3. Expect that the situation will resolve itself in time  4. Resolve tasks by formulating alternatives  5. Seek to develop an original solution  6. See the solution as the beginning of a new problem  Phrase Set 9  1. Most problem solutions are straight forward  2. Options should not be discarded  3. Go back to the beginning if the thread is lost  4. Hold a solution while developing an alternative  5. There are no permanent solutions  6. Conflicting solutions must sometimes be accepted 172  Face­to Face and Focus Group Interview Protocol  Introduction  The purpose of the study is to evaluate strategic leader cognitive  development through the first year of the Army War College Distance  Education program.  The focus of the study is to determine what factors of the  distance education process such as policy, management and organizational  behavior are most important to strategic leader cognitive development.  This  evaluation will facilitate a blueprint of the Army War College strategic leader  development through distance education process.  This blueprint establishes  a foundation for future strategic leader development programs through  distance education.  This interview is to focus on specific attributes of strategic leader  development such as what it means to you in the context of your current and  future roles and responsibilities as a strategic leader.  It is important to  understand what this means in context of the mission, goals and objectives of  the Army War College; how you manage and develop strategic leadership  skills; the obstacles faced trying to develop strategic leadership skills; and the  opportunities that facilitate strategic leader cognitive development. The results  from these interviews will help develop and blueprint for future policy,  management and organizational behavioral systems for strategic leader  professional development programs through distance education.  In order to ensure the interview relates terms in similar contexts, the following  definitions provide a common understanding about strategic leader cognitive  development through distance education.  The Army War College defines  Strategic Leadership as skillful formulation, coordination, and application of  ends (objectives), ways (courses of action) and means (supporting resources)  to promote and defend the national interests.  Strategic leaders provide  vision, focus, command and leadership skills, inspires other to think and act,  and coordinates ends, ways and means.  Strategic leader cognitive  development is the knowledge and skills to perform strategic leader functions  of creating complex systems, organizing and acquisition of major resources,  creating policy over a 10 plus year time span. Growth rate is the rate the  individual will increase in capacity to handle complexity over time, absent  intervention explicitly intended to increase growth rate.  Strategic leader  cognitive thinking skills is the ability to deal with abstract concepts; cross­  reference from one type of problem dynamic to another and use both rigorous  analytic and integrative logic (Jacobs and Jaques 1990).  Distance Education is planned learning that normally occurs in a different  place from teaching and as a result requires special techniques of course  design, instructional techniques, methods of communication, organizational  and administrative arrangements (Moore and Kearsley 1996). 173  Introduction Question: Name and strategic leadership goals.  1.  What aspects of the program challenge and support your cognitive  development?  2.  What course material has been most helpful for dealing with complex  thinking skills and situations?  3.  How might you describe change in your comfort level to contend with  more complex situations that you can attribute to the AWC DDE  program?  4.  Did you participate in any other professional development or  educational programs this past year?  5. What implications do you think a deployment may have had on your  education and cognitive development?  6. How did you determine your personal time horizon (far term)?  7. How might you describe the relationship of your personal time horizon  to your experience with the AWC DDE program?  8. From your experience as a senior leader, what do you see are the  greatest challenges for strategic leaders?  9. What would you change about the AWC DDE program to better prepare  you for strategic leadership roles and responsibilities?  10. What survey questions were more difficult than others in determining  what phrase sets you liked best?  11. How helpful was it to be able to explain your selection in each phrase  set?  12. What are your biggest challenges as a distance education student?  13. How can we make this research process better?  14. Summary: Do you have anything else that you would like to add? 174  Face­to Face & Focus Group Interview Reporting  Information about the Interviewee & Focus Group  Date of Interview  Location of Interview  Number and Description of  Participants  Moderator & Assistant Moderator  Contact Information  Responses to Questions  1. How has the Distance Education program impacted your development as a  strategic leader?  Brief Summary/Key Points  Notable Quotes  2. What aspects of the course materials and educational process were helpful  and not so helpful?  Brief Summary/Key Points  Notable Quotes  3. What are your greatest challenges as a strategic leader?  Brief Summary/Key Points  Notable Quotes 175  4.  What are your greatest challenges as a Distance Education student?  Brief Summary/Key Points  Notable Quotes  5. Did you participate in any other type of professional development programs while  enrolled in this DDE program?  Brief Summary/Key Points  Notable Quotes  6. What are your questions and interests about this study?  Brief Summary/Key Points  Notable Quotes  7.  Will you participate in future Distance Education programs and feedback  programs?  Brief Summary/Key Points  Notable Quotes 176  Appendix B: Internal Review Board Approval  From:  Mathieu, Jodi [SMTP:zjc2@psu.edu]  To:  Myers, Susan R. COL USAWC; srm264@psu.edu  Cc:  jtz1@psu.edu  Subject:  IRB# 21018 ­ "Evaluation of Strategic Leader Cognitive Development through Distance Education"  Sent:  5/11/2005 3:48 PM  Importance:  Normal  Hi Susan,  Your research project was approved as of today.  You may begin your research.  An  approval letter will be mailed to you shortly.  Attached is(are) the approved IRB consent form(s) with the approval stamp. Please  ensure that this consent form is used to enroll new participants.  Please do not hesitate to contact me if you have any questions.  Thank you, Jodi ~~~~~~~~~~~~~~~~~~~~~~~~~ Jodi L. Mathieu, CIP IRB Administrator - Social Science Office for Research Protections The Pennsylvania State University 212 Kern Graduate Building University Park, PA 16802 Telephone: 814-865-1775 Fax: 814-863-8699 http://www.research.psu.edu/orp/ Myers ­ #21018 (5­11­05)).doc 177  REPLY TO  ATTENTION OF  DEPARTMENT OF THE ARMY  UNITED STATES ARMY WAR COLLEGE AND CARLISLE BARRACKS  Office of the Dean of Academics  Colonel Susan R. Myers  Penn State, Harrisburg Campus  Department of Public Affairs  777 Harrisburg Pike  Middletown, PA 17057­4849  Dear Colonel Myers:  The U.S. Army War College received your request to engage in research  on “Evaluation of Strategic Leader Cognitive Development through Distance  Education.”  Approval was recommended by the USAWC Institutional Review Board to  administer your study to selected USAWC students.  However, in accordance  with standard and customary research procedures, your subjects may  withdraw at any time from this research effort without reason, cause, or  explanation.  A copy of this approval will be forwarded to Dr. Clay Chun, Chairman,  Department of Distance Education.  The point of contact for this action is Dr. Anna Waggener, Director,  Institutional Assessment, U.S. Army War College, commercial 717­245­3365  or e­mail Anna.Waggener@carlisle.army.mil.  Please contact her if you have  further questions.  Sincerely,  William T. Johnsen, Ph.D.  Dean of Academics  CARLISLE, PENNSYLVANIA  17013­5217 178  Appendix C.  Permission to Use the Modified Career Path Appreciation Survey  Instrument  From:  Gillian Stamp [SMTP:gillian@bioss.com]  To:  Susan.Myers@carlisle.army.mil  Cc:  Subject:  RE: Research at the Army War College  Sent:  4/14/2005 12:42 PM  Importance:  Normal  Dear Susan,  Please accept my apologies for not replying. I have not been able to access  this email address for eight weeks and only managed to sort it out today.  The IP of MCPA is with Bioss International and as a Director I am happy to  give you permission to use it in your research.  I look forward to hearing how it all goes.  with best wishes,  Gillian 179  Appendix D. Study Data  Table 1: Initial Qualitative Responses to MCPA Pre­Test Survey and Analysis  MCPA Survey  Question  Analysis of Response Data  Respondent Reply  Phrase Set 1. Guidance  and Frameworks  Responses evenly distributed  between production,  organizational and strategic  leadership levels  Lowest mean & mode of all  questions which can be  attributed to military  bureaucracy and structure  “I prefer working within  given frameworks and like  to know limits but not  getting complete  instructions as it limits  initiative”.  “I like to work toward a  vision or future event with  measurable results”.  “Working within a  framework is comfortable  and defining the horizons  entails understanding of  the unknown”.  Phrase Set 2.  Information and Tools  Majority of responses were in  the operational, then strategic  levels  Lowest mode which can be  attributed to educational focus  of military officers to  compare merits of alternative  options  “I like multitasking  environments and  connecting the dots to see  the big picture and then  align resources to support  it”.  “I like exploring  alternatives to make  systems work better and  tackling many tasks at one  time”.  “I like to compare the  merits of alternative  options”.  Phrase Set 3. Rules  Responses were primarily in  the higher operational and  strategic levels however;  respondents had the highest  rate of dislike for the strategic  level response perhaps  because they misunderstood  the question.  “”Rules are guides to  action; the most important  element is intent…”  “By determining intent of  rules I can determine how  they apply to a given  situation”. 180  Military culture promotes  using rules as guides and  examining the intent  “Rules are guides but not  absolutes; redefining rules  is subject to  interpretation”.  MCPA Survey Question  Analysis of Response Data  Respondent Quotes  Phrase Set 4. Approach to  Tasks  Majority of responses were  concentrated in the  operational level  Responses mirror military  education and practices for  broad spectrums and  systematic approaches  “”Spanning a broad  spectrum and focus in  detail on certain aspects is  expected of leaders at our  grade”.  “I like the big spectrum ad  recognize that I can not  deal with everything”.  “Following a systematic  approach helps me to be  thorough and transcending  the task does not actually  complete the task”.  Phrase Set 5. Methods in  Analyzing Issues and  Problems  Responses were  predominately at the  operational and strategic  levels  Responses focus on  evaluating the overall  picture of the problem and  underlying issues  “I like to visualize the  problem then  conceptualize the solution  through a series of steps”.  “Creating a picture of the  problem requires vision”.  “You have to analyze  underlying issues to  understand the problem”.  Phrase Set 6. Procedure  Most responses span the  operational and strategic  levels  Army policy and  procedure is generally  highly structured  “I expect tasks to  transform while in  progress and do not hold  myself to set time as I  work until the task is  complete”.  “Procedures need to  evolve with problems” 181  “Developing a plan with a  clear sequence of steps is  the way I approach tasks”.  MCPA Survey Question  Analysis of Response Data  Respondent Quotes  Phrase Set 7. Gaps in  Knowledge  Majority of responses were  in high operational and  strategic levels  Military officers are  accustom to working with  multifaceted “jigsaw”  types of organizations that  are creating new  information and gaps  “I am an info junkie and  information is always  welcomed to help fill in  holes”.  “I like the process of  creativity and know  knowing the solution up  front does not bother me”.  “Gaps are potential  problems and we must  work them hard to clear up  uncertainty and  ambiguity…”  Phrase Set 8. Solutions  Responses were primarily  in the high operational and  strategic levels.  Military decision making  models focus on resolving  tasks by formulating  alternatives.  “I resolve problems by  looking at alternatives”.  “Choosing between  alternatives brings  closure”.  “Evaluating alternative  solutions increases the  likelihood of selecting the  best resolution for a  particular problem”.  Phrase Set 9. Decision  Making  Strongest responses of all  survey instrument  questions at the strategic  level.  Changes in the  environment make  problem solving and  decision making an  ongoing process.  “Solutions change as  resources change in  availability”.  “Always look for better  ways to solve a problem”.  “Everything changes and  we must lead change”. 182  Table 2. Interviews and Focus Groups  Question  Interview  Focus Group  1. How has time invested  in DE contributed to your  development as a strategic  leader?  Challenge in juggling  many responsibilities  DE program gives me  tools to look at world  issues with better  understanding  Broadened perspectives of  strategic leadership issues  and environments –  appreciation for  complexity, uncertainty,  ambiguity  Given me “coup de oeil”  to focus thought and  anticipate future  requirements  Greater depth and  flexibility in thinking  skills; Need for balance  Helped me sort through  and prioritize broad array  of information  Greater thought and  understanding about long  term thinking  Opportunity to gain  insights from peers and  faculty that have other  insights  Increased networks of  information and personal  contacts  DE program helped me  understand technical,  cognitive, and  interpersonal skills  required at the strategic  level as well as filling  knowledge gaps.  Summary: DE provides  tools for greater  knowledge with a long  term perspective.  I have greater  understanding of DOD  processes and international  relations theory.  The program encouraged  me to develop a broader  perspective that is more  acute and long term  A little early to tell.  I  expect the investment of  the DDE program to be  fully realized in the near  future.  My eyes have been opened  to a whole new side of the  military and I look at  things in a new  perspective. 183  Question  Interviews  Focus Groups  2. What aspects of the  program challenge, assess  and support your cognitive  thinking skills?  (Course  material that is most  helpful for developing  thinking skills).  The rigor: academic pace,  methodology and review  along with faculty  feedback that broadens  learning.  Allowed students to  contribute from their  strengths and experience  Forced to study subjects  that are not in “comfort  zone” but needed for  higher level leadership.  Getting to know faculty  and students on a more  personal basis  Course material about  leadership, how DoD  works, and global issues to  help fill in the gaps.  Writing requirements and  forums required formalize  thoughts and ideas in  context  Exposure to new  technology and graduate  level literature as well as  forum discussions.  The classics on war from a  strategic leader perspective  such as Sun Tzu and  General Slim  I found the course work to  be informative but not as  much as law school.  Summary: course  materials and  methodologies such as the  forums create new ways of  learning through  technology.  Some of the sources are  challenging and I needed  to develop my  understanding beyond the  materials.  The forums are  especially helpful in  building my knowledge  and understanding.  Program requires me to  stretch my thought process  and comprehension.  The program has been  challenging and the  reading, forums, and  writing requirements  developed my ability to  strategically analyze  complex issues. 184  Question  Interview  Focus Group  3. How might you describe  any changes in your ability  to contend with complex  situations that can be  attributed to DE program?  Understanding of what the  strategic leader faces.  Knowledge is power and if  you act, the environment  also acts creating  resistance, adaptation.  Time management and  greater ability to anticipate  complex future  requirements over longer  time periods  Steady progress generally  yields success and to stay  on the offensive by  adapting your plan.  Ability to synthesize  information from a  number of sources  Exposure to new ideas  gave me a greater comfort  level.  Importance of discussion  with peers and experts  Experience in contending  with multiple forms of  technology and  communication.  I am more aware of  questions to ask.  Summary: Better  understanding of strategic  level issues through  distance education  experience.  I feel more confident in  understanding  international relations  theory.  Much greater comfort in  contending with strategic  level issues.  I’ve realized that I need to  take more time to break  complex issues into parts  to look at various aspects  of problems.  I look at the long term  impacts from my  decisions. 185  Question  Interview  Focus Group  4. Did you participate in  any other professional  development or  educational programs this  past year?  Continuing Education for  Certified Public  Accountants.  Professional development  courses, some formal  education; Experiential  development assignments;  Deployment  Annual DoD and Army  Training Requirements.  Yes but not to the extent  that this course required.  Technical updates to  professional requirements  in field of Human  Resource Management.  Institutional (courses) and  Self Development (reading  and researching)  Personal professional  reading program.  I completed the Master’s  Degree in Strategic  Intelligence and found a  degree of overlap of  course material.  Summary: Many students  engaged in other forms of  professional development.  I completed a National  War College course this  year that was similar in  content to the DDE  program of study.  No  Yes but it was very simple  in terms of content.  I finished my dissertation  for  a PhD is business  administration and  professional development  in the logistics field. 186  Question  Interview  Focus Group  5. What implications do  you think a deployment  may have had on your  cognitive development?  I have not deployed to a  war zone but have taken  part in shorter missions  that have a profound  impact on my leadership  development because of  the myriad of tasks and  responsibilities.  Limited access to course  material;  Lateness in receiving  mailed materials;  Emotional events with  separation and  death/injury  Did not deploy during this  course.  Many different  distractions  Deployment to Iraq  contributed to my  cognitive thinking because  I was exposed to a broad  array of situations some of  which had strategic  implications.  Lots of learning in a short  time because of unique  requirements and exposure  to strategic issues  Deployment requirements  challenged the balancing  act of professional and  operational requirements  I deployed to Iraq and my  professional horizon  extended significantly.  Summary: Deployments  contribute to cognitive  development because of  the complex and rapidly  changing conditions.  I had two deployments that  enhanced my cognitive  skills.  Significantly since I was  assigned to a multinational  unit this past year.  Critical.  I was a Battalion  Commander in Iraq which  gave me some insights to  the challenges that  strategic leaders face in a  high conflict environment  as well as second and third  order effects of decision  making.  My deployment distracted  me from doing my best  work in the program. 187  Question  Interview  Focus Group  6. How did you determine  your personal time  horizon?  I tend to plan in 5 year  block because I feel like it  has some certainty and  relevancy to what I can  influence. I try to remain  flexible for the  unexpected.  Approach to professional  and personal requirements  I try to plan at least 10  years in advance.  Comparison with my  spouse showed great  differences as hers is near  term of weeks.  Linked to level of  responsibility and type of  assignment  Long term planning is  linked to what I think I can  influence and beyond 10  years is unrealistic to me.  How I think and how I am  expected to think at the  strategic level  Higher order thinking  requirements drove longer  term time horizons.  Summary: Timelines are  linked to professional and  personal goals.  DDE  experience increased  comfort in long term  planning.  I have always looked in  terms of five and ten years.  Based on key milestones  in my professional and  personal experience.  I am single and have a  great deal of flexibility in  planning my time.  I always ensure that I  schedule personal time in  order to have a balanced  life. 188  Question  Interview  Focus group  7. What are the greatest  challenges for strategic  leaders?  Anticipating future major  contingencies and being  able to manage large scale  operations as well as  overcome resource  constraints without major  harm to large populations.  Overcoming VUCA,  resource constraints  Prepare for future  requirements.  Balancing requirements  and resources  Identifying and managing  knowledge gaps especially  with the profound changes  in technology.  Developing international  cultural competencies  since we are globally  linked.  Monitor global changes  and determine how to  build coalitions to support  and protect interests.  Anticipating change,  dealing with ambiguity.  Summary: Challenges for  strategic level leaders  include anticipating  change and need for  increasing ability to  contend with complexity.  Gaining an understanding  of issues and the  temptation to avoid  problems.  It is easy to just  work on issues that we  have a higher comfort  level .  Need to focus further out  in time and inter­rationally  with other parameters.  Getting others to think at a  strategic level and work  together as a team.  It is  important to have a diverse  group of team members  and ideas to represent the  entire spectrum of the  population.  Keeping up with the ever  changing world. 189  Question  Interview  Focus Group  8. What are your greatest  challenges as a DDE  student?  To invest the time required  to synthesize the large  quantity of information  and complete quality  assignments.  Time Management,  Understanding the  requirements,  Completing reading and  writing requirements  Carve out time to complete  course requirements and  be able to internalize what  I am learning.  Having time to complete  the reading; Distractions at  work and home  Being able to  communicate my ideas  effectively and to use  faculty feedback to  improve my learning.  Understanding and  Completing requirements  on time  Balancing professional and  personal needs.  I do better in learning with  groups of people  interacting than writing  papers or having to work  on my own.  Summary: Challenges for  DDE students include time  management, balancing  professional and personal  requirements and  communication skills.  Time management and to  ensure the course enhances  my skills.  Time management and  procrastination.  Trying to get use to a new  way of learning since this  was my first experience  with online learning.  Finding time to balance  work, course requirements,  Reserves and personal  time. 190  Question  Interview  Focus Group  9.  How helpful was it to  be able to explain your  selection in each phrase set  of the MCPA survey?  I found it to be helpful  because I had to gather my  thoughts, test my answer  and explain ambiguities  such as “why do I feel this  way?”  Somewhat helpful  Enabled me to be able to  reflect about my  educational experience and  to put thoughts into  context.  Very helpful – helped to  reinforce my selections  Selecting the responses  was difficult to some  degree because several  responses were appealing.  Explaining my response  helped me to understand  my needs.  Somewhat helpful in  synthesizing my thoughts  and ideas.  Summary: It was helpful  to explain selections and  have the opportunity to  reflect and synthesize  ideas.  I had no issues.  Helpful from the  standpoint that it allowed  me to reflect on important  aspects of my learning  experience.  Very helpful but it was  hard finding time to  analyze and reflect. 191  Question  10.  What would you  change about the DE  program to better prepare  for strategic leadership  roles and responsibilities?  I trust the AWC leadership  compiles what I need to  learn.  A General Officer  mentor is deployed to  Kuwait concludes that  75% of his job is strategic  leadership doctrine from  the course.  Introduction to program,  instructors and evaluators  at the beginning of the  program.  Conduct quarterly focus  groups at various sites so  that students get more face  to face discussion and  interaction with faculty.  Evaluate application of  concepts to experience.  More flexibility on word  count and responses to  requirements.  More person to person  time and feedback.  Do more experiential  lessons so students gain  better insights of strategic  level issue resolution.  Encourage students to  pursue and share  mentoring experiences  with strategic level  leaders.  I would recommend more  biographical readings like  Slim with an application  of certain leadership.  More personal interaction  between faculty and  students.  Summary:  Recommendation for  increased personal  interaction and case studies  in the DDE program.  More opportunities to  interact personally and  expanding the forums.  This is more in line with  the way the Army operates  and we should educate as  we fight.  More access to live  lectures and video over  readings.  The forums  offer a good way to share  information and to interact  with classmates. 192  References:  Argyris, C. (2004). Reasons and Rationalization: The Limits to Organizational  Knowledge. Oxford, Oxford Press.  Army, D. o. t. (1999). Field Manual 22­100, Army leadership: Be, Know, Do.  Washington, D.C.  Avolio, B. J. (1999). Full leadership development: Building the vital forces in  organizations. Thousand Oaks, Sage Publications.  Barnard, C. (1968). The Functions of Executive Leadership. Cambridge, Harvard  University Press.  Bass, B. and P. Steidlmeier (1992). Ethics, Character, and Authentic  Transformational Leadership. ERIC Digest, ERIC. 2004.  Bass, B. M. (1998). Transformational Leadership: Industrial, Military, and  Educational Impact. Mahwah, Lawrence Erlbaum Associates.  Bass, B. M. and B. J. Avolio (2000). Effects on platoon readiness of  transformational/transactional platoon leadership. Alexandria, U.S. Army Research  Institute for the Behavioral and Social Sciences.  Bass, B. M. and B. J. Avolio (2003). Transformational Leadership = Organizational  Success. Redwood City, Mind Garden Minor. 2004.  Bass, B. M., D. I. Jung, et al. (2003). "Predicting Unit Performance by Assessing  Transformational and Transactional Leadership." Journal of Applied Psychology  88(2): 207­218.  Beer, M. (1980). Organization Change and Development: A Systems View. Santa  Monica, Ca, Goodyear Publishing.  Behn, R. D. (1985). "Policy Analysts, Clients, and Social Scientists." Journal of  Policy Analysis and Management 2(Fall 1982): 88­100.  Berge, Z. L. and L. Schrum (1998). "Linking Strategic Planning with Program  Implementation for Distance Education." CAUSE/EFFECT Journal 21(3).  Bertalanffy, L. v. (1968). General system theory: Foundations, development, and  application. New York, George Braziller.  Boyatzis, R. E., S. S. Cowen, et al. (1995). Innovation in Professional Education. San  Francisco, CA, Jossey­Bass Publishers. 193  Brewer, G. A., S. C. Selden, et al. (2000). "Individual Conceptions of Public Service  Motivation." Public Administration Review 60(3): 254­264.  Bryson, J. M. (1995). Strategic  planning for public and nonprofit organizations. San  Francisco, Jossey­Bass Inc.  Bullis, C. (2003). "Developing the Professional Army Officer: Implications for  Organizational Leaders." Military Review(May­June 2003): 57­62.  Burns, J. M. (1978). Leadership. New York, Harper & Row.  Chisholm, R. F. (1996). "On the Meaning of Networks." Group & Organization  Management 21(2): 216­235.  Chisholm, R. F. and M. Elden (1993). "Features of Emerging Action Research."  Human Relations 46(2): 275­298.  Collins, J. C. and J. I. Porras (1994). Built to last: successful habits of visionary  companies. New York, Harper Collins.  Cranton, P. and K. P. King (2003). Transformative Learning as a Professional  Development Goal. New Perspectives on Designing and Implementing Professional  Development of Teachers and Adults. K. P. King and P. A. Lawler. San Francisco,  CA, Jossey­Bass Publishers.  Creswell, J. W. (1998). Qualitative inquiry and research design: Choosing among five  traditions. Thousand Oaks, Sage Publications.  Cummings, T. G. and C. G. Worley (2001). Organizational Development and  Change. Mason, Ohio, South­Western College Publishing.  Denzin, N. and Y. Lincoln (1998). Collecting and Interpreting Qualitative Materials.  Thousand Oaks, Sage Publications.  Department of the Army, U. S. A. W. C. (2004). Catalogue for the Class of 2005.  Carlisle Barracks, The United States Army War College: 99.  Donahue, S. F. (2004). Assessing Leadership Potential for the U.S. Army Future  Force. Department of Command, Leadership and Management. Carlisle, Army War  College: 49.  Drucker, P. F. (2002). Managing in the Next Generation. New York, St. Martins  Press.  Eden, C. and C. Huxham (1996). Action Research for the Study of Organizations.  Studying Organizations. S. R. Clegg and C. Hardy. Thousand Oaks, Sage. 194  Fernandez, S. (2005). "Developing and Testing an Interactive Framework of Public  Sector Leadership: Evidence from the Public Education Arena." Journal of Public  Administration Research and Theory 15(2): 197­217.  Fischer, F. (2003). Reframing Public Policy. Oxford, Oxford University Press.  Frederickson, H. G. (1971). Toward a New Public Administration. Classics of Public  Administration. J. M. Shafritz and A. C. Hyde. Pacific Grove, Brooks/Cole  Publishing Company: 424­439.  Freedman, M. (2003). The Art and Discipline of Strategic Leadership. New York,  McGraw­Hill Publishing.  Freeman, M. W. (2003). Distance Learning in the U.S. Army: Meeting the Readiness  Needs of Transformation. Handbook of Distance Education. M. G. Moore and W. G.  Anderson. Mahwah, NJ, Lawrence Erlbaum Publishers.  Garvin, D. A. (1993). "Building a Learning Organization." Harvard Business Review  July­August 1993: 76­91.  Goleman, D., A. McKee, et al. (2002). Primal Leadership. Cambridge, MA, Harvard  Press.  Gunawardena, C. N., P. L. Wilson, et al. (2003). Culture  and Online Education.  Handbook of Distance Education. M. G. Moore and W. G. Anderson. Mahwah,  Lawrence Erlbaum Associates.  Hall, D. T. (2002). Careers In and Out of Organizations. Thousand Oaks, Sage.  Hamel, G. and C. K. Prahalad (1993). "Strategy as Stretch and Leverage." Harvard  Business Review: 75­84.  Hanna, D. E. (2003). Organizational Models in Higher Education, Past and Future.  Handbook of Distance Education. M. G. Moore and W. G. Anderson. Mahwah, NJ,  Lawrence Erlbaum and Associates.  Heifetz, R. A. (2004). Leadership Without Easy Answers. Cambridge,MA, Harvard  Press.  Heikkila, T. and K. R. Isett (2004). "Modeling Operational Decision Making in  Public Organizations: An Integration of Two Institutional Theories." American  Review of Public Administration 34(1): 3­19.  Heineman, R. A., W. T. Bluhm, et al. (1995). World of the Policy Analyst:  Rationality, Values, Politics. New York, McGraw­Hill. 195  Hellriegel, D., J. W. Slocum, et al. (1995). Organizational Behavior. Minneapolis,  West Publishing Company.  Holzer, M. (1999). "Communicating Commitment: Public Administration as a  Calling." Public Administration and Management: An Interactive Journal 4(2).  Huilt, W. and J. Hummel (2003). Piaget's theory of cognitive development. Valdosta,  Valdosta State University. 2005.  Huntington, S. P. (1981). American Politics. Cambridge, Harvard University Press.  Jacobs, T. O. (1998). A Guide to the Strategic Leader Development Inventory.  Carlisle Barracks, U.S. Army War College.  Jacobs, T. O. (2002). Strategic Leadership: The Competitive Edge. Washington, D.C.,  National Defense University Press.  Jacobs, T. O. and E. Jaques (1990). Measures of Leadership. K. E. Clark and M. B.  Clark. West Orange, Leadership Library of America, Inc.  Jaques, E. (1986). "The Development of Intellectual Capability: A Discussion of  Stratified Systems Theory." The Journal of Applied Behavioral Science 22(4): 361­  384.  Jaques, E. and S. D. Clement (1991). Executive Leadership: A Practical Guide to  Managing Complexity. Arlington, Carson Hall & Company Publishers.  Jaques, E. and G. Stamp (1990). Development of Stratified Systems Theory for  Possible Implementation in the U.S. Army. Alexandria, Army Research Institute: 50.  Jaques, E. and G. Stamp (1995). Level and Type of Capability in Relation to  Executive Organization. Alexandria, United States Army Research Institute: 97.  Kanter, R. M. (1995). World class: thriving locally in the global economy. New York,  Simon and Schuster.  Katz, D. and R. Kahn (1978). The Social  Psychology of Organizations. New York,  John Wiley & Sons.  Kilfoil, W. R. (2003). Strategic Planning in Distance Education. Washington, D.C.,  Distance Education and Training Council. 2004.  King, K. P. and P. A. Lawler (2003). Trends and Issues in the Professional  Development of Teachers and Adults. New Perspective on Designing and 196  Implementing Professional Development of Teachers and Adults. K. P. King and P.  A. Lawler. San Francisco, Jossey­Bass Publishers. 98.  Krueger, R. A. (1994). Focus Groups: A Practical Guide for Applied Research.  Thousand Oaks, SAGE Publications.  Lape, D. H. and P. H. Hart (1997). Changing the Way We Teach by Changing the  College: Leading the Way Together. Building a Working Policy for Distance  Education. C. Dillon and R. Cintron. San Francisco, Jossey­Bass Publishers.  Laubacher, R. and T. W. Malone (2003). Retreat of the Firm and the Rise of Guilds:  The Employment Relationship in an Age of Virtual Business. Inventing the  Organizations of the 21st Century. R. Laubacher, T. W. Malone and M. S. S. Morton.  Cambridge, MIT Press.  Lewis, P. (1996). "Transformational Change Using Stratified Systems Theory."  International Journal of Public Administration 19(6): 801­826.  Likert, R. (1961). New Patterns of Management. New York, McGraw­ Hill.  London, M. and T. J. Maurer (2004). Leadership Development. The Nature of  Leadership. J. Antonakis, A. T. Cianciolo and R. J. Sternberg. Thousand Oaks, Sage  Publications.  Macgregor, D. A. (2003). Transformation under fire: revolutionizing how America  fights. Westport, Praeger.  Markessini, J. (1993). Strategic Leadership in a Changing World Order: Requisite  Cognitive Skills. Alexandria, Army Research Institutes.  Martin, J. and P. Frost (1996). The Organizational Culture War Games: a Struggle for  Intellectual Dominance. Studying Organizations. S. R. Clegg and C. Hardy. Thousand  Oaks, Sage.  McDaniel, E. A. (2002). "Senior Leadership in Higher Education: An Outcomes  Approach." Journal of Leadership & Organizational Studies 9(2): 80.  Mintzberg, H. (1989). Mintzberg on Management. New York, The Free Press.  Mintzberg, H. (1994). The Rise and Fall of Strategic Planning. New York, The Free  Press.  Mohrman, S. A. and T. G. Cummings (1989). Self­Designing Organizations:  Learning How to Create High Performance. New York, Addison­Wesley Publishing  Company. 197  Moore, M. G. and W. G. Anderson, Eds. (2003). Handbook of distance education.  Mahwah, Lawrence Erlbaum Associates, Inc.  Moore, M. G. and G. Kearsley (1996). Distance Education: A Systems View.  Belmont, Wadsworth Publishing Company.  Mosher, F. C. (1982). Democracy and the Public Service. New York, Oxford  University Press.  Murray, M. (2000). "Transformation Leadership: Climate and Training Issues for the  United States Army." Air Defense Artillery Magazine 21.  O'Sullivan, E., G. R. Rassel, et al. (2003). Research Methods for Public  Administrators. New York, Addison Wesley Longman, Incorporated.  Pacey, L. and E. Keough (2001). Public Policy, Institutional Structures, and Strategic  Implementation. Handbook of Distance Education. M. G. Moore and W. G.  Anderson. Mahwah, Lawrence Earlbaum Associates.  Paparone, C. R. (2004). "Deconstructing Army Leadership." Military Review 84(1):  2­10.  Passmore, W. A. (1988). Designing Effective Organizations: The Sociotechnical  Systems Perspective. New York, John Wiley & Sons.  Patton, M. Q. (1990). Qualitative  evaluation and research methods. Newbury Park,  Sage Publications.  Pettigrew, A. M. and E. M. Fenton, Eds. (2000). The Innovating Organization.  Thousand Oaks, Sage.  Piaget, J. (1965). Psychology and philosophy. Scientific Psychology. B. Wolman.  New York, Basic Books.  Piotrowski, S. J. and D. H. Rosenbloom (2002). "Nonmission­Based Values in  Results­Oriented Public Management: The Case of Freedom of Information." Public  Administration Review 62(6): 643­657.  Prahalad, C. K. (1998). "Managing Discontinuities: The Emerging Challenges."  Research Technology Management(May­June 1998): 14­22.  Quinn, R. E. (1988). Beyond rational management: Mastering the paradoxes and  competing demands of high performance. San Francisco, Jossey­Bass. 198  Rahm, D. and B. J. Reed (1997). "Going Remote: The Use of Distance Learning, the  World Wide Web, and the Internet in Graduate Programs of Public Affairs and Public  Administration." Public Productivity & Management Review 20(4): 459­474.  Reed, G., C. Bullis, et al. (2004). "Mapping the Route of Leadership Education:  Caution Ahead." Parameters 34: 46­60.  Rossi, P. H., H. E. Freeman, et al. (1999). Evaluation: a systematic approach.  Thousand Oaks, Sage Publications.  Schuhmann, R. A., R. M. Cawley, et al. (2000). "The MPA And Distance Education:  A Story As A Tool Of Engagement." Public Administration and Management: An  Interactive Journal 5(4).  Schwartzman, R. S. (2003). "Transforming Leader Development Through Lifelong  Learning." Military Review 83(3): 63­67.  Selznick, P. (1984). Leadership and administration. Berkeley, University of  California Press.  Senge, P. and G. Carstedy (2003). Innovating Our Way to the Next Industrial  Revolution. Inventing the Organization of the 21st Century. T. W. Malone, R.  Laubacher and M. S. S. Morton. Cambridge, MIT Press.  Seth, A. (2003). "Distance learning: Bringing information to local government."  Public Management 85(3): A4.  Shambach, S., Ed. (2004). Strategic Leadership Primer. Carlisle Barracks, U.S. Army  War College.  Shinseki, E. K. and F. Hesselbein (2004). Be, Know, Do: Leadership the Army Way.  San Francisco, Jossey­Bass Publishers.  Simonson, M. and T. Buck (2003). Distance Education Policy Issues: Statewide  Perspectives. The Handbook of Distance Education. M. G. Moore and W. G.  Anderson. Mahwah, NJ, Lawrence Erlbaum Associates.  Stamp, G. P. (1988). Longitudinal research into methods of assessing managerial  potential. Alexandria, U.S. Army Research Institute for the Behavioral and Social  Sciences: 48.  Stogdill, R. M. and B. M. Bass (1974). Handbook of leadership: A Survey of Theory  and Research. New York, Free Press. 199  Vinzant, J. C. and L. Crothers (1998). Street­Level Leadership: Discretion and  Legitimacy in Front­Line Public Service. Washington, D.C., Georgetown University  Press.  Watkins, R. and R. Kaufman (2003). Strategic Planning for Distance Education.  Handbook of Distance Education. M. G. Moore and W. G. Anderson. Mahwah,  Lawrence Erlbaum: 507­517.  Weick, K. E. and F. Westley (1996). Organizational Learning: Affirming an  Oxymoron. Managing Organizations. S. R. Clegg, C. Hardy and W. R. Nord.  Thousand Oaks, Sage.  Williams, P. E. (2003). "Roles and Competencies for Distance Education Programs in  Higher Education Institutions." The American Journal of Distance Education 17(1):  45­57.  Yukl, G. A. (1998). Leadership in Organizations. Englewood Cliffs, Prentice Hall.  Zaccaro, S. J. (1996). Models and Theories of Executive Leadership: A  Conceptual/Empirical Review and Integration. Alexandria, U.S. Army Research  Institute for the Behavioral and Social Sciences.  Zaccaro, S. J. (2001). The Nature of Executive Leadership. Washington, D.C.,  American Psychological Association.  Ziegenfuss, J. T. (1996). Relearning Strategic Planning: Lessons of Philosophy and  Procedure. Lawrence, Allen Press.  Ziegenfuss, J. T. (2002). Organization Management and Problem Solving. Thousand  Oaks, Sage. CurriculumVitae  Colonel Susan R. Myers  Department of Distance Education  (W) 717­245­3577  United States Army War College, Box 473  (H) 717­258­1536  122 Forbes Avenue  FAX: 717­254­4570  Carlisle, PA  17013  Susan.Myers@Carlisle.Army.Mil  Education  Ph.D. Penn State University, Harrisburg, PA: 2007  M.S., Strategic Studies, U.S. Army War College, Carlisle, PA:  2003  MBA, National University, San Diego, CA: 1990  B.S., Penn State University, University Park, PA: 1980  Publications and Presentations:  Dissertation: “Strategic Leader Cognitive Development through Distance Education”  (2006).  Middletown, PA: Penn State, Harrisburg.  “Strategic Leader Cognitive Development through Distance Education”, International  Leadership Association Conference, 1 November 2006  “Strategic Leader Cognitive Development”, U.S. Army War College, Carlisle, PA 19  June 2006.  “Leadership Feedback and Stress Management”, U.S. Army Military Academy, 29  April 2006.  Courses Taught  Strategic Leadership  Fundamentals of Strategic Thinking  Ethics  Organizational Behavior  Strategic Planning  Professional Employment  Professor, Leadership Studies, US Army War College, Carlisle, PA 2002­present  Commander, US Army Engineer Battalion, Ft. Leonard Wood, MO 2000­2002  Executive Officer, First Brigade, US Army 78 th Division, Edison, NJ 1998­2000  Director, Base Realignment & Closure Office, Ft. Leonard Wood, MO  1997­1998  Chief, Total Army Schools System, Ft. Sill, OK  1994­1997  Student, Command & General Staff College, Ft. Leavenworth, KS 1992­1993  Project Manager, US Army Engineer District, Los Angeles, CA  1988­1990  Operations Officer, US Army Recruiting Battalion, Los Angeles, CA 1987­1988  Commander, C Company, 94 th Engineer Battalion, Darmstadt, Germany   1985­1987  Plans Officer, US Army Engineer Division, Europe, Frankfurt, Germany  1983­1985  Platoon Leader & Executive Officer, Engineer Support Company, Ft. Hunter Leggett,  CA, 1980­1983