Microsoft Word - applsci-1065455.docx         Appl. Sci. 2021, 11, 1214. https://doi.org/10.3390/app11031214  www.mdpi.com/journal/applsci  Article  Improving Technological Infrastructure of Distance Education  through Trustworthy Platform‐Independent Virtual Software  Application Pools  Atilla Ergüzen 1, Erdal Erdal 1,*, Mahmut Ünver 2 and Ahmet Özcan 1  1  Department of Computer Engineering, Faculty of Engineering and Architecture, Kırıkkale University,    Kırıkkale 71450, Turkey; atilla@kku.edu.tr (A.E.); aozcan@kku.edu.tr (A.Ö.)  2  Department of Computer Programming, Kırıkkale Vocational School, Kırıkkale University,    Kırıkkale 71450, Turkey; munver@kku.edu.tr  *  Correspondence: erdalerdal@kku.edu.tr; Tel.: +90‐318‐357‐4242‐1549  Abstract: Distance education (DE), which has evolved under the wings of information technologies  in the last decade, has become a fundamental part of our modern education system. DE has not only  replaced the traditional education method as in social sciences and lifelong learning opportunities  but also has significantly strengthened traditional education in mathematics, science, and engineer‐ ing fields that require practical and intensive study. However, it is deprived of supporting some key  elements found in traditional educational approaches such as (i) modern computer laboratories with  installed special software suitable for the student’s field of interest; (ii) adequate staff for mainte‐ nance and proper functioning of laboratories; (iii) face‐to‐face technical support; (iv) license fees.  For students to overcome these shortcomings, a virtual application pool is needed where they can  easily access all the necessary applications via remote access. This research aims to develop a plat‐ form‐independent virtual laboratory environment for DE students. This article has been developed  specifically to guide DE institutions and to make a positive contribution to the literature. Technol‐ ogy Acceptance Model (TAM) has been used to explain student behaviors. It was concluded that  students using the platform performed more successful grades (12.89%) on laboratory assessments  and that the students using the developed platform were found to be more satisfied with the edu‐ cation process.  Keywords: education; engineering education; laboratory; distance learning    1. Introduction  With the rapid developments in Information and Communication Technology (ICT)  and internet usage over the last decade, significant changes have occurred in every aspect  of people’s lives [1]. The contribution of the internet to these developments is undoubt‐ edly very important. Thanks to these technological developments and the changes, it has  been possible to access the internet cheaper than in the past [2]. The use of the internet has  become widespread and has begun to affect people in all aspects. According to the Turk‐ ish Statistical Institute (TSI), 76.3% of households in Turkey had internet access in 2016.  When the ratio of the number of mobile phone population in Turkey is considered, 96.9%  of people were found to have a mobile phone. In total, 65.2% of people with the internet  connection at home prefer smartphones and tablets for daily routines, such as surfing,  sending e‐mails, connecting to news sites, and social networks [3].  Although computers have been used very often, nowadays this situation has com‐ pletely changed; mobile devices, smartphones, and tablets have become widespread and  Citation: Ergüzen, A.; Erdal, E.;    Ünver, M.; Özcan, A. Improving  Technological Infrastructure of    Distance Education through Trust‐ worthy Platform‐Independent    Virtual Software Application Pools.  Appl. Sci. 2021, 11, 1214. https://  doi.org/10.3390/app11031214  Received: 21 December 2020  Accepted: 21 January 2021  Published: 28 January 2021  Publisher’s Note: MDPI stays neu‐ tral with regard to jurisdictional  claims in published maps and insti‐ tutional affiliations.    Copyright: © 2021 by the authors.  Licensee MDPI, Basel, Switzerland.  This article is an open access article  distributed under the terms and con‐ ditions of the Creative Commons At‐ tribution (CC BY) license (http://cre‐ ativecommons.org/licenses/by/4.0/).  Appl. Sci. 2021, 11, 1214  2  of  17    indispensable. Tablets or tablet computers are small independent mobile computers that  house a thin LCD monitor and provide data entry and data control via this screen. They  are usually preferred for their powerful hardware, portable dimensions, internet connec‐ tions, and all the other functions they have. These critical innovations have also affected  the policies of the countries, in this way, Increasing Opportunities and Improving Tech‐ nology (IOIT) Project was launched in 2016 in Turkey. This project aims to provide the  best education for each student, to reach the best quality education contents, and to pro‐ vide equality of opportunity in education so it is reported that 10600000 tablets will be  distributed by the Ministry of National Education within the period of the next 4 years  [4]. Table 1 shows the device sales worldwide in recent years and the number of devices  expected to take place in the following years. Demand and sales of mobile devices that  take place in Turkey show similarities with the numbers worldwide [5].  Table 1. Worldwide device shipments by device type, 2016‐2019 (millions of units) [5].  Device Type  2016  2017  2018  2019  Traditional PCs (desk‐based and notebook)  220  204  195  188  Ultra‐mobiles (premium)  50  59  70  80  Total PC market  270  263  265  269  Ultra‐mobiles (basic and utility)  169  162  161  160  Computing devices market  439  425  426  429  Mobile phones  1893  1882  1926  1932  Total devices market  2332  2307  2352  2361  Consequently, a critical question arises regarding how mobile devices will affect peo‐ ple’s habits, lifestyles, and educational concepts. Today, students use their smartphones  and tablets at all stages of their education, regardless of class or age. Distance education  (DE) has become a phenomenon worldwide, with universities offering distance learning  programs in the light of the developments that have changed people’s lifestyles and tech‐ nology infrastructure, and it has become possible for people to study more than one field  without the time and space limitation [6,7].  DE is a virtual educational approach in which it accommodates multiple training  models. DE provides more flexible lecture management models that are based on syn‐ chronous or asynchronous courses. There is also a lot of work in the literature to attract  the attention of the learners and to make DE more interactive. A distance educational ap‐ proach is preferred where the traditional teaching and learning methods are inadequate  or inappropriate. The distance, capacity, and educational deficiencies found in the tradi‐ tional education model can be overcome with  the DE model. Especially,  in countries  where economic opportunities and cross‐cultural understanding are limited, a distance  educational approach could be a good choice for economic solutions and online cross‐ cultural learning activities also [6–8].  Traditional DE has been adopted as an attractive and preferred method of education  all over the world. In each educational year, the number of students who attend the DE  model increases by 5% approximately. The Massachusetts Institute of Technology (MIT)  has reached more than 200 million page clicks on 2300 different distance learning courses  in the 2016/2017 academic year [9]. A total of 360,000 foreign students are studying at  Harvard University in this way [10]. All these indications are that the distance learning  method is accepted by prominent universities and that it will be a future phenomenon in  the field of education.  Just as in the world, Turkey is also impressed by this trend and DE has started to  become popular. As of 2013, over 60 academic departments via DE in Turkey are provided  by universities at undergraduate and graduate levels. All these opportunities have facili‐ tated to access the desired educational environment, so this increasing demand leads to  an e‐learning sector in Turkey. This sector is expected to exceed USD 240 billion between  Appl. Sci. 2021, 11, 1214  3  of  17    2016 and 2023 with an annual growth rate of 5% nearly while the world is USD 164 billion  in 2015 [11].  Despite all these benefits and advantages, in some areas where DE is applied, it lacks  some of the basic supporting elements found in formal education. The applicability of DE  is not especially productive in fields were specially designed large‐scale application soft‐ ware or laboratory environment practice is a mandatory requirement in engineering edu‐ cation. There are virtual or remote laboratory designs that are proven to be very versatile  and valuable especially for the students in Science, Technology, and Engineering (STE)  fields which is a necessity to develop laboratory exercises to supplement the theoretical  lectures. Additionally, there are studies in the literature, which are developed based on a  specific  lecture  in  different  fields  [12,13].  These  laboratories  have  the  following  ad‐ vantages [12]:   Usability: laboratories can be accessed at anytime from anywhere.   Observability: laboratories can be monitored and recorded by more than one person.   Accessibility: laboratories can also be used by people with disabilities.   Safety: dangerous experiments can be done safely.  However, the benefits and deficiencies of any developed technological design or ap‐ plication should be addressed objectively. The Technology Acceptance Model which ex‐ plains the intentions of consumers is used to undertake necessary research in evaluating  the efficiency of the system developed [14,15]. TAM is a theory of information systems  that model how students use and adopt the technology. TAM is one of the widely used  models for describing the factors that have the greatest influence on user acceptance of  information systems. Davis (1989) developed TAM to explain the effects of user percep‐ tions of system factors that are thought to be effective on users’ acceptance of information  systems. TAM is the most widely used modeling approach in information systems mod‐ els. The reason for this is that TAM is understandable and easy to apply. TAM contains  two key factors as shown in Figure 1. These are perceived usefulness (PU) and perceived  ease of use (PEU) [16].  PU and PEU are very significant in defining the usage and acceptance of information  technologies. Davis (1989) defines these two factors as important that shape the intentions  of individuals in using information systems [16].  These two variables play the main role in determining the attitudes of individuals  who use information technology systems. Davis (1989) describes the PEU of technology  as easy to learn, and that the use of this technology can be effortlessly learned. Many em‐ pirical studies have provided strong evidence that PU directly affects personal intentions  in the context of new technology. Conversely, the effects of PU are more controversial and  are not simply defined as PEU’s effects [16].    Figure 1. Technology Acceptance Model (TAM).  In literature, studies have generally been based on evaluating students’ learning out‐ comes, satisfaction, and even the effectiveness of virtual or remote laboratories according  Appl. Sci. 2021, 11, 1214  4  of  17    to their educational background even studies identifying the prerequisite analysis to rec‐ ognize the needs and possibilities to integrate new technologies and methods for lab‐ based learning in the field of Industry 4.0 and the Internet of Things [12,13,17,18]. How‐ ever, according to our knowledge, there is no virtual or remote laboratory model in the  literature, this is the key point of this study. In this study, a platform‐independent virtual  laboratory system suitable for computers, smartphones, and tablets has been developed  for DE students in information technology. Our motivation for developing this platform  is to provide a better education level through institutional plans and processes. With the  help  of  the  security  layer  that  contains  student‐specific  information  and  security  measures, students have access to developed platforms and lecture materials shared by  the lecturers in the laboratory. The developed platform is still being used by Kırıkkale  University Distance Education Center. To assess the success of the developed platform,  two random groups of 43 students were used which is the limitation of the study. Tradi‐ tional DE training and assignments were defined to the first group and traditional DE  training and developed laboratory platform were opened to access to the second group.  Both groups were given the same lectures and the same assignments for 4 weeks. At the  end of this period, one final homework was given to both groups and their success rates  were compared. Besides, the TAM was used to explain the student behaviors of the de‐ veloped laboratory system. At the end of the study, it was concluded that students using  the platform performed 12.89% more successful grades and that the students using the  developed platform were more satisfied when the satisfaction surveys were compared. At  the end of this work, a Strengths, Weaknesses, Opportunities, Threats (SWOT) analysis  was presented to identify gaps in the developed system and suggest possible ways to re‐ solve the defects. In this study, the deficiencies in the literature were solved, the literature  on the state‐of‐the‐art approach was contributed by a better and effective method, and a  basic study was undertaken which bridges the gap in the literature.  2. Literature Review  It is imperative to apply and implement technology‐driven systems to achieve qual‐ ity learning processes in information technology and engineering education. Laboratory  experiments are needed to increase professional skills, create professional practices, de‐ velop analytical concepts, and ensure student participation at the highest level, in fact,  studies that verify the versatile benefits of laboratory facilities for engineering students  are available in the literature [19]. Students can easily run the software installed on the  server as if it were installed on their computers on the browser. Especially expensive, dif‐ ficult to install software that requires expensive hardware features that are installed on  the server and made available to students on the internet. Thus, students can access ex‐ pensive software labs from anywhere and whenever they want without going to school.  These laboratories have crucial educational tools that allow students to access real inter‐ faces and tools as if they were physically in the laboratory. However, there are also diffi‐ culties and barriers to be overcome as defined below, as well as the advantages of the  developed virtual or remote laboratories.  The first and the most important problem encountered in the virtual and distance  learning laboratories developed is that the control systems and physical equipment can‐ not be seamlessly integrated into the laboratories. This area uses server‐client, 3‐tier archi‐ tecture, and standards for laboratory systems applied to different areas. These kinds of  laboratories in the literature can address a specific subject or lecture and also on behav‐ ioral, cognitive, affective, and cognitive learning outcomes in higher education [20,21].  The developed approach that is appropriate for the curriculum is presented which is to  enhance the overall student laboratory experience.  Another challenge in this area is creating or updating the educational content in the  laboratory. The maintenance and management of the developed laboratory are giving the  system administrator additional responsibility. As the number of simulations and physi‐ cal systems involved in the laboratory increases, it is difficult for system administrators to  Appl. Sci. 2021, 11, 1214  5  of  17    control the whole system and control its contents. The solution to this problem in the lit‐ erature is the CMS, Content Management System, tools that make it possible to support  the platform more easily and to manage it more effectively [22]. However, the manage‐ ment and maintenance of the CMS also cause problems in this manner. In the laboratory  approach, we developed in this study, the system administrator is only in charge of intro‐ ducing students and instructors to the system. All additional materials and files used in  the laboratory are copied to the personal folders of the students when they are added to  the system by the teaching staff. In other words, the students who are attending distance  learning in the field of information technology and engineering can instantly view the  materials added to their folders by the instructor when they access the system.  Another key problem with this area is that the developed laboratories are dependent  on the computer resources used by the students and continuance intention [18,23]. Inter‐ faces, simulations, and online systems that take the resources of student computers de‐ pend on the characteristics of these computers, thus affecting the quality of education. In  the laboratory approach that we developed in this study, all necessary system require‐ ments and resources are provided by the servers. In this way, students can access all la‐ boratory facilities of good quality and fast at any time and place. Regardless of the capac‐ ity of the student computer, all students are given server resources equally. This criterion  is one of the most important elements of our study.  Another problem that arises is the phase in which students install software on their  personal computers. Software development tools are used in laboratories especially in in‐ formation technology and engineering education. Students in distance learning in this  area need to install software on their personal computers that will be used to access the  lab facilities. However, this  installation requires experience, time, and extreme  license  costs, and even sensor technologies with developing technology [24]. Due to these diffi‐ culties, students cannot install the tools that they need on their personal computers. The  developed laboratory in this study is based on the principle of hosting all necessary soft‐ ware on the servers and running one click without any cost. In this way, students have  access to the necessary memories of without any difficulty.  The next obstacle is due to the nature of DE. Students can perceive this education as  a video game because they think that this system is virtual, not actual. This prediction is  accompanied by the lack of attention and the lack of responsibility and seriousness of the  students, however, despite all its shortcomings, DE is defined as a never‐ending education  model. In order for this never‐ending education model to be more efficient, it is stated that  virtual environments should be used [17]. In the proposed laboratory approach, the stu‐ dents can listen to the lecturer’s narration at the same time and work instantly in the la‐ boratory environment which is one of the strengths of this study. Besides, thanks to note‐ based follow‐up objects such as paper and homework that are given by the lecturer, stu‐ dents can approach the system seriously and responsibly. Teachers can guide students  through virtual lesson tools. In this way, students can learn which applications to do in  the virtual laboratory, understand how to do it, and receive sample codes. Thus, maxi‐ mum interaction is provided between the student and the teacher in the laboratory envi‐ ronment.  As a result, the laboratory solutions developed for the DE system have some defi‐ ciencies and issues that need to be improved. A lot of work has been done in this area and  solutions have been produced; however, there is still no complete solution in the litera‐ ture. When the solutions are examined, it is seen that problems such as integration, edu‐ cational content management, student computer resource usage, license problem, and ex‐ perience required installation or attention deficiencies of students are found. The reason  for these problems is due to the nature of traditional DE or the lack of developed solutions.  In this study, the laboratory environment required for information technology and engi‐ neering education was improved by eliminating the deficiencies in the literature. Primary  features of the developed exclusive platform are listed; (a) suitable architecture for multi‐ Appl. Sci. 2021, 11, 1214  6  of  17    ple‐courses, (b) license‐free for applications, (c) no need for installation, (d) platform‐in‐ dependent usage, (e) regardless of user’s computer performance, (f) easy‐to‐learn content  updates and insertion, (g) encouraging learning through the integration of laboratory ex‐ periment and lecture at the same time. In this context, the developed information technol‐ ogy and the remote education laboratory applied in the field of engineering are bridging  the gap in the literature.  3. Materials and Methods  3.1. General Background  The scope of this work is the development of the laboratory environment needed by  DE students in information technology. The research was conducted in the 2017/2018 ac‐ ademic year spring semester for five weeks using software assignments on the web pro‐ gramming lecture. For five weeks, two groups of 43 people were randomly assigned to  the distance learning courses in information technology and engineering. Group 2, which  has the same traditional DE as Group 1, also used a newly developed laboratory platform  in the laboratory experience. In the study, four assignments were given to both groups  thus student habits were formed on both systems. In the fifth week, a final assessment  was given to students and the results of all the assignments were compared. Assignments  have the following features:   In the web programming course, students can design and program dynamic web  pages over the asp.net platform.   Homework was determined according to the topics of the current week which in‐ cludes page design and coding.   All communication with students and teachers was carried out via the current LMS.  Therefore, the assignments were sent to the students, and tracking was done through  this platform.   The same homework was given to each group, but students were asked to solve them  individually.   After the assignments were determined, 4 days was given and finally received over  the active LMS.   Assignments were evaluated by other professors who are experts on the subject.  The success of the groups in the comparison was statistically analyzed. Besides, a  questionnaire based on the TAM was conducted in Group 2, which was trained using the  developed laboratory. This questionnaire was analyzed with the Likert scale to get more  consistent results.  3.2. Motivation  The developed system is suitable for the use of all branches of science that need soft‐ ware in the laboratory. All software installed on the server can be made available to stu‐ dents for all engineering fields.  3.3. Design Achievements  A web‐based remote laboratory implementation for engineering education has been  improved. The developed laboratory system architecture is as shown in Figure 2. It pro‐ vides students with easy access from inside and outside of the campus. In this way, stu‐ dents can use the laboratory system where and when they want it. However, students  who want to access the laboratory system from outside the university campus can access  this system through the remote desktop gateway server. Otherwise, the firewall located  on the campus will not allow access to the laboratory system. The students can use the  same system as on campus by using the username and password information given to  them. The students can use the same system as on campus by using the username and  password information given to them, a Virtual Private Network (VPN) that is defined in  Appl. Sci. 2021, 11, 1214  7  of  17    [25].  Platform‐independent  development  allows  students  to  use  the  system  with  smartphones, tablets, laptops, or desktop computers.  Universities have know‐how in distance education. For this reason, the proposed sys‐ tem is one of the areas and applications that students mostly demand and need. Software  and hardware costs are high in countries generally. For this reason, it is difficult for stu‐ dents to cover the license costs and use of up‐to‐date software. Therefore, it was a neces‐ sity to present all software to the students through the system developed.  In the scope of this work:  1. The developed system was integrated to the current LMS for students to log into the  system directly;  2. In addition, a log module was developed where all the work is recorded, especially  the entrance/exit of all students, is recorded;  3. The VPN layer was added to the system infrastructure only as an extra security layer;  4. The laboratory software required by the students according to their departments was  integrated into the system. In this way, the following benefits were obtained;  i. Without paying license costs;  ii. Without installation on their own computers;  iii. Providing students with weak computers without any disruption and using  server power for all transactions;  iv. Live laboratory application environment integrated with virtual classroom was  developed. In this way, students and lecturers can use software such as in the  real classroom and laboratory environment.  5. There are solutions close to this solution in the market. However, these solutions are  not fully integrated into distance education and are solutions with high license costs.  We developed this system on servers, which are our university’s own resources, and  integrated with LMS.    Figure 2. System architecture.  Appl. Sci. 2021, 11, 1214  8  of  17    Students in the campus network can access the user login screen on the virtual desk‐ top by typing in the internet browsers. The login screen, which welcomes the students  who want to use the laboratory system, is in this virtual server. At this stage, the username  and password information given is requested from the students and the user authentica‐ tion is done through the active directory domain controller virtual machine according to  [26]. This authentication server also contains primary information about students. In this  way, class information of the students is taken, and the appropriate and defined programs  are presented to the students for their curriculum. Students can open and use the software  they want to study by clicking on the program link from the programs listed. It is the  Remote Desktop Session Host virtual server where the session information is generated  by the system after the students’ authentication and all the programs and software pre‐ sented to the students are hosted and executed. In case the number of students or the  number of programs and software needs to increase, adding a new Remote Desktop Ses‐ sion Host virtual server to the architecture is enough to meet this need described in [27].  The developed laboratory system is designed in a scalable and modular structure. A file  server was created to prevent overloading of the system and to work with the files that  students produced as a result of their work and shared by the academic staff as in [28].  All files in the system are configured to be hosted on this file server. All licenses used in  the laboratory system with some basic license requirements are hosted in the Remote  Desktop Licensing virtual server defined in [27]. In this way, it is possible to perform  transactions without needing to interfere with other licensed virtual servers in case of a  possible license requirement, renewal, or failure. A load balancing mechanism was also  added to the architecture to avoid problems such as interruptions, faults, and speed loss  in the laboratory system and to operate the system efficiently as in [29]. Load balancing  operations are performed via the remote desktop connection broker virtual server defined  in (Hannifin et al., 2010). Additionally, an architectural role‐based design proposed in the  developed laboratory system and a role diagram are presented in Figure 3.    Figure 3. Laboratory system role schemes.  Thanks to the developed laboratory system students are provided access to this sys‐ tem regardless of location and time without costs such as license, installation, and speed.  In this way, students can easily use expensive and specialized laboratories from wherever  Appl. Sci. 2021, 11, 1214  9  of  17    they are, every day of the week. Thus, the cost of establishing and operating large labora‐ tories within institutions is greatly reduced.  3.4. Research Participants  The evaluation of the developed laboratory system was carried out through the web  programming lesson homework given in the 2017/2018 academic year spring semester.  The students who participated in the evaluation were randomly divided into two groups.  Lectures and assignments were given  to 43  (N = 43) students  in  the  first group    through traditional DE. In the second group, 43 (N = 43) students were given lectures via  traditional DE, and assignments were given through the developed laboratory system. A  total of 86 (N = 86) students studying in the same academic program were selected to  evaluate the system from Kırıkkale University that has more than 35,000 students. With  average annual university graduation of 6000 students, more than 7000 young students  come to the university each year. To evaluate the developed laboratory system, all the  students in the relevant school agreed to use the system and complete the questionnaires.  3.5. Instrument and Procedures  Three different questionnaires were applied to the groups that were established to  evaluate the developed laboratory system. In the first part of the questionnaire, students  were asked about their demographic information. With this survey, demographic infor‐ mation such as age, gender, level of income, and professional experience related to the  participants were analyzed. In the second part, the final assignments given by 86 students  (N = 86) were read and graded by the academic staff. The first comparison of the perfor‐ mance of the laboratory system on students’ assignments was evaluated. In the last part  of the questionnaire, 39 questions consisting of five Likert measurement systems includ‐ ing perceived usefulness, perceived ease of use, attitude, intention, and actual behaviors  for information technology usage were asked in the second group, and students who used  this system during the course. All the questionnaire forms were included in the analysis  and the SPSS 22 computer program was used to analyze the survey results.  3.6. Experimental Setup  To evaluate the developed infrastructure, the “web programming” course, in which  the number of students is slightly higher, was determined. Students were randomly di‐ vided into two groups. Group 1 continued to receive training with classical laboratory  methods as in previous years. Group 2 used the newly developed laboratory infrastruc‐ ture as part of the study. However, promotional activities and demo activities were car‐ ried out about the new system developed for students to have more consistent and precise  views.  Afterwards, five different pieces of homework in 5 weeks were attended to by stu‐ dents during the academic year. The grades of the students were evaluated and recorded  by independent instructors.  The obtained values were analyzed by statistical methods. Additionally, question‐ naires were applied to learn the perspectives of the students on the developed system and  to examine its acceptability. The values obtained as a result of the surveys were also ana‐ lyzed by statistical methods. All the steps are shown in Figure 4 below.  Appl. Sci. 2021, 11, 1214  10  of  17      Figure 4. Detailed data collecting process flowchart.  4. Data Analysis  4.1. Questionnaire 1: Demographic Profiles  The demographic information of the students participating in the questionnaire is  given in Table 2.  Table 2. Demographic information of the attendances.  Variable  Variable Levels  N  Percentage (%)  Age  16–26  53  61.62  27–37  27  31.41  38–48  4  4.67  49 and over  2  2.32  Gender  Male  78  90.69  Female  8  9.30  Income rate  TRY 750 and less  14  16.27  TRY 751 ‐ TRY 1500    32  37.20  TRY 1501 ‐ TRY 2250    23  26.74  TRY 2251 ‐ TRY 3000    12  13.95  TRY 3000 and over  5  5.81  Professional experience  1–3 years  68  79.06  4–6 years  14  16.27  7 year and over  4  4.65  According to Table 2, 61.62% of the participants had a range of 16–26, 31.41% had 27– 37, 4.67% had 38–48, and 2.32% had 49 years of age and above. A total of 90.69% of the  respondents were male, 9.31% were female. In total, 16.27% of the participants have an  income of 750 TL or less, 37.20% have an income between TRY 751 and TRY 1500, 26.74%  have an income between TRY 1501 and TRY 2250, 13.95% is between TRY 2251 and TRY  3000, and 5.81% have TRY 3000 and above. A total of 79.06% of the participants have 1–3  years, 16.27% 4–6 years, and 4.65% 7 years and above professional experience.  4.2. Questionnaire 2: Impact of Developed System on Student Assignments  The effects of the developed system on student assignments grade were also meas‐ ured. DE students in the field of information technology were divided into two groups.  Appl. Sci. 2021, 11, 1214  11  of  17    The same software assignments were given to both groups for 5 weeks in web program‐ ming. While the first group created all the assignments for the traditional DE approach,  the second group created all the assignments through the new laboratory system. To read  all the assignments belonging to both groups, information technology and engineering  staff in charge of teaching were determined. To read all the assignments belonging to both  groups, independent information technology, and engineering staff were determined. All  assignments from students were randomly mixed and read by independent instructors.  Independent lecturers were asked to evaluate all assignments over 100 points. Besides,  Group 1 students traditionally attended 2 h of weekly laboratory lessons, but Group 2  students spent 27.89% more time in the online laboratory system than Group 1 students.  The average of all grades belonging to the groups is shown in Table 3 for each week.  Table 3. Group and week based results of software assignments.  Week  Assignment  Subject  Group 1  (N=43)  Group 2 (N=43)  1  1  HTML Basics    67.41  65.54  2  2  CSS Basics  72.23  74.69  3  3  Javascript Fundamentals  71.78  79.23  4  4  C#.NET Basic Web Components  64.12  80.49  5  Final assignment  Designing a Static Web Page  69.71  82.60    Mean    69.05  76.51  The subjects that students will learn within the scope of the determined course each  week were determined in advance in the curriculum. Table 3 contains the topics covered  in the course each week. Each week after the lesson, the instructor defined an assignment  for the students. Group 1 was asked to complete the homework in the laboratory hour of  the lesson, as in the classical education teaching model. However, the students in Group  2 completed their assignment using the newly developed system. Assignments were eval‐ uated by a different professor weekly, but the results were collectively explained to the  students at the end of the 5th week.  As seen in Table 3, there is a difference of 12.89 (18.49%) between final assignments  and 16.46 (10.80%) by the average of all weeks. It was found that the group that the system  was applied to performed more successfully than the weekly and the final assignment.  The graph for the better evaluation and observation of the separately obtained values is  shown in Figure 5.    Figure 5. Week‐assignment group note distribution.    1 2 3 4 Final Assignme nt Mean Group 1 (N=43) 67.41 72.23 71.78 64.12 69.71 69.05 Group 2 (N=43) 65.54 74.69 79.23 80.49 82.60 76.51 0.00 10.00 20.00 30.00 40.00 50.00 60.00 70.00 80.00 90.00 Week ‐ Assignment Group 1 (N=43) Group 2 (N=43) Appl. Sci. 2021, 11, 1214  12  of  17    4.3. Questionnaire 3: Technology Acceptance Model  The research model used at this stage of the study is the classical TAM shown in  Figure 1 [14,16]. In the questionnaire, 13 questions about the perceived benefit for use of  information technology, 13 questions about perceived ease of use, four questions about  attitude change, seven questions about intention change, and two questions about meas‐ uring last behavior variable were asked.  The materials in the measurement tool were derived from the work of [19]. In re‐ sponding to the survey tool, the situations described by the materials are arranged as “To‐ tally Participating”, “Partly Participating”, “Participating”, “Poorly Participating”, and  “Neither Participating”. The measurement tool was arranged according to the factors and  the average of the responses taken from the students in response to the answers listed in  the form, provided in Table 4.  Table 4. Mean and standard deviation values of TAM components.    Expressions  Mean  Standard De‐ viation  P e rc e iv e d  E a se   Using the new laboratory system makes my lessons and assignments easier  4,55  0,947  Using the new laboratory system increases my mastery of the lecture  4,43  0,927  Using the new laboratory system improves performance in the classroom  4,46  0,813  Using the new laboratory system meets my classroom needs  4,32  0,959  Using the new laboratory system saves me time  4,57  0,692  Using the new laboratory system allows me to perform tasks faster  4,58  0,532  Using the new laboratory system provide support for important issues in the classroom  4,31  0,663  Using the new laboratory system, I can do more work  4,56  0,667  Using the new laboratory system reduces the amount of time I spend on unnecessary work  4,42  0,712  Using the new laboratory system increases productivity in the classroom  4,56  0,781  Using the new laboratory system increases the quality of my work    4,12  0,928  Using the new laboratory system improves the efficiency of my work  4,43  0,693  In general, using a new laboratory system is useful for my job  4,36  0,832  In te n ti o n   I intend to use the new laboratory system in the future when my profession is concerned  4,39  0,798  I will try to apply the changes that will occur in the new laboratory system  4,29  0,652  I intend to use the new laboratory system regularly in the near future  4,32  0,672  I will try to follow the innovations in the new laboratory system  4,47  0,741  I think that the use of new laboratory systems will increase in the future  4,52  0,802  I will strongly recommend the use of the new laboratory system to colleagues  4,04  0,891  P e rc e iv e d  E a se  o f  U se   Using the new laboratory system makes work more complicated  1,79  0,991  I often make mistakes when using the new lab system  2,23  0,972  I find it boring to use the new laboratory system  1,98  1,019  I need more guidance when using the new lab system  2,77  1,082  I need to make a greater mental effort when using the new laboratory system  2,54  1,127  My mistakes are easier to find thanks to the new laboratory system  4,14  1,002  Thanks to the new laboratory system, I can easily do what I want about my lessons  4,54  0,702  The new laboratory system can lead to unexpected results  2,63  0,921  Using a new laboratory system makes me confused  2,13  1,071  The use of the new laboratory system is easy for me to understand  3,92  0,809  The new laboratory system helps to remind me of my duties  3,98  0,831  The new laboratory system guides me through my duties  3,74  0,841  In general, I find it easy to use the new laboratory system  3,85  0,864  A tt it u d e   I am happy to use the new laboratory system  3,86  0,701  Using the new laboratory system makes me tense  2,11  1,102  I think that the use of the new laboratory system is detrimental  2,41  1,156  I find it unnecessary to use the new laboratory system  1,93  1,029  B e h a v io r  I use the new laboratory system very often outside the campus  3,81  0,914  I use the new laboratory system very often inside the campus  3,65  0,961  Appl. Sci. 2021, 11, 1214  13  of  17    Besides, all students were informed in detail about the newly developed system be‐ fore the surveys. Besides, demo sessions were held for 2 weeks for both groups to get used  to the systems.  In terms of perceived use and intention in Table 4, it is seen that the average is gen‐ erally over four points. Four values correspond to the expression “I agree” on the scale.  Accordingly, it can be said that the perceived usefulness and intentions of the participants  to use information technology products are high.  From the point of view of perceived ease of use, the highest arithmetic average (4.54)  stands out as “I can easily do what I want to do with my lesson thanks to the new labora‐ tory system”.  When we look at the same way from the standpoint of attitude, the highest arithmetic  average (3.86) stands out as “I am happy to use the new laboratory system”.  Finally, the highest arithmetic mean (3.81) is the “I use the new laboratory system  very often outside the campus” in the part of the behavior.  Relationships between the TAM components were examined utilizing a correlation  analysis and the results are listed in Table 5.  Table 5. Correlation analysis results.    Perceived Use‐ fulness  Perceived Ease  of Use  Attitude  Intention  Behavior  Perceived  Usefulness  1  ‐0,121  ‐0,165  0,743  (**)  0,148  Perceived  Ease of Use  ‐0,121  1  0,497  (**)  0,044  ‐0,013  Attitude  ‐0,165  0,497 (**)  1  0,131  ‐0,151  Intention  0,743 (**)  0,044  0,131  1  0,186  Behavior  0,148  ‐0,013  ‐0,151  0,186  1  (**) Significant with 0.01 error margin  When we look at the results of the correlation between variables, it is seen that posi‐ tive and statistically significant relationships exist between perceived usefulness and per‐ ceived ease of use and attitude. Regression analysis was performed on the data obtained  and the results are presented in Table 6.  Table 6. Regression analysis results.    Intent to Use Dependent Var‐ iable Information Technolo‐ gies  Attitude Toward the Use of De‐ pendent Variable Information  Technologies  Actual Behavior for Use of De‐ pendent Variable Information  Technologies  Independent  Variables  β    P    F  R²  β    P    F  R²  β    P    F    R²   Perceived Use‐ fulness  0,743  0,000*    47,882  0,563  ‐0,165  0,259  1,301  0,029          Perceived Ease  of Use          0,497  0,001*  13,019  0,239          Attitude  0,131  0,439  0,598  0,021                  Intention                  0,186  0,228  1,486  0,033  Model  0,781  0,000  29,971  0,619  0,511  0,003  6,921  0,254  0,186  0, 228  1, 486  0,033    Appl. Sci. 2021, 11, 1214  14  of  17    5. Discussions and Suggestions  DE is one of the areas that gain importance every day and draw attention to its ad‐ vantages. Apart from the traditional advantages that the DE approach includes, there are  also unresolved pending problems. One of the most important problems in distance learn‐ ing is the laboratory requirement in education. Although extensive research has been car‐ ried out on educational outcomes of DE, to our knowledge a small number of comparative  studies exist which specifically focus on technological improvements in DE. To address  this need, studies have been carried out in the literature, but studies are generally local or  course‐dependent solutions. In this study, a laboratory system for DE students was devel‐ oped in the area of information technologies. The study was evaluated with the question‐ naires and assessments given to the students.  The effect of the newly developed laboratory system on student assignments was  examined and details are presented in Table 3. According to the results obtained, the new  laboratory system has a positive impact on the students’ homework grades as per the  weekly and final assignments given to the students. However, when the results of the first  two weeks are examined, it is seen that there are very small differences between the stu‐ dents who use the new laboratory system and the assignments given in the traditional DE  approach. It is considered that the main reason for this small difference is that the student  is accustomed to the new laboratory system and that students are not given orientation to  this area. Therefore, it is recommended that detailed training of the end‐user is given to  get full performance in the newly developed systems.  The dimensions that are effective in the formation of students’ behavior towards the  use of the system were examined. The following results were achieved.  1. It was concluded that the “perceived ease of use” did not affect the attitude towards  the behavior.  2. The “perceived ease of use” by the students resulted in a positive attitude towards  the behavior.  3. It was concluded that the “perceived usefulness” positively affected the intention to  use.  4. It was concluded that behavioral attitudes towards the use of the system do not affect  the behavioral intention.  5. The intention to use the developed system does not affect the behavior.  There are different frameworks and approaches used in the analysis of a product and  its strategic position. One of the most frequently used is the SWOT analysis, which is short  of “strengths, weaknesses, opportunities, and threats”. SWOT analysis is used to appraise  the strengths, weaknesses, opportunities, and threats involved in the Web‐Based Remote  Laboratory Implementation. Thanks to this analysis, it can be determined how the devel‐ oped system is successful and perfect. The SWOT analysis of the system is as shown in  Figure 6. In this part of the study, the result of the analysis was evaluated and addressed.  Appl. Sci. 2021, 11, 1214  15  of  17      Figure 6. SWOT analysis.  6. Conclusion  Technology has become cheaper and widespread every day. This rapid development  has also affected the field of education. As a result of this interaction, the concept of DE  which has been used for years has come to the forefront. However, with the progress of  digital concepts, instead of traditional DE methods, technology‐focused DE methods have  begun to be investigated and developed. In this study, a new platform‐independent, tech‐ nology‐based laboratory system architecture for computers, smartphones, and tablets was  developed for DE students of information technology to handle the problem of the lack of  laboratories, the most important shortcoming in the traditional DE approach. With this  system, it is aimed to increase the usability of the application in the traditional DE system.  In the 2017/2018 academic year, the software projects of the DE students in web tech‐ nology and engineering have been used to test this new laboratory system. A total of 86  students in the class were randomly divided into two groups of 43 people. The same as‐ signments were given to both groups and assignments were evaluated by independent  instructors. The average score of 69.05 was obtained in the first group given traditional  DE assignments. The average of the second group given assignment via the newly devel‐ oped laboratory system was determined as 76.51. The mean score of the first group was  69.71 in the final assignment after the usage habits of the students have been formed and  the average score of the second group using the developed new laboratory system was  found to be 82.60. A difference of 12.89% was observed between the two groups. It is also  aimed to reveal the reasons for using the new laboratory system in the study through  TAM. For this purpose, in the academic year of 2017/2018, field research was conducted  for web programming courses of DE students in engineering and engineering fields. The  results obtained from the TAM model are listed below.  Perceived use and intention trends for students’ use of the system in the course of the  course are quite high.  It is seen that the students’ ease of use is perceived in the process of using the imple‐ mented laboratory for the lecture process and the attitude towards the behavior is affected  positively. This means that if students can use the newly developed laboratory easily, they  Appl. Sci. 2021, 11, 1214  16  of  17    will show an attitude towards using these products. This finding is consistent with the  results obtained by [16] and [30].  The perceived use in the formation of students’ behaviors towards the use of the  newly developed laboratory in the course of study seems to positively influence the in‐ tention to use. This means that if the newly developed laboratory is used by the students  that and they find it useful, they can be said to intend to use these products. This result is  again consistent with [16].  The students’ attitudes towards behavior during the newly developed laboratory con‐ cluded that perceived benefit has no effect on behavior and intention does not affect behavior.  In conclusion, the laboratory environment required for information technology and  engineering education was improved by eliminating the deficiencies in the literature in  this study. In this context, the developed information technology and the remote educa‐ tion laboratory applied in the field of engineering are bridging the gap in the literature.  Author Contributions: Conceptualization, E.E., A.E, M.Ü.; methodology, E.E., A.Ö.; software,  A.E., A.Ö.; validation, A.E., E.E., and M.Ü.; formal analysis, E.E., and A.E.; investigation, E.E., and  A.E.; resources, A.E.; writing—original draft preparation, E.E.; writing—review and editing, E.E.,  A.Ö., and M.Ü. All authors have read and agreed to the published version of the manuscript.  Funding: This work was partly supported by the Kırıkkale University Department of Scientific  Research Projects (2016/107).  Institutional Review Board Statement: Not applicable.  Informed Consent Statement: Student consent was waived because real identities were not used.  Data Availability Statement: Data available on request due to restrictions e.g. privacy or ethical  concerns. The data presented in this study are available on request from the authors.  Conflicts of Interest: The authors declare no conflict of interest. The funders had no role in the  design of the study; in the collection, analyses, or interpretation of data, in the writing of the man‐ uscript or in the decision to publish the results.  References  1. İbrahimoğlu, Z. Digital citizenship and education in Turkey: Experiences, the present and the future. In The Palgrave Handbook  of Citizenship and Education; Springer: Cham, Switzerland, 2020; pp. 465–482.  2. Suárez, J.L.; García, S.; Herrera, F. A tutorial on distance metric learning: Mathematical foundations, algorithms, experimental  analysis, prospects and challenges. Neurocomputing 2020, doi:10.1016/j.neucom.2020.08.017.  3. TSI  Hanehalkı  Bilişim  Teknolojileri  Kullanım  Araştırması.  2020.  Available  online:  https://data.tuik.gov.tr/Bulten/In‐ dex?p=Hanehalki‐Bilisim‐Teknolojileri‐(BT)‐Kullanim‐Arastirmasi‐2020‐33679 (accessed on 22 January 2021).  4. Kurt, A.; Kuzu, A.; Dursun, Ö.; Güllepınar, F.; Gültekin, M. FATİH Projesinin Pilot Uygulama Sürecinin Değerlendirilmesi:  Öğretmen Görüşleri. Öğretim Teknol. Öğretmen Eğitimi Derg. 2013, 1–23.  5. Forni, A.A. Gartner ıdentifies the top 10 strategic technology trends for 2018. Gartner, 18 October 2016.  6. Riedling, A.M. Distance education: The technology—What you need to know to succeed, an overview. AACE J. 2020, 8, 13.  7. Qamar, S.Z.; Pervez, T.; Al‐Kindi, M. Engineering education: Challenges, opportunities, and future trends. In Proceedings of  the 16th IEOM Global Engineering Education: First GCC International Conference on Industrial Engineering and Operations  Management (IEOM‐2019), Riyadh, Saudi Arabia, 26–28 November 2019.  8. Shadiev, R.; Huang, Y.‐M. Exploring the influence of technological support, cultural constructs, and social networks on online  cross‐cultural learning. Australas. J. Educ. Technol. 2020, 36, 104–118.  9. MIT Distance Learning Courses. Available online: https://www.distancelearningportal.com/universities/11740/massachusetts‐ institute‐of‐technology.html (accessed on 22 January 2021).  10. Harvard Online Learning. Available online: https://online‐learning.harvard.edu/ (accessed on 22 January 2021).  11. Docebo eLearning Market Trends and Forecast 2017–2021 Available online: https://www.docebo.com/resource/elearning‐mar‐ ket‐trends‐and‐forecast‐2017‐2021/ (accessed on 22 January 2021).  12. Guzmán, J.L.; Joseph, B. Web‐based virtual lab for learning design, operation, control, and optimization of an anaerobic diges‐ tion process. J. Sci. Educ. Technol. 2020, 1–12, doi:10.1007/s10956‐020‐09860‐6.  13. Burghardt, M.; Ferdinand, P.; Pfeiffer, A.; Reverberi, D.; Romagnoli, G. Integration of new technologies and alternative methods  in laboratory‐based scenarios. In Proceedings of the International Conference on Remote Engineering and Virtual Instrumentation;  Springer: Cham, Switzerland, Athens, GA, USA, 26–28 February 2020; pp. 488–507.  Appl. Sci. 2021, 11, 1214  17  of  17    14. Al‐Emran, M.; Mezhuyev, V.; Kamaludin, A. Technology acceptance model in M‐learning context: A systematic review. Comput.  Educ. 2018, 125, 389–412.  15. Taherdoost, H. A review of technology acceptance and adoption models and theories. Procedia Manuf. 2018, 22, 960–967.  16. Davis, F.D. Perceived usefulness, perceived ease of use, and user acceptance of ınformation technology. MIS Q. 1989, 13, 319.  17. Cîmpanu, C.; Lupu, R.‐G.; Ungureanu, F.; Dumitriu, T. Virtual learning environments for never‐ending learning: A survey. In  Proceedings of the 16th International Scientific Conference eLearning and Software for Education, Bucharest, Romania, 30  April–1 May 2020.  18. Wicaksono, I.; Wasis, M. The effectiveness of virtual science teaching model (VS‐TM) to improve student’s scientific creativity  and concept mastery on senior high school physics subject. J. Balt. Sci. Educ. 2017, 16, 549–561.  19. Nikolic, S.; Suesse, T.; Jovanovic, K.; Stanisavljevic, Z. Laboratory learning objectives measurement: relationships between stu‐ dent evaluation scores and perceived learning. IEEE Trans. Educ. 2020, 1–9, doi:10.1109/TE.2020.3022666.  20. Post, L.S.; Guo, P.; Saab, N.; Admiraal, W. Effects of remote labs on cognitive, behavioral, and affective learning outcomes in  higher education. Comput. Educ. 2019, 140, 1–9.  21. Halimi, W.; Salzmann, C.; Jamkojian, H.; Gillet, D. Enabling the automatic generation of user ınterfaces for remote laboratories.  In Online Engineering and Internet of Things; Springer: Cham, Switzerland, 2018; pp. 778–793.  22. Fitzgerald, B. Drupal for Education and E‐Learning; Packt Publishing Ltd.: Birmingham, UK, 2008.  23. Zhang, M.; Li, Y. Students’ continuance intention to experience virtual and remote labs in engineering and scientific education.  Int. J. Emerg. Technol. Learn. 2019, 14, 1–16.  24. Ramya, M.V.; Purushothama, G.K.; Prakash, K.R. Design and ımplementation of IoT based remote laboratory for sensor exper‐ iments. Digital Library. 2020, 14, 227–238.  25. Harmening, J.T. Virtual private networks. In Computer and Information Security Handbook; Elsevier: Amsterdam, The Nether‐ lands, 2013; pp. 855–867.  26. Osipov, V. Securing active directory. In Special Ops; Elsevier: Amsterdam, The Netherlands, 2003; pp. 243–302.  27. Hannifin, D. Windows server 2008 R2 remote desktop services. In Microsoft Windows Server 2008 R2 Administrator’s Reference:  The Administratorʹs Essential Reference; Syngress: Rockland, MA, USA, 2010; pp. 353–398.  28. Reid, F. Network Programming in .NET; Elsevier: Amsterdam, The Netherlands, 2004; pp. 163–194.  29. Tian, W.; Zhao, Y. Load balance scheduling for cloud data centers. In Optimized Cloud Resource Management and Scheduling;  Elsevier: Amsterdam, The Netherlands, 2015; pp. 95–114.  30. Cheng, J.M.‐S.; Sheen, G.‐J.; Lou, G.‐C. Consumer acceptance of the internet as a channel of distribution in Taiwan—A channel  function perspective. Technovation 2006, 26, 856–864.