Computer Engineering Commons^™

Ierl: Interpretable Ensemble Representation Learning - Combining Crowdsourced Knowledge And Distributed Semantic Representations, Yuxin Zi, Kaushik Roy, Vignesh Narayanan, Manas Gaur, Amit Sheth

Publications

Large Language Models (LLMs) encode meanings of words in the form of distributed semantics. Distributed semantics capture common statistical patterns among language tokens (words, phrases, and sentences) from large amounts of data. LLMs perform exceedingly well across General Language Understanding Evaluation (GLUE) tasks designed to test a model’s understanding of the meanings of the input tokens. However, recent studies have shown that LLMs tend to generate unintended, inconsistent, or wrong texts as outputs when processing inputs that were seen rarely during training, or inputs that are associated with diverse contexts (e.g., well-known hallucination phenomenon in language generation tasks). Crowdsourced and …

Knowledge Graph Guided Semantic Evaluation Of Language Models For User Trust, Kaushik Roy, Tarun Garg, Vedant Palit, Yuxin Zi, Vignesh Narayanan, Amit Sheth

Publications

A fundamental question in natural language processing is - what kind of language structure and semantics is the language model capturing? Graph formats such as knowledge graphs are easy to evaluate as they explicitly express language semantics and structure. This study evaluates the semantics encoded in the self-attention transformers by leveraging explicit knowledge graph structures. We propose novel metrics to measure the reconstruction error when providing graph path sequences from a knowledge graph and trying to reproduce/reconstruct the same from the outputs of the self-attention transformer models. The opacity of language models has an immense bearing on societal issues of …

Cook-Gen: Robust Generative Modeling Of Cooking Actions From Recipes, Revathy Venkataramanan, Kaushik Roy, Kanak Ray, Renjith Prasad, Yuxin Zi, Vignesh Narayanan, Amit Sheth

Publications

As people become more aware of their food choices, food computation models have become increasingly popular in assisting people in maintaining healthy eating habits. For example, food recommendation systems analyze recipe instructions to assess nutritional contents and provide recipe recommendations. The recent and remarkable successes of generative AI methods, such as auto-regressive large language models, can lead to robust methods for a more comprehensive understanding of recipes for healthy food recommendations beyond surface-level nutrition content assessments. In this study, we explore the use of generative AI methods to extend current food computation models, primarily involving the analysis of nutrition and …

Acm Web Conference 2023, Usha Lokala, Kaushik Roy, Utkarshani Jaimini, Amit Sheth

Publications

Improving the performance and explanations of ML algorithms is a priority for adoption by humans in the real world. In critical domains such as healthcare, such technology has significant potential to reduce the burden on humans and considerably reduce manual assessments by providing quality assistance at scale. In today’s data-driven world, artificial intelligence (AI) systems are still experiencing issues with bias, explainability, and human-like reasoning and interpretability. Causal AI is the technique that can reason and make human-like choices making it possible to go beyond narrow Machine learning-based techniques and can be integrated into human decision-making. It also offers intrinsic …

Tutorial - Shodhguru Labs: Knowledge-Infused Artificial Intelligence For Mental Healthcare, Kaushik Roy

Publications

Artificial Intelligence (AI) systems for mental healthcare (MHCare) have been ever-growing after realizing the importance of early interventions for patients with chronic mental health (MH) conditions. Social media (SocMedia) emerged as the go-to platform for supporting patients seeking MHCare. The creation of peer-support groups without social stigma has resulted in patients transitioning from clinical settings to SocMedia supported interactions for quick help. Researchers started exploring SocMedia content in search of cues that showcase correlation or causation between different MH conditions to design better interventional strategies. User-level Classification-based AI systems were designed to leverage diverse SocMedia data from various MH conditions, …

Tutorial - Shodhguru Labs: Optimization And Hyperparameter Tuning For Neural Networks, Kaushik Roy

Publications

Neural networks have emerged as a powerful and versatile class of machine learning models, revolutionizing various fields with their ability to learn complex patterns and make accurate predictions. The performance of neural networks depends significantly on the appropriate choice of hyperparameters, which are critical factors governing their architecture, regularization, and optimization techniques. As the demand for high-performance neural networks grows across diverse applications, the need for efficient optimization and hyperparameter tuning methods becomes paramount. This paper presents a comprehensive exploration of optimization strategies and hyperparameter tuning techniques for neural networks. Neural networks have emerged as a powerful and versatile class …

L3 Ensembles: Lifelong Learning Approach For Ensemble Of Foundational Language Models*, Aidin Shiri, Kaushik Roy, Amit Sheth, Manas Gaur

Publications

Fine-tuning pre-trained foundational language models (FLM) for specific tasks is often impractical, especially for resource-constrained devices. This necessitates the development of a Lifelong Learning (L3) framework that continuously adapts to a stream of Natural Language Processing (NLP) tasks efficiently. We propose an approach that focuses on extracting meaningful representations from unseen data, constructing a structured knowledge base, and improving task performance incrementally. We conducted experiments on various NLP tasks to validate its effectiveness, including benchmarks like GLUE and SuperGLUE. We measured good performance across the accuracy, training efficiency, and knowledge transfer metrics. Initial experimental results show that the proposed L3 …

A Structured Narrative Prompt For Prompting Narratives From Large Language Models: Sentiment Assessment Of Chatgpt-Generated Narratives And Real Tweets, Christopher J. Lynch, Erik J. Jensen, Virginia Zamponi, Kevin O'Brien, Erika Frydenlund, Ross Gore

VMASC Publications

Large language models (LLMs) excel in providing natural language responses that sound authoritative, reflect knowledge of the context area, and can present from a range of varied perspectives. Agent-based models and simulations consist of simulated agents that interact within a simulated environment to explore societal, social, and ethical, among other, problems. Simulated agents generate large volumes of data and discerning useful and relevant content is an onerous task. LLMs can help in communicating agents' perspectives on key life events by providing natural language narratives. However, these narratives should be factual, transparent, and reproducible. Therefore, we present a structured narrative prompt …

Exploiting The Advantages And Overcoming The Challenges Of The Cable In A Tethered Drone System, Rogerio Rodrigues Lima

Graduate Theses, Dissertations, and Problem Reports (ETD)

This dissertation proposes solutions for motion planning, localization, and landing of tethered drones using only tether variables. A tether-based multi-model localization framework for tethered drones is proposed. This framework comprises three independent localization strategies based on a different model. The first strategy uses simple trigonometric relations assuming that the tether is taut; the second method relies on a set of catenary equations for the slack tether case; the third estimator is a neural network-based predictor that can cover different tether shapes. Multi-layer perceptron networks previously trained with a dataset comprised of the tether variables (i.e., length, tether angles on the …

Assessing The Performance Of A Particle Swarm Optimization Mobility Algorithm In A Hybrid Wi-Fi/Lora Flying Ad Hoc Network, William David Paredes

UNF Graduate Theses and Dissertations

Research on Flying Ad-Hoc Networks (FANETs) has increased due to the availability of Unmanned Aerial Vehicles (UAVs) and the electronic components that control and connect them. Many applications, such as 3D mapping, construction inspection, or emergency response operations could benefit from an application and adaptation of swarm intelligence-based deployments of multiple UAVs. Such groups of cooperating UAVs, through the use of local rules, could be seen as network nodes establishing an ad-hoc network for communication purposes.

One FANET application is to provide communication coverage over an area where communication infrastructure is unavailable. A crucial part of a FANET implementation is …

Energy-Efficient Hmac For Wireless Communications, Cesar Enrique Castellon Escobar

UNF Graduate Theses and Dissertations

This thesis introduces the Farming Lightweight Protocol (FLP) optimized for energy-restricted environments that depend upon secure communication, such as multi-robot information gathering systems within the vision of ``smart'' agriculture. FLP uses a hash-based message authentication code (HMAC) to achieve data integrity. HMAC implementations, resting upon repeated use of the SHA256 hashing operator, impose additional resource requirements and thus also impact system availability. We address this particular integrity/availability trade-off by proposing an energy-saving algorithmic engineering method on the internal SHA256 hashing operator. The energy-efficient hash is designed to maintain the original security benefits yet reduce the negative effects on system availability. …

Memory Optimizations For High-Throughput Computer Systems, Zhiyuan Lu

Dissertations, Master's Theses and Master's Reports

The emergence of new non-volatile memory (NVM) technology and deep neural network (DNN) inferences bring challenges related to off-chip memory access. Ensuring crash consistency leads to additional memory operations and exposes memory update operations on the critical execution path. DNN inference execution on some accelerators suffers from intensive off-chip memory access. The focus of this dissertation is to tackle the issues related to off-chip memory in these high performance computing systems.

The logging operations, required by the crash consistency, impose a significant performance overhead due to the extra memory access. To mitigate the persistence time of log requests, we introduce …

เครื่องสร้างปริภูมิสถานะสำหรับโมเดลเช็กกิงแบบแอลทีแอลโดยใช้แอลเอสทีเอ็มที่มีการจำแนกแบบหลายป้าย, ชลิกา ศักดิ์สุภาวัฒนกุล

Chulalongkorn University Theses and Dissertations (Chula ETD)

กระบวนการทวนสอบเชิงรูปนัยเป็นสิ่งที่สำคัญในการตรวจสอบความปลอดภัย ความดำเนินชีวิตและความสัมพันธ์ของระบบซอฟต์แวร์ตั้งแต่เริ่มต้นออกแบบซอฟต์แวร์ ซึ่งสามารถช่วยให้ลดความพยายามในการพัฒนาอย่างเห็นได้ชัด โมเดลเช็กกิงเป็นวิธีการเชิงรูปนัยอย่างหนึ่งที่สามารถทวนสอบระบบซอฟต์แวร์ตามคุณสมบัติเชิงพฤติกรรมที่เขียนเป็นสูตรตรรกศาสตร์เชิงเวลาแบบลำดับหรือเรียกว่าสูตรแอลทีแอล โดยใช้วิธีการสำรวจเส้นทางดำเนินงานที่เป็นไปได้ทั้งหมดอย่างละเอียดถี่ถ้วนในปริภูมิสถานะของระบบซอฟต์แวร์และกำหนดว่าเส้นทางดำเนินงานทั้งหมดของระบบเป็นไปตามคุณสมบัติที่เขียนโดยใช้สูตรแอลทีแอลหรือไม่ อย่างไรก็ตาม ระบบที่มีขนาดใหญ่และมีความซับซ้อนอาจทำให้เกิดการระเบิดของปริภูมิสถานะในการทำโมเดลเช็กกิงได้ ซึ่งมีการเสนอวิธีการลดพื้นที่ของปริภูมิสถานะหลายวิธีและแม้แต่วิธีการของแมชชีนเลิร์นนิงก็ถูกนำมาใช้เพื่อทำนายผลลัพธ์ความพึงพอใจของคุณสมบัติแอลทีแอลของระบบซอฟต์แวร์ เมื่อพิจารณาถึงความสำเร็จในการฝึกอบรมโครงข่ายความจำระยะสั้นแบบยาวหรือแอลเอสทีเอ็มสำหรับการทำนายลำดับข้อมูลอนุกรมเวลาแบบยาว ในวิทยานิพนธ์นี้ ได้เสนอแนวคิดแอลเอสทีเอ็มที่ขยายการจำแนกแบบหลายป้ายและกลยุทธ์การหาขีดแบ่งเพื่อบรรเทาปัญหาการระเบิดของปริภูมิสถานะและสร้างเป็นเครื่องสร้างปริภูมิสถานะสำหรับสร้างเส้นทางดำเนินงานของระบบซอฟต์แวร์ได้ตามที่ต้องการ โดย ได้สร้างเครื่องมือในการทวนสอบคุณสมบัติพื้นฐานของระบบซอฟต์แวร์ ได้แก่ คุณสมบัติด้านความปลอดภัย ด้านความดำเนินชีวิตและด้านความสัมพันธ์ ด้วยเทคนิคออน-เดอะ-ฟลาย

การแปลงไทมด์ออโตมาตาความน่าจะเป็นไปเป็นรหัสปริซึม, ถิรวัตร สุตาลังกา

Chulalongkorn University Theses and Dissertations (Chula ETD)

วิทยานิพนธ์ฉบับนี้มุ่งศึกษากระบวนการแปลงไทมด์ออโตมาตาความน่าจะเป็นเป็นรหัสปริซึม ซึ่งมีความสำคัญในการวิเคราะห์ระบบเวลาจริงและระบบที่มีความซับซ้อนด้วยความน่าจะเป็น การวิจัยนี้เสนอกฎการแปลงสำหรับแปลงไทมด์ออโตมาตาจากเอกซ์เอ็มแอลเป็นรหัสปริซึม,ช่วยในการวิเคราะห์และตรวจสอบคุณลักษณะที่ซับซ้อนของระบบ นอกจากนี้ วิทยานิพนธ์ยังได้พัฒนากระบวนการแปลงที่มีความสอดคล้องทางความหมาย ช่วยให้สามารถแปลงแบบจำลองที่ออกแบบด้วย UPPAAL ในรูปแบบเอกซ์เอ็มแอลไปยังรหัสปริซึมได้อย่างเหมาะสม ผลลัพธ์จากการศึกษานี้มีความสำคัญในการประยุกต์ใช้ทฤษฎีในแบบจำลองจริงและนำไปสู่การประยุกต์ใช้งานที่มีประสิทธิผลมากขึ้นในหลากหลายด้าน วิทยานิพนธ์ยังนำเสนอการพัฒนาเครื่องมือสำหรับการแปลงรหัสที่มีประสิทธิภาพ ซึ่งใช้ภาษาจาวาและมีความยืดหยุ่นในการปรับใช้กับระบบต่างๆ การทดสอบเครื่องมือนี้พบว่าสามารถแปลงแบบจำลองได้อย่างถูกต้องและครบถ้วน รวมถึงการจัดการกับข้อผิดพลาดที่อาจเกิดขึ้น การทดสอบครอบคลุมแสดงให้เห็นถึงความสามารถของเครื่องมือในการวิเคราะห์และทดสอบแบบจำลองที่มีความซับซ้อน ลดเวลาและความพยายามในการวิเคราะห์แบบจำลองด้วยตนเอง และทำให้มั่นใจได้ว่าผลลัพธ์ที่ได้มีความถูกต้องและเชื่อถือได้ เครื่องมือนี้มีศักยภาพในการเป็นเครื่องมือมาตรฐานสำหรับการวิเคราะห์แบบจำลองไทมด์ออโตมาตาความน่าจะเป็นในอนาคต ช่วยจัดการกับความต้องการที่ซับซ้อนของระบบในโลกจริง

Fast Panoptic Segmentation On Urban Street Scenes, Chananvich Plabplathong

Chulalongkorn University Theses and Dissertations (Chula ETD)

Panoptic segmentation, which unifies semantic and instance segmentation, offers a comprehensive understanding of images for a variety of applications. Real-time performance with high accuracy is challenging. Recent panoptic segmentation models operate in real-time, but they often suffer from low accuracy in comparison to existing benchmarks. The objective of this thesis is to improve the performance of the "You Only Segment Once" (YOSO) model, which is the fastest panoptic segmentation model. Our model, C-YOSO, combines YOSO and a contrastive loss concept. In order to enhance the inference speed, the query decoder is simplified by incorporating a lightweight image-based query decoder that …

Automatic Reconstruction Of Skull Implants Using Deep Learning Approach, Thatchapatt Kesornsri

Chulalongkorn University Theses and Dissertations (Chula ETD)

Skull reconstruction is the process of designing and manufacturing implants for defective skulls. It is an important step in the process of cranioplasty, which is the surgical repair of skull defects or deformities. Cranioplasty is frequently required following traumatic brain injuries, tumor removals, or other neurosurgical procedures that involve the removal of a portion of the skull. Traditional methods of implant design frequently involve manual 3D modeling, which can be complicated, time-consuming, and susceptible to human error. Automated implant design techniques, on the other hand, use advanced imaging technologies and deep learning to automatically generate customized implants. Recent skull reconstruction …

เอไอสำหรับการแนะนำรหัสบัญชีสมุดแยกประเภททั่วไป, ปกรณ์ โคตรภูชัย

Chulalongkorn University Theses and Dissertations (Chula ETD)

เทคโนโลยีเอไอช่วยส่งเสริมให้ธุรกิจสามารถคงความเป็นคู่แข่งที่แข็งแกร่งในโลกปัจจุบันที่มีการแข่งขันสูง ขณะเดียวกันการทำบัญชีก็มีบทบาทสำคัญที่ทำให้การบริหารการเงินของธุรกิจประสบความสำเร็จ การทำบัญชีเกี่ยวข้องกับการบันทึกธุรกรรมทางการเงินที่เกิดขึ้น และเลือกรหัสบัญชีที่ถูกต้องในการบันทึกบัญชี การใส่ค่ารหัสบัญชีด้วยมืออาจก่อให้เกิดความผิดพลาดและสูญเสียทรัพยากรของบริษัท ขณะที่การใส่ค่ารหัสบัญชีที่ถูกต้องเป็นสิ่งสำคัญที่ช่วยให้การตัดสินใจทางธุรกิจดียิ่งชึ้นและทำให้ธุรกิจเติบโตได้อย่างรวดเร็ว การแนะนำรหัสบัญชีอัตโนมัติด้วยเอไอสามารถช่วยประหยัดเวลา เพิ่มผลิตภาพและคุณภาพของผลลัพธ์ จากการลดความผิดพลาดของมนุษย์ งานวิจัยนี้จึงนำเสนอแนวทางระบบที่พัฒนาด้วยเอไอเพื่อแนะนำรหัสบัญชีในการทำบัญชีแบบรายการคู่ การประมวลผลภาษาธรรมชาติถูกนำมาใช้เป็นหลักในขั้นตอนการเตรียมข้อมูลเพื่อให้คอมพิวเตอร์สามารถประมวลผล และดึงความหมายจากข้อมูลที่เป็นข้อความได้ แบบจำลองการเรียนรู้ของเครื่องได้ถูกสร้างขึ้นจากอัลกอริทึม คาร์ต, ป่าสุ่ม, และมัลติเลเยอร์ เพอร์เซปทรอน ผลการทดลองรายงานว่าแบบจำลองป่าสุ่มที่ใช้วิธีแทนค่าข้อความด้วยวิธีถุงคำ ให้ค่าความแม่นยำสูงสุดที่ 84.91% ซึ่งอยู่ในระดับที่ยอมรับได้ในมุมของการบัญชี

Multi-Modal Deep Learning For Diagnosis Of Dyssynergic Defecation Using Abdominal X-Ray Images And Symptom Questionnaires, Sirapob Sangnark

Chulalongkorn University Theses and Dissertations (Chula ETD)

Dyssynergic defecation (DD) is a specific type of chronic constipation necessitating a specialized diagnostic test. However, these tests are exclusively available in tertiary care settings due to the unavailability of the required devices in primary and secondary care settings. In this thesis, we present a multi-modal deep learning model that can preliminary diagnose patients who suffer from DD. This model utilizes cost-effective and accessible data in small hospitals, such as abdominal X-ray images and symptom questionnaires. Cross-modal attention is applied to assist the multi-modal model in identifying significant relationships between the two types of data. A convolution block attention module …

การคัดกรองความผิดปกติของรูปภาพบุคคลที่สร้างจากปัญญาประดิษฐ์, ธนพล พจนะสวนีย์

Chulalongkorn University Theses and Dissertations (Chula ETD)

ในยุคปัจจุบันความสามารถของปัญญาประดิษฐ์ถูกสร้างขึ้นและพัฒนาเพื่อสามารถสร้างงานสร้างสรรค์ต่างๆ ได้แก่ รูปภาพ วิดีโอ เสียง งานเขียน และบทความ งานวิจัยนี้มุ่งเน้นไปที่ความสามารถของปัญญาประดิษฐ์ในการผลิตงานภาพบุคคลตามคําสั่งหรือข้อความที่หลากหลาย อย่างไรก็ตาม การใช้ปัญญาประดิษฐ์ประเภทนี้ยังมีความผิดพลาดเกิดขึ้น ความผิดพลาดที่พบบ่อยที่สุดในการสร้างภาพบุคคลคือความผิดปกติจากส่วนของร่างกายหรืออวัยวะของมนุษย์เช่นอวัยวะที่ผิดรูปหรือองค์ประกอบอวัยวะขาดหายไป จากปัญหานี้ทำให้ผู้วิจัยเกิดแนวคิดที่จะออกแบบแบบจำลองสําหรับการคัดกรองความผิดปกติของภาพบุคคลที่สร้างขึ้นโดยปัญญาประดิษฐ์ งานวิจัยนี้มีวัตถุประสงค์ในการสร้างชุดข้อมูลภาพบุคคลประมาณ 100,000 ภาพที่สร้างขึ้นโดยปัญญาประดิษฐ์และพัฒนาแบบจำลองต้นแบบสําหรับคัดกรองความผิดปกติของภาพบุคคลที่สร้างขึ้นโดยปัญญาประดิษฐ์เพื่อทำให้ภาพปัญญาประดิษฐ์จะมีคุณภาพที่ดีขึ้นและมีประโยชน์มากขึ้น แบบจำลองการเรียนรู้เชิงลึกนำมาใช้เพื่อแยกประเภทภาพปัญญาประดิษฐ์ โดยแบ่งออกเป็น2 ประเภท: ภาพปกติ (Normal)และ ภาพบกพร่อง (Defect) ชุดข้อมูลที่ใช้พัฒนาแบบจำลองนี้ประกอบด้วยข้อมูลประมาณ 100,000 ภาพเพื่อให้แบบจำลองมีความแม่นยําและประสิทธิภาพที่ดี งานวิจัยนี้ใช้แบบจำลองการเรียนรู้เชิงลึก 4 ประเภทในการทดสอบเพื่อหาแบบจำลองที่เหมาะสมที่สุดสําหรับการคัดกรองความผิดปกติในภาพปัญญาประดิษฐ์ แบบจำลองนี้ใช้เป็นแบบจำลองต้นแบบในการคัดกรองคุณภาพของภาพบุคคลที่สร้างขึ้นโดยปัญญาประดิษฐ์และชุดข้อมูลทั้งหมดในงานวิจัยนี้จะถูกเผยแพร่โดยสาธารณะ

Improving Player Skills In Action Games Using Dynamic Scripting Ai, Pakanan Aimherungilas

Chulalongkorn University Theses and Dissertations (Chula ETD)

Complexity in video games is one of the obstacles that prevent new players from enjoying the game. In an action game genre, players require a certain level of reaction time and game knowledge to overcome a challenge. Players have difficulty learning and improving their skills in complex games. One example being Final Fantasy VIII and its tutorial about magic junction system, the main mechanic of the game that the game quickly explained with numerous texts. Due to its complexity, most players could not understand the mechanic properly, leaving them confused and having a hard time playing the game. Players who …