Research Report on the Application of AI in Automotive Cockpits, 2025
상품코드:1694625
리서치사:ResearchInChina
발행일:2025년 03월
페이지 정보:영문 310 Pages
라이선스 & 가격 (부가세 별도)
한글목차
음성인식과 페이스 모니터링 기능이 처음으로 자동차에 탑재된 2000년대 초반부터 2023년까지 ‘대규모 모델 통합’ 동향의 대두에 따라, 자동차 제조업체가 추론 모델 ‘DeepSeek-R1’을 널리 채용하는 2025년까지 조종실에서 AI의 응용은 3가지 중요한 단계를 거쳐 진화해 왔습니다.
이전 대규모 모델 시대 : 조종실은 기계식에서 전자식으로, 지능형 시스템으로 전환되었으며 얼굴 인식 및 음성 인식과 같은 시나리오를 위해 소규모 AI 모델이 통합되었습니다.
포스트 대규모 모델 시대 : 인공지능의 적용 범위가 확대되고 양이 증가하고 효과가 크게 개선되었지만, 정확성과 적응성은 여전히 일관성이 없었습니다.
멀티모달 대규모 언어 모델(LLM)과 추론 모델 : 조종실은 기본적인 지능에서 '깊은 상호작용과 자기 진화' 단계로 진행되었습니다.
'정밀 인터랙션'을 예로 들자면, 추론 대규모 모델은 음성 인터랙션의 정확도, 특히 연속 인식의 정확도를 향상시킬 뿐만 아니라 컨텍스트의 동적 이해를 통해 센서 융합 처리 데이터와 결합, 멀티태스킹 학습 아키텍처에 의존하여 네비게이션, 음악, 기타 복합 요구를 동기 처리하고 응답 속도는 기존 솔루션에 비해 40% 향상합니다. 2025년 추론 모델(DeepSeek-R1 등)이 대규모로 탑재된 후 엔드사이드 추론 기능은 자동 음성 인식 프로세스를 가속화하고 정확도가 더욱 향상될 것으로 예측됩니다.
'멀티모달 상호작용'을 예로 들어, 대규모 모델의 다중 소스 데이터 처리 능력을 활용하여 크로스모달 협업 인텔리전트 인터랙션 시스템을 구축할 수 있습니다. 3D 카메라와 마이크 어레이를 깊게 통합함으로써 시스템은 제스처 명령, 음성 의미, 환경 특성을 동시에 분석하고 멀티모달 의도 이해를 단시간에 완료할 수 있으며, 이는 기존 솔루션보다 60% 빠릅니다. 크로스모달 얼라인먼트 모델을 기반으로 제스처 제어와 음성 명령을 협조함으로써 복잡한 운전 시나리오에서 오작동률을 더욱 줄일 수 있습니다. 2025-2026년에 멀티모달 데이터 퓨전 처리 기능이 차세대 조종석의 표준이 될 것으로 예측됩니다. 대표적인 시나리오는 다음과 같습니다.
제스처 조작 : 운전자는 손을 흔들거나 손가락을 가리키는 간단한 제스처로 운전 중 주의를 산만하게 하지 않고 창, 선루프, 볼륨, 네비게이션 등의 기능을 편리하게 조작할 수 있습니다.
얼굴 인식과 개인화 : 얼굴 인식 기술을 통해 드라이버를 자동으로 식별하고 개인 선호에 따라 시트, 백미러, 에어컨, 음악 등의 설정을 자동으로 조정하여 "차를 타고 즐긴다"라는 개인화된 경험을 실현합니다.
눈 추적 및 어텐션 모니터링 : 시선 추적 기술을 통해 운전자의 시선 방향과 주의 상태를 모니터링하고 피로 운전이나 부주의 등의 위험 행동을 적시에 검출하고 조기 경고 프롬프트를 제공하여 운전 안전을 향상시킵니다.
감정인식과 감정적 상호작용 : 인공지능시스템은 운전자의 표정과 목소리 톤 등을 통해 불안, 피로, 흥분 등 운전자의 감정 상태를 판단하고, 그에 따라 차내 환경 조명, 음악, 에어컨 등을 조정하여 보다 친밀한 감정적 서비스를 제공할 수 있습니다.
조종석 AI 개발 동향 2 : 자기 진화
2025년 조종석 에이전트는 사용자가 조종석과 상호작용할 수 있는 매체가 되었으며, 그 주목할만한 특징이 '장기 기억', '피드백 학습', '능동적 인지'에 반영되는 '자기 진화'입니다.
이 보고서는 중국 자동차 산업에 대한 조사 분석을 통해 국내외 제조업체가 자동차 조종석에서 AI의 응용에 대한 정보를 제공합니다.
목차
제1장 자동차 조종석에서 AI의 응용 시나리오
조종석에서 AI의 응용 현상
시나리오 1 : 음성 인식
시나리오 2 : 멀티모달 상호작용
시나리오 3 : IMS
시나리오 4 : HUD
시나리오 5 : 레이더 감지
2장 시나리오를 기반으로 한 조종석 에이전트
조종석 에이전트 개요
조종석 에이전트의 응용 배경
제3장 공급자의 조종석 AI 응용 예
공급자의 조종석 AI 대규모 모델 기능
Huawei
Tencent
Ali
Baidu
ByteDance(Volcano Engine)
Zhipu AI
SenseTime
iFLYTEK
AISpeech
Unisound AI Technology Co, Ltd
Upjohn technology
ThunderSoft
Z-One
Desay SV
TINNOVE
PATEO
Cerence
MediaTek
Minieye
oToBrite
Smart Eye
제4장 자동차 제조업체의 조종석 AI 응용 예
OEM의 대규모 모델 응용 개요
NIO
Li Auto
XPeng
Xiaomi
Leapmotor
BYD
SAIC
GAC
BAIC
Chang'an
Great Wall
Chery
Geely
Jianghuai
Applications of Jianghuai AI Cockpit
BMW
Mercedes Benz
VW
제5장 조종석에서 AI의 응용 동향과 기술적 자원
조종석에서 AI의 응용 동향
동향 1 :
동향 2 : 대규모 모델로부터 에이전트로
동향 3 :
동향 4 :
동향 5 :
동향 6 :
동향 7 :
조종석에 대한 AI 기술 구현을 위한 리소스 계산
자원 계산
다양한 조종석 AI 알고리즘의 장단점
KTH
영문 목차
영문목차
Cockpit AI Application Research: From "Usable" to "User-Friendly," from "Deep Interaction" to "Self-Evolution"
From the early 2000s, when voice recognition and facial monitoring functions were first integrated into vehicles, to the rise of the "large model integration" trend in 2023, and further to 2025 when automakers widely adopt the reasoning model DeepSeek-R1, the application of AI in cockpits has evolved through three key phases:
Pre-large model era: Cockpits transitioned from mechanical to electronic and then to intelligent systems, integrating small AI models for scenarios like facial and voice recognition.
Post-large model era: AI applications expanded in scope and quantity, with significant improvements in effectiveness, though accuracy and adaptability remained inconsistent.
Multimodal large language models (LLMs) and reasoning models: Cockpits advanced from basic intelligence to a stage of "deep interaction and self-evolution."
Cockpit AI Development Trend 1: Deep Interaction
Deep interaction is reflected in "linkage interaction", "multi-modal interaction", "personalized interaction", "active interaction" and "precise interaction".
Taking "precise interaction" as an example, the inference large model not only improves the accuracy of voice interaction, especially the accuracy of continuous recognition, but also through dynamic understanding of context, combined with sensor fusion processing data, relying on multi-task learning architecture to synchronously process navigation, music and other composite requests, and the response speed is increased by 40% compared with traditional solutions. It is expected that in 2025, after the large-scale loading of inference models (such as DeepSeek-R1), end-side inference capabilities can make the automatic speech recognition process faster and further improve the accuracy.
Taking "multi-modal interaction" as an example, using the multi-source data processing capabilities of large models, a cross-modal collaborative intelligent interaction system can be built. Through the deep integration of 3D cameras and microphone arrays, the system can simultaneously analyze gesture commands, voice semantics and environmental characteristics, and complete multi-modal intent understanding in a short time, which is 60% faster than traditional solutions. Based on the cross-modal alignment model, gesture control and voice commands can be coordinated to further reduce the misoperation rate in complex driving scenarios. It is expected that in 2025-2026, multi-modal data fusion processing capabilities will become standard in the new generation of cockpits. Typical scenarios include:
Gesture control: Drivers can conveniently control functions such as windows, sunroof, volume, navigation, etc. through simple gestures, such as waving, pointing, etc., without distracting their driving attention.
Facial recognition and personalization: The system can automatically identify the driver through facial recognition technology, and automatically adjust the settings of seats, rearview mirrors, air conditioners, music, etc. according to their personal preferences, to achieve a personalized experience of "get in the car and enjoy".
Eye tracking and attention monitoring: Through eye tracking technology, the system can monitor the driver's gaze direction and attention state, detect risk behaviors such as fatigue driving and inattention in a timely manner, and provide early warning prompts to improve driving safety.
Emotional recognition and emotional interaction: AI systems can even identify the driver's emotional state, such as judging whether the driver is anxious, tired or excited through facial expressions, voice tone, etc., and adjust the ambient lighting, music, air conditioning, etc. in the car accordingly to provide more intimate emotional services.
Cockpit AI Development Trend 2: self-evolution
In 2025, the cockpit agent will become the medium for users to interact with the cockpit, and one of its salient features is "self-evolution", reflected in "long-term memory", "feedback learning", and "active cognition".
"Long-term memory", "feedback learning", and "active cognition" are gradual processes. AI constructs user portraits through voice communication, facial recognition, behavior analysis and other data to achieve "thousands of people and thousands of faces" services. This function uses reinforcement learning and reasoning related technology implementation, and the system relies on data closed-loop continuous learning of user behavior. Under the reinforcement learning mechanism, each user feedback becomes the key basis for optimizing the recommendation results.
With the continuous accumulation of data, the large model can more quickly discover the law of user interest point transfer, and can anticipate user requests in advance. It is expected that in the next two years, with the help of more advanced reinforcement learning algorithms and efficient reasoning architecture, the system will increase the mining speed of users' new areas of interest by 50%, and the accuracy of recommended results will be further improved. Such as:
BMW's cockpit system remembers driver seat preferences, frequented locations, and automatically dims ambient lights to relieve anxiety on rainy days;
Mercedes-Benz's voice assistant can recommend restaurants based on the user's schedule and reserve charging stations in advance.
BMW Intelligent Voice Assistant 2.0 is based on Amazon's Large Language Model (LLM) and combines the roles of personal assistant, vehicle expert and accompanying occupant to generate customized suggestions by analyzing the driver's daily route, music preferences and even seat adjustment habits. For example, if the system detects that the driver often stops at a coffee shop every Monday morning, it will proactively prompt in a similar situation: "Are you going to a nearby Starbucks?" In addition, the system can also adjust recommendations based on weather or traffic conditions, such as recommending indoor parking on rainy days; when the user says "Hello BMW, take me home", "Hello BMW, help me find a restaurant", the personal assistant can quickly plan a route and recommend a restaurant.
Cockpit AI Development Trend 3: Symbiosis of Large and Small Models
The large model has been on the bus for nearly two years, but the phenomenon of the large model "completely replacing" the small model has not occurred. With its lightweight and low power consumption characteristics, the small model performs well in end-side task scenarios with high real-time requirements and relatively small data processing. For example, in intelligent voice interaction, the small model can quickly parse commands such as "turn on the air conditioner" or "next song" to provide instant responses. Similarly, in gesture recognition, the small model realizes low-latency operation through local computing, avoiding the time lag of cloud transmission. This efficiency makes the small model the key to improving the user interaction experience.
In practical applications, the two complement each other; the large model is responsible for complex calculations in the background (such as path planning), while the small model focuses on the fast response of the front desk (such as voice control), jointly building an efficient and intelligent cockpit ecosystem. Especially inspired by DeepSeek's distillation technology, it is expected that after 2025, the end-side small models obtained by distilling high-performance large models will be mass-produced on a certain scale."
Taking NIO as an example, it runs its AI application in a two-wheel drive manner for large and small models as a whole, with a focus on large models, but it does not ignore the application of small models.
Table of Contents
Relevant Definitions
1 Application Scenarios of AI in Automotive Cockpits
1.1 Current Status of AI Applications in Cockpits
Characteristics of the New Generation Cockpit after AI Integration
Application Scenarios of AI in Cockpits: Current Status
1.2 Scenario 1: Speech Recognition
AI Large Model Integration into Speech Recognition Development Roadmap
