PhD Position on Vision-Language-Action Model Evaluation for Autonomous Driving

Job description
Vision-Language-Action (VLA) models are a revolutionary paradigm for autonomous driving, enabling systems to jointly perceive, reason, and act in complex environments. However, evaluating such end-to-end models remains challenging, as most existing benchmarks rely on open-loop evaluation and fail to capture closed-loop interactions between a vehicle and its environment. This PhD project focuses on evaluating VLA models using closed-loop simulation methods, which generate photorealistic sensor feedback after each action. Achieving this requires novel view synthesis techniques that enable realistic simulation from previously unseen viewpoints, as well as the integration of language as a modality for evaluation, reasoning, and interpretability. One goal of the project is to develop public datasets and benchmarks specifically designed for closed-loop VLA evaluation.

This fully funded, four-year PhD position takes place at TU Delft and is carried out in close cooperation with researchers from Qualcomm, which funds the project. The research is embedded in an international academic–industrial collaboration and targets fundamental questions in end-to-end autonomous driving and neural view synthesis. Your work is expected to lead to publications at top-tier venues such as CVPR, ICCV, ECCV, NeurIPS or ICRA. You will have access to extensive compute resources at TU Delft, ranging from local GPU servers to large-scale HPC infrastructure. The PhD will be supervised by Dr. Holger Caesar.

Job requirements

• We are seeking PhD applicants with an interest in performing cutting edge research in an active and exciting research area.
• Prospective applicants should have a strong academic record with a solid background in Machine Learning.
• Knowledge of Vision-Language-Action models and Novel View Synthesis techniques is a strong plus.
• Good programming skills (Python) and knowledge of deep-learning frameworks (PyTorch) are expected.
• A certain affinity towards turning complex concepts into real-world practice is desired.
• The successful candidate is expected to be able to act independently as well as to collaborate effectively with members of a larger team and supervise Master students.
• Good English skills are required.

The work takes place in Delft, The Netherlands, but allows for working two days per week from home.

TU Delft (Delft University of Technology)
Delft University of Technology is built on strong foundations. As creators of the world-famous Dutch waterworks and pioneers in biotech, TU Delft is a top international university combining science, engineering and design. It delivers world class results in education, research and innovation to address challenges in the areas of energy, climate, mobility, health and digital society. For generations, our engineers have proven to be entrepreneurial problem-solvers, both in business and in a social context.

At TU Delft we embrace diversity as one of our core values and we actively engage to be a university where you feel at home and can flourish. We value different perspectives and qualities. We believe this makes our work more innovative, the TU Delft community more vibrant and the world more just. Together, we imagine, invent and create solutions using technology to have a positive impact on a global scale. That is why we invite you to apply. Your application will receive fair consideration.

Challenge. Change. Impact!

Faculty Mechanical Engineering
From chip to ship. From machine to human being. From idea to solution. Driven by a deep-rooted desire to understand our environment and discover its underlying mechanisms, research and education at the ME faculty focusses on fundamental understanding, design, production including application and product improvement, materials, processes and (mechanical) systems.

ME is a dynamic and innovative faculty with high-tech lab facilities and international reach. It’s a large faculty but also versatile, so we can often make unique connections by combining different disciplines. This is reflected in ME’s outstanding, state-of-the-art education, which trains students to become responsible and socially engaged engineers and scientists. We translate our knowledge and insights into solutions to societal issues, contributing to a sustainable society and to the development of prosperity and well-being. That is what unites us in pioneering research, inspiring education and (inter)national cooperation.

Click here to go to the website of the Faculty of Mechanical Engineering. Do you want to experience working at our faculty? These videos will introduce you to some of our researchers and their work.

PhD Position on Vision-Language-Action Model Evaluation for Autonomous Driving

Job description
Vision-Language-Action (VLA) models are a revolutionary paradigm for autonomous driving, enabling systems to jointly perceive, reason, and act in complex environments. However, evaluating such end-to-end models remains challenging, as most existing benchmarks rely on open-loop evaluation and fail to capture closed-loop interactions between a vehicle and its environment. This PhD project focuses on evaluating VLA models using closed-loop simulation methods, which generate photorealistic sensor feedback after each action. Achieving this requires novel view synthesis techniques that enable realistic simulation from previously unseen viewpoints, as well as the integration of language as a modality for evaluation, reasoning, and interpretability. One goal of the project is to develop public datasets and benchmarks specifically designed for closed-loop VLA evaluation.

This fully funded, four-year PhD position takes place at TU Delft and is carried out in close cooperation with researchers from Qualcomm, which funds the project. The research is embedded in an international academic–industrial collaboration and targets fundamental questions in end-to-end autonomous driving and neural view synthesis. Your work is expected to lead to publications at top-tier venues such as CVPR, ICCV, ECCV, NeurIPS or ICRA. You will have access to extensive compute resources at TU Delft, ranging from local GPU servers to large-scale HPC infrastructure. The PhD will be supervised by Dr. Holger Caesar.

Job requirements

• We are seeking PhD applicants with an interest in performing cutting edge research in an active and exciting research area.
• Prospective applicants should have a strong academic record with a solid background in Machine Learning.
• Knowledge of Vision-Language-Action models and Novel View Synthesis techniques is a strong plus.
• Good programming skills (Python) and knowledge of deep-learning frameworks (PyTorch) are expected.
• A certain affinity towards turning complex concepts into real-world practice is desired.
• The successful candidate is expected to be able to act independently as well as to collaborate effectively with members of a larger team and supervise Master students.
• Good English skills are required.

The work takes place in Delft, The Netherlands, but allows for working two days per week from home.

TU Delft (Delft University of Technology)
Delft University of Technology is built on strong foundations. As creators of the world-famous Dutch waterworks and pioneers in biotech, TU Delft is a top international university combining science, engineering and design. It delivers world class results in education, research and innovation to address challenges in the areas of energy, climate, mobility, health and digital society. For generations, our engineers have proven to be entrepreneurial problem-solvers, both in business and in a social context.

At TU Delft we embrace diversity as one of our core values and we actively engage to be a university where you feel at home and can flourish. We value different perspectives and qualities. We believe this makes our work more innovative, the TU Delft community more vibrant and the world more just. Together, we imagine, invent and create solutions using technology to have a positive impact on a global scale. That is why we invite you to apply. Your application will receive fair consideration.

Challenge. Change. Impact!

Faculty Mechanical Engineering
From chip to ship. From machine to human being. From idea to solution. Driven by a deep-rooted desire to understand our environment and discover its underlying mechanisms, research and education at the ME faculty focusses on fundamental understanding, design, production including application and product improvement, materials, processes and (mechanical) systems.

ME is a dynamic and innovative faculty with high-tech lab facilities and international reach. It’s a large faculty but also versatile, so we can often make unique connections by combining different disciplines. This is reflected in ME’s outstanding, state-of-the-art education, which trains students to become responsible and socially engaged engineers and scientists. We translate our knowledge and insights into solutions to societal issues, contributing to a sustainable society and to the development of prosperity and well-being. That is what unites us in pioneering research, inspiring education and (inter)national cooperation.

Click here to go to the website of the Faculty of Mechanical Engineering. Do you want to experience working at our faculty? These videos will introduce you to some of our researchers and their work.

Assistent Master Coördinator

Functieomschrijving

De afdeling BioMechanical Engineering (BMechE) verzorgt twee masterprogramma’s: de MSc BioMedical Engineering (BME) en de mastertrack BioMechanical Design binnen de MSc Mechanical Engineering (ME-BMD). Jaarlijks telt BME circa 130 studenten en ME-BMD ruim 80.

Voor BME is een mastercoördinator aangesteld en voor ME-BMD een trackcoördinator. In deze functie ondersteun je beide coördinatoren (hierna gezamenlijk: de coördinatoren).

Door de inhoudelijke overlap in vakken, onderzoeksgebieden en afstudeerbegeleiding is een groot deel van de organisatie van beide programma’s verweven. Ook de studenten voelen zich sterk met elkaar verbonden, zo delen zij bijvoorbeeld een studievereniging.

Als Assistent Mastercoördinator draag jij bij aan een soepel verloop van beide programma’s. Je ondersteunt de coördinatoren in hun dagelijkse werkzaamheden en speelt een actieve rol in het versterken van de studentengemeenschap.

Wat ga je doen?

• Je bent het eerste aanspreekpunt voor studenten. Je begeleidt (aankomende) studenten uit binnen- en buitenland bij vragen over inschrijving en toelating, en verwijst waar nodig door naar mentoren,de master- of track-coördinator, de studieadviseur, een coach of vertrouwenspersoon.

Je werkt nauw samen met de coördinatoren aan het bijhouden van overzichten en statistieken, het signaleren van knelpunten en het optimaliseren van procedures, bijvoorbeeld rondom stages en het afstudeertraject. Je monitort studievoortgang, denkt proactief mee over verbeteringen en draagt bij aan een efficiënte organisatie van de opleidingen.

• Je versterkt de sociale cohesie binnen BME en ME-BMD. In samenwerking met studenten en studievereniging Antoni van Leeuwenhoek coördineer je activiteiten die bijdragen aan een betrokken en hechte community.
• Je ondersteunt bij de organisatie van introductie-, voorlichtings- en wervingsactiviteiten.
• Je informeert en adviseert studenten over opleidingsgerelateerde zaken en denkt actief mee over hoe we hun betrokkenheid en studie-ervaring verder kunnen versterken.

Functie-eisen

• Minimaal hbo werk- en denkniveau.
• Ervaring binnen de faculteit Mechanical Engineering, TU Delft of een vergelijkbare onderwijsomgeving (als medewerker en/of student) is een pré.
• Je beschikt over sterke communicatieve en sociale vaardigheden en weet gemakkelijk verbinding te maken met studenten, docenten en collega’s. Je handelt sensitief en draagt actief bij aan een veilige en toegankelijke leeromgeving.
• Je werkt gestructureerd en nauwkeurig. Je kunt overzicht houden in planningen, gegevens en processen en bent in staat informatie helder te analyseren en vast te leggen.
• Je bent proactief en denkt in oplossingen. Je signaleert knelpunten tijdig en neemt initiatief om processen te verbeteren.
• Je hebt ervaring met het organiseren van activiteiten of het coördineren van grotere groepen. De twee masterprogramma’s tellen samen ruim 700 studenten en tientallen docenten en betrokkenen.
• Je functioneert zelfstandig, maar voelt je ook prettig in een hecht team waarin samenwerking centraal staat.
• Je beschikt over goede digitale vaardigheden, bijvoorbeeld in Excel.
• Gezien het internationale karakter van de opleidingen beheers je zowel het Nederlands als het Engels uitstekend, in woord en geschrift.

TU Delft
De Technische Universiteit Delft heeft een sterk fundament. Als bouwer van de wereldberoemde Nederlandse waterwerken en pionier in biotech is TU Delft een internationale topuniversiteit die wetenschap, engineering en design combineert. TU Delft staat voor onderwijs, onderzoek en innovatie van wereldklasse om uitdagingen op het gebied van energie, klimaat, mobiliteit, gezondheid en digitale maatschappij aan te gaan. Generaties Delftse ingenieurs hebben bewezen ondernemende probleemoplossers te zijn in bedrijfsleven en in sociale context.

Bij TU Delft omarmen we diversiteit als een van onze kernwaarden en zetten we ons actief in om een universiteit te zijn waar jij je thuis voelt en kunt floreren. We hechten veel waarde aan verschillende perspectieven en kwaliteiten, omdat wij geloven dat dit ons werk innovatiever, de TU Delft-gemeenschap levendiger en de wereld rechtvaardiger maakt. Samen bedenken en ontwikkelen we oplossingen die een positieve invloed hebben op wereldwijde schaal. Daarom nodigen we jou uit om te solliciteren. Je sollicitatie krijgt een eerlijke behandeling.

Challenge. Change. Impact!

Faculteit Mechanical Engineering
Van chip tot schip. Van machine tot mens. Van idee naar oplossing. Vanuit de wil om de omgeving te begrijpen en te achterhalen welke mechanismen daaraan ten grondslag liggen, richten onderzoek en onderwijs zich op fundamenteel begrip, ontwerp, productie, toepassing en verbetering van producten, materialen, processen en (mechanische) systemen.

De faculteit ME is een dynamische en innovatieve faculteit met een internationale scope en high-tech lab-faciliteiten. Omdat we zo groot en veelzijdig zijn, kunnen we unieke dwarsverbanden leggen en vakgebieden combineren. Dit vindt zijn weerslag in uitstekend en modern onderwijs dat studenten opleidt tot maatschappelijk betrokken en verantwoordelijke ingenieurs en onderzoekers. De kennis en inzichten die we opdoen, vertalen we in oplossingen voor maatschappelijke vraagstukken, bijdragen aan een duurzame samenleving en aan de ontwikkeling van welvaart en welzijn. Dat is wat ons verbindt in grensverleggend onderzoek, inspirerend onderwijs en (inter)nationale samenwerking.

Klik hier om naar de website van faculteit Mechanical Engineering te gaan.