| アイテムタイプ |
会議発表論文 / Conference Paper(1) |
| 公開日 |
2026-02-27 |
| 日付 |
|
|
日付 |
2028-01-19 |
|
日付タイプ |
Available |
| タイトル |
|
|
タイトル |
Understanding the Characteristics of LLM-Generated Property-Based Tests in Exploring Edge Cases |
| 言語 |
|
|
言語 |
eng |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
Codes |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
Systematics |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
Image edge detection |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
Large language models |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
Computer bugs |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
Boundary conditions |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
Space exploration |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
Test pattern generators |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
Standards |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
Testing |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
Software Testing |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
Code Generation |
| キーワード |
|
|
主題Scheme |
Other |
|
主題 |
Large Language Models |
| 資源タイプ |
|
|
資源タイプ |
conference paper |
| アクセス権 |
|
|
アクセス権 |
embargoed access |
| 著者 |
Tanaka, Hidetake
Tanaka, Haruto
嶋利, 一真
松本, 健一
|
| 抄録 |
|
|
内容記述タイプ |
Abstract |
|
内容記述 |
As Large Language Models (LLMs) increasingly generate code in software development, ensuring the quality of LLM-generated code has become important. Traditional testing approaches using Example-based Testing (EBT) often miss edge cases—defects that occur at boundary values, special input patterns, or extreme conditions. This research investigates the characteristics of LLM-generated Property-based Testing (PBT) compared to EBT for exploring edge cases. We analyze 16 HumanEval problems where standard solutions failed on extended test cases, generating both PBT and EBT test codes using Claude-4-sonnet. Our experimental results reveal that while each method individually achieved a 68.75% bug detection rate, combining both approaches improved detection to 81.25%. The analysis demonstrates complementary characteristics: PBT effectively detects performance issues and edge cases through extensive input space exploration, while EBT effectively detects specific boundary conditions and special patterns. These findings suggest that a hybrid approach leveraging both testing methods can improve the reliability of LLM-generated code, providing guidance for test generation strategies in LLM-based code generation. |
| 書誌情報 |
en : 2025 2nd IEEE/ACM International Conference on AI-powered Software (AIware)
p. 11-18,
ページ数 8,
発行日 2026-01-19
|
| 会議情報 |
|
|
|
会議名 |
AIware 2025 |
|
|
開始年 |
2025 |
|
|
開始月 |
11 |
|
|
開始日 |
19 |
|
|
終了年 |
2025 |
|
|
終了月 |
11 |
|
|
終了日 |
20 |
|
|
開催期間 |
2025-11-19 - 2025-11-20 |
|
|
開催地 |
Seoul, Korea, Republic of |
|
開催国 |
KOR |
| 出版者 |
|
|
出版者 |
IEEE |
| 出版者版DOI |
|
|
関連タイプ |
isVersionOf |
|
|
識別子タイプ |
DOI |
|
|
関連識別子 |
https://doi.org/10.1109/AIware69974.2025.00009 |
| 出版者版URI |
|
|
関連タイプ |
isVersionOf |
|
|
識別子タイプ |
URI |
|
|
関連識別子 |
https://ieeexplore.ieee.org/abstract/document/11334197 |
| 権利 |
|
|
権利情報 |
©2025 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works. 出版社許諾条件により、本文は2028年1月19日以降に公開 |
| 著者版フラグ |
|
|
出版タイプ |
AM |
| 助成情報 |
|
|
|
助成機関名 |
Japan Society for the Promotion of Science (JSPS) |
|
|
研究課題番号 |
JP23K16862 |
|
|
研究課題番号URI |
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-23K16862/ |
|
|
研究課題名 |
ロギング設定の出力に関する分析とプロジェクトの特性に応じた最適化支援 |
| 助成情報 |
|
|
|
助成機関名 |
Japan Science and Technology Agency (JST) |
|
|
研究課題番号 |
JPMJBS2423 |
|
|
研究課題名 |
BOOST |
fulltext (199.4 KB)
