总体需求，是基于Tesla T4 GPU，用开源的基座大模型（3-6b级别），做query分类。prompt和分类词可配置。
  先专注于推理的优化，不用考虑服务后，可以程序启动后标准输入读取query，输出分类词。
  
  示例prompt和对应的9个分类词：
  Analyze the category intent of the given query. Output exactly one label from: dress, jeans, shirt, trench, skirt, tee, hoodie, knit, other. Output nothing else query:{query}
  
  做专用执行路径，不是在通用生成引擎上做配置优化。
  
  prompt已经固定（不要考虑蒸馏、微调、或者缩短prompt。缩短prompt是可以我自己调整的，并且prompt可能改为其他场景，与你做专用推理优化不相关，我给的prompt只是一个例子，你专注于专用推理的框架，适配配置化的prompt+分类词列表打分检查）
  
  
  使用Tesla T4，因此：
  1. 使用FP16。不用 BF16 作为主路径
  2. 不用 FlashAttention-3 作为主路径。选用testla T4上最佳的attention
  3. 多搜集资料，参考开源的适合于tesla T4的推理优化项目和能用于T4的推理优化实践。包括但不限于Python/C++ runtime 与 TensorRT engine 的工具包；注意硬件支持矩阵覆盖 Turing/T4。
  
  
  主要考虑优化方向为：
  hidden_last -> N-class scorer -> argmax
  参考vLLM 的自动 prefix caching 复用相同前缀，并基于 block hash 管理 KV
  去 full vocab logits
  去 decode / constrained decode
  query长度分桶 + 小微批，只为少数 batch 模式 capture（batch= 1 2 4 8）
  专用 tail kernel（输出 N 类原始分数）
  
  以下仅供参考，具体怎么做还请你自己基于搜索的开源项目作为baseline进行优化：
  15.1 预分配
  对每个 bucket 预分配：
  input ids buffer
  attention scratch buffer
  output hidden buffer
  class id buffer
  15.2 Graph capture
  
  每个 bucket 预先 capture 一张图：
  embedding
  transformer 主干
  compact last-state
  9-way tail kernel
  
  注意多参考Triton / CUDA C++针对这类单步decode且固定词表打分获取的极致优化方法及其开源项目，找到合适的baseline并进行针对性的开发。
  
  你有sudo权限，你可以执行为本项目安装自己的环境
  
  使用qwen3:4b-instruct-2507-q4_K_M模型。（因为qwen3:4b不能关闭思考模式，所以使用qwen3:4b-instruct-2507-q4_K_M模型）
  或者，请你在huggingface上面查找其他模型，完成部署，并进行推理耗时的测试。
  
  
  
  
  
  
  
  另外，我想要有个命令行工具，在程序启动之初，确保所有该加载的全部加载好，不要做任何懒加载，确保真实请求发生时得到极致的响应时间。
  输入query，输出各个label的打分，以及预测的总耗时（如果能输出各个阶段的耗时更好，如果好做就支持一下），目前是否已经满足了。
  
  请深度分析各阶段耗时，继续查找相关资料，看是否在性能上面做到极致。
  使用qwen3:4b-instruct-2507-q4_K_M模型。（因为qwen3:4b不能关闭思考模式，所以使用qwen3:4b-instruct-2507-q4_K_M模型），完成部署，并进行推理耗时的测试。