NVIDIA GeForce RTX 5090

### Your current environment <details> <summary>collect_env output (head node, worker node is identical hardware/software)</summary> ``` Collecting environment information... =======================

{"text":"DeepSeek-V4-FlashモデルのTP=16設定で、SM120アーキテクチャにおいてDSV4 sparse MLA decode specializationエラーが発生した。"}

## Purpose DeepSeek V4 MegaMoE routing consumes the original token IDs in every decoder layer. Under pipeline parallelism, the V2 runner only supplies `input_ids` to the first pipeline rank, while la

{"text":"DeepSeek V4モデルをTP2 x PP3構成でvLLM V2上で動作させ、テキストおよびビジョン推論が正常に完了した。"}

## Overview Optimize m=1 by swapping A and B matrices. codex rediscovered this then told me ggml-cuda already did this in #26171. Optimize small m (e.g. m=32) by changing tile size selection heu

{"text":"VulkanバックエンドでQwen3モデル（Q2_K/Q3_K_M/Q4_K_M量子化）を動作させ、MUL_MAT最適化によりpp512のトークン生成速度が向上した。"}

### Your current environment - vLLM version: 0.26.0 (`vllm/vllm-openai:latest`, image digest `sha256:ffb2d59b1c059a5bd8d781320c9f5189de8293693b7d95da54befddaa54abf52`, pulled 2026-07-25) - GPU: 1x NV

{"text":"NVFP4量子化されたQwen3.8-27B-MTPモデルでMTP投機的デコーディングとOffloadingConnectorを併用した際にクラッシュ"}

## Overview Use the new add_alloc_dep to help topk_moe output to not overlap input tensors, so it can run fused. ``` before Z:\github\jeffbolznv\llama.cpp\build\bin\RelWithDebInfo>llama-benc

{"text":"Vulkanバックエンドでtopk_moe融合を有効化し、Qwen3-30B-A3Bやgpt-oss-20bなどのMoEモデルのprefill速度が向上した。"}

### What is the issue? Setting 98304 as context length using Powershell gives error when running the model: `[Environment]::SetEnvironmentVariable("OLLAMA_CONTEXT_LENGTH", "98304", "User")` It defa

{"text":"24GB VRAM環境でOLLAMA_CONTEXT_LENGTHを98304に設定したが、無効な環境変数として警告が出てデフォルト値にリセットされる。"}

# [Kernel] Use FlashInfer Gemma RMSNorm kernels on CUDA Supersedes #55311, which added a Triton kernel for this. As pointed out in review there, FlashInfer already provides the required Gemma RMSNo

{"text":"Qwen3.8-27Bモデルで--enforce-eager使用時、デコードスループットが43.7から59.9 tok/sへ向上"}

What is not working: Fresh server > first request (web UI vision chat, system prompt + one 1024×1536 PNG + short prompt: 743 prompt tokens) dies instantly. ``` E ggml_cuda_compute_forward: SWIGLU_C

{"text":"MoEモデルのCUDA MMQ OOBバグ修正。RTX 5090/4090でテストバックエンド操作が全件成功し、クラッシュが解消された。"}

## Overview This PR is a collection of changes from PRs that merged to koboldcpp months ago. The purpose of these changes was to remove possible edge cases from schema or grammar constrained infere

{"text":"文法制約推論において、劣化したケースの速度が約5 T/sから約35-37 T/sに向上し、ハングが解消された。"}

# [Kernel][HY-V4] Fused Triton iHC pre/post/head ops for GPUs without the HPC kernels ## Purpose HY V4 (`tencent/Hy4-preview`) keeps `hc_mult=4` parallel residual streams instead of one ("independen

{"text":"HY-V4モデルのiHC演算において、RTX 5090ではバッチサイズ32以下で1回のカーネル起動を実現するTriton最適化が適用可能"}

## Overview Noticed a huge bottleneck on some of my machines. This change fixes it, though I am not completely sure why the effect is so dramatic. Commands: ```bash # test 0 make -j && time

{"text":"llama.cppのテストバックエンド操作(MUL_MAT_VEC_FUSION)において、スレッド数1への変更により実行時間が大幅に短縮された。"}

### Is there an existing issue for this problem? - [x] I have searched the existing issues ### Install method Invoke's Launcher ### Operating system Windows ### GPU vendor Nvidia (CUDA) ### GP

{"text":"Windows環境で高解像度(2k以上)の生成やアップスケール時にVRAM/帯域幅が飽和し、CUDAドライバのタイムアウトやリセットが発生する。"}

# Summary Token generation for the `qwen35` architecture (hybrid: 48/64 Gated DeltaNet linear-attention layers + 16 full-attention) runs at **~28% of the memory-bandwidth bound on an RTX 5090 (sm_120

{"text":"Qwen3.5-27B Q4_K_Mモデルで、RTX 4090と比較してトークン生成速度が約28%のメモリ帯域上限に留まり、性能劣化が報告されている。"}

## Summary - add a native Bernini v2 pipeline under `comfy/ldm/bernini_v2` - add built-in nodes for T2I, I2I, T2V, V2V, R2V, and RV2V - support sharded BF16 and INT8 ConvRot model packages in `models

{"text":"Bernini v2 T2Vパイプライン、640x368解像度、33フレーム、VRAMピーク23.26 GiB"}

### Name and Version version: 0.3.0-dev (build 10675, commit 90c26fcd4) built with MSVC 19.44.35228.0 for Windows AMD64 I've been able to reproduce on a7cc83bba ### Operating systems Windows ###

{"text":"Qwen3.8-27B-Q4_K_MモデルでKVキャッシュをRAMオフロードした場合、MTPドラフトKVキャッシュもRAMに保持されVRAMへのコピーが発生し速度低下するバグ。修正後はRTX 5090上で19.2 t/sから27.2 t/sへ改善。"}

## Summary - Scale MiniMax H3 video and audio velocities by their denoise masks before the outer x0 conversion. - Preserve the existing audio carry/schedule conversion order. - Add regression cov

{"text":"MiniMax H3モデルのdenoise mask velocity変換修正に関するCUDA契約チェック（sigma=0.45, mask=205/256）で、パッチ適用後の最大x0誤差が4.77e-7まで改善された。"}

## Summary - Scale MiniMax H3 video and audio velocities by their denoise masks before the outer x0 conversion. - Preserve the existing audio carry/schedule conversion order. - Add regression cov

{"text":"MiniMax H3モデルのdenoise mask velocity変換修正に関するCUDA契約チェック（sigma=0.45, mask=205/256）で、パッチ適用後の最大x0エラーが4.77e-7まで改善された。"}

## Overview Similar to the N-ary search histogram, but multipass through global memory, and then a final pass writes the top K values. Perf on RTX 5090: ``` TOP_K(type=f32,ne=[2048,1,1,1],

{"text":"VulkanバックエンドでのTOP_K演算の性能ベンチマーク結果（f32型、k=2048）"}

Fixes #47818 ## Purpose `w8a8_triton_block_scaled_mm` decodes exponent-only E8M0 block scales to fp32 before launching the Triton kernel, because Triton cannot bind an `torch.float8_e8m0fnu` tensor

{"text":"vLLMにおけるE8M0ブロックスケールのTritonカーネルバインド問題を修正し、RTX 5090 (SM120) 上でテストが成功した。"}

## Purpose vLLM can load Quark/OCP MXFP6 checkpoints, but its CUDA implementation currently uses software emulation. This PR adds an optional native SM120 backend for dense linear layers with E3M2 MX

{"text":"MXFP6量子化モデル(Qwen3.5-27B)の推論において、CUDA Graph capture/replay後もbitwise一致し、HTTP 200を返却。"}