アジャイル開発での非機能要件

アジャイル開発で機能要件の取り扱いには分かってきた*1のですが，非機能要件の取り扱いは全然分かりません．

サイトは3秒以内にレスポンスを返すこと

のようにストーリーで書いてしまっていいのだろうか？う〜む･･･

追記：
非機能要件はアジャイルの対象外のような気がする．セキュリティとかは別にしても，そもそも作らなきゃアプリケーションの速度なんて分からないよな．

*1:妄想レベル