There is ... milk in the bottle.

Milk uncountable noun হওয়ায় ‘little/a little’ ব্যবহার হয়। ‘Very little’ অর্থ অত্যন্ত অল্প, তাই ক ব্যাকরণগতভাবে সঠিক। [সমস্যা: কোনো অতিরিক্ত প্রসঙ্গ না থাকলে ‘a little’ও সম্পূর্ণ সঠিক হতে পারে; তাই প্রশ্নটিতে একক উত্তর নিশ্চিত নয়।]